1

理解Spark SQL(一)—— CLI和ThriftServer

Spark SQL主要提供了两个工具来访问hive中的数据,即CLI和ThriftServer。前提是需要Spark支持Hive,即编译Spark时需要带上hive和hive-thriftserver选项,同时需要确保在$SPARK_HOME/conf目录下有hive-site.xml配置文件(可以 ...

白竹山 发布于 2019-11-20 21:19 评论(0)阅读(40)
0

sqlserver实现分隔字符串

sqlserver 使用函数实现分隔字符串 create function dbo.fn_split ( @str_source nvarchar(max), @split_char nvarchar(100) ) returns @temp table ( id int primary key i ...

南宫强子 发布于 2019-11-20 17:35 评论(0)阅读(6)
0

【Elasticsearch 7 探索之路】(三)倒排索引

上一篇,我们介绍了 ES 文档的基本 CURE 和批量操作。我们都知道倒排索引是搜索引擎非常重要的一种数据结构,什么是倒排索引,倒排索引的原理是什么。 1 索引过程 在讲解倒排索引前,我们先了解索引创建,下图是 Elasticsearch 中数据索引过程的流程。 从上图可以看到,文档未在 ES 中进 ...

隐峯 发布于 2019-11-20 17:10 评论(0)阅读(106)
0

sqlserver查看表空间

sqlserver 用于查看当前数据库所有表占用空间大小的存储过程 create procedure dbo.proc_getsize as begin create table #temp ( t_id int primary key identity(1,1), t_name sysname, ...

南宫强子 发布于 2019-11-20 17:06 评论(0)阅读(4)
0

本地库还原至阿里云RDS服务器

摸索了很久,在此也感谢阿里云售后兄弟的支持。 1、 首先得要有个阿里云账号,已经购买RDS数据库(本文针对SQL Server)且已经开通阿里云OSS服务。 2、 本文档适用于以下版本的实例: RDS for SQL Server 2012/2016 Web版 RDS for SQL Server ...

忠诚卫士 发布于 2019-11-20 16:51 评论(0)阅读(6)
0

redis缓存

分布式项目的常见问题:对于首页每天有大量的人访问,对数据库造成很大的访问压力,甚至是瘫痪。那如何解决呢?我们通常的做法有两种:一种是数据缓存、一种是网页静态化。 redis是一款开源的Key-Value数据库,运行在内存中,由ANSIC编写。企业开发通常采用redis来实现缓存。同类的产品有Memc ...

小狐狸敲代码 发布于 2019-11-20 16:46 评论(0)阅读(6)
0

sqlserver取字符串拼音首字母

sqlserver 使用函数获取一个字符串的拼音首字母 create function dbo.fn_getpinyin ( @str nvarchar(max) ) returns nvarchar(max) as begin declare @word nchar(1),@PY nvarchar ...

南宫强子 发布于 2019-11-20 16:36 评论(0)阅读(5)
0

sqlserver分页存储过程

sqlserver 单表(视图)通用分页存储过程 create procedure proc_getpage @table_name varchar(100), --表名(视图) @select_fields varchar(1000)=' * ', --需要返回的列 @page_size int= ...

南宫强子 发布于 2019-11-20 16:26 评论(0)阅读(6)
0

oracle体系结构简介

oracle体系结构简介 一、物理存储结构 1、数据文件 存放数据库数据,以dbf为扩展名。将数据放在多个数据文件中, 再将数据文件分放在不同的硬盘中,可以提高存取速度。数据文 件由数据块构成,块大小由数据库创建时确定。 2、重做日志文件,以rdo为扩展名。含对数据库所做的更改记录, 这样万一出现故 ...

shuihaya 发布于 2019-11-20 16:08 评论(0)阅读(6)
0

Hive表的几种存储格式

Hive的文件存储格式: textFile textFile为默认格式 存储方式:行存储 缺点:磁盘开销大;数据解析开销大;压缩的text文件,hive无法进行合并和拆分 sequencefile 二进制文件,以<key,value>的形式序列化到文件中 存储方式:行存储 优点:可分割、压缩,一般选 ...

海贼王一样的男人 发布于 2019-11-20 15:04 评论(0)阅读(5)
0

Zookeeper分布式集群搭建

文中Zookeeper分布式集群搭建在Linux CentOS7系统之上。搭建大数据分布式集群,不建议使用root用户直接操作,故文中使用bigdata用户进行集群的搭建。 一、环境准备 软件 版本 Linux系统 CentOS7 JDK jdk-8u221-linux-x64.tar.gz Zoo ...

wordcounts 发布于 2019-11-20 13:25 评论(0)阅读(15)
0

centos7在线yum安装mysql时官方镜像下载过慢的解决方案

centos7在线yum安装mysql时官方镜像下载过慢的一个解决方案 ...

邀月 发布于 2019-11-20 11:02 评论(0)阅读(20)
0

sqlserver刷新视图

sqlserver 用于刷新当前数据库所有视图的存储过程 create procedure dbo.proc_refreshview as begin declare @viewname varchar(100) declare cur_view cursor for select [name] f ...

南宫强子 发布于 2019-11-20 09:50 评论(0)阅读(22)
0

理解Spark运行模式(三)(STANDALONE和Local)

前两篇介绍了Spark的yarn client和yarn cluster模式,本篇继续介绍Spark的STANDALONE模式和Local模式。 下面具体还是用计算PI的程序来说明,examples中该程序有三个版本,分别采用Scala、Python和Java语言编写。本次用Java程序JavaSp ...

白竹山 发布于 2019-11-19 20:44 评论(0)阅读(25)
0

MySQL基础

1. 数据库 1.1 数据库概述 什么是数据库 数据库就是存储数据的仓库,其本质是一个文件系统,数据按照特定的格式将数据存储起来,用户可以对数据库中的数据进行增加,修改,删除及查询操作。 什么是数据库管理系统 数据库管理系统(DataBase Management System,DBMS):指一种操 ...

爱编程的小灰灰 发布于 2019-11-19 20:17 评论(0)阅读(40)
0

Oracle 11g与12c的审计详解

最近遇到一些脚本诱发的审计相关BUG,感觉有必要重新梳理一下11g与12c的审计模式,于是根据官网修正了一下以前的一篇笔记这里发出来。 一、审计功能的开启: audit_trail参数的值可以设置为以下几种(11G,12C适用): http://docs.oracle.com/cd/E11882_ ...

Leohahah 发布于 2019-11-19 18:06 评论(0)阅读(20)
0

flink 流式处理中如何集成mybatis框架

flink 中自身虽然实现了大量的connectors,如下图所示,也实现了jdbc的connector,可以通过jdbc 去操作数据库,但是flink-jdbc包中对数据库的操作是以ROW来操作并且对数据库事务的控制比较死板,有时候操作关系型数据库我们会非常怀念在java web应用开发中的非常优 ...

张永清 发布于 2019-11-19 17:32 评论(0)阅读(151)
0

MySQL数据篇(九)--存储过程实现定时每天清理过期数据

需求:有一个活动记录表 t_ad ,商家每次发起一个活动,就会在 t_shake_devices_relation 表里面生成一些关联记录。现在写一个存储过程实现,如果活动过期,就将关联表里面的数据标记删除。 1、代码如下: BEGIN /* 用途:每天23:00执行一次,处理“开屏广告”和“门店主 ...

在斑马线上散布 发布于 2019-11-19 16:37 评论(0)阅读(22)
0

[20191119]探究ipcs命令输出2.txt

[20191119]探究ipcs命令输出2.txt--//继续上午的测试:http://blog.itpub.net/267265/viewspace-2664758/=>[20191119]探究ipcs命令输出.txt--//先补充ipcs 剩余2个参数 -l -u--//-l limits--/ ...

lfree 发布于 2019-11-19 16:36 评论(0)阅读(0)
0

频繁项集的产生及经典算法

前言: 关联规则是数据挖掘中最活跃的研究方法之一, 是指搜索业务系统中的所有细节或事务,找出所有能把一 组事件或数据项与另一组事件或数据项联系起来的规则,以获 得存在于数据库中的不为人知的或不能确定的信息,它侧重于确 定数据中不同领域之间的联系,也是在无指导学习系统中挖掘本地模式的最普通形式。 一般 ...

StormTides 发布于 2019-11-19 16:36 评论(0)阅读(10)