您可以捐助,支持我们的公益事业。

1元 10元 50元





认证码:  验证码,看不清楚?请点击刷新验证码 必填



  求知 文章 文库 Lib 视频 iPerson 课程 认证 咨询 工具 讲座 Modeler   Code  
会员   
 
   
 
 
     
   
 订阅
  捐助
Hive入门指南
 
来源:life 发布于: 2015-9-2
   次浏览      
 

1、安装与配置

Hive是建立在Hadoop上的数据仓库软件,用于查询和管理存放在分布式存储上的大规模数据集。它提供:

(1)一系列的工具,可以方便地对数据进行提取/转化/加载(ETL);

(2)一种可以对各种数据格式上进行结构化的机制;

(3)存取存放在Apache HDFS或其他存储系统如Apache HBase上的文件;

(4)通过MapReduce执行查询功能。

Hive 定义了简单的类SQL查询语言,称为QL,它允许熟悉SQL的用户查询数据。同时,这个语言也允许熟悉MapReduce的开发者开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂分析工作。QL也可以被扩展,以让用户自定义标量函数(UDF's)、聚合(UDAF's)和表函数(UDTF's)。

Hive并不要求使用"Hive格式"来读写数据--没有这样的格式,Hive没有专门的数据格式。 Hive可以很好的工作在Apache Thrift、控制分隔符、或用户指定的数据格式上。

Hive并不是为OLTP工作负载设计的,也不提供实时查询和行级别的更新。它最常用于批量作业,比较适合工作在只追加的大数据集上(如Web日志)。Hive的核心设计思想是可伸缩性(通过动态添加到Hadoop集群的机器来进行横向扩展)、可扩展性(使用MapReduce框架和UDF/UDAF/UDTF)、容错性、与输入格式的松耦合性。

从http://hive.apache.org/releases.html处下载最新的稳定版hive-0.9.0.tar.gz。下一步你需要解压缩Tar包,这将会创建一个名为hive-x.y.z的子目录:

$ tar -xzvf hive-x.y.z.tar.gz

设置HIVE_HOME环境变量指向到Hive的安装目录:

$ cd hive-x.y.z
$ export HIVE_HOME=$(pwd)

最后,将$HIVE_HOME/bin添加到你的PATH环境变量中:

$ export PATH=$HIVE_HOME/bin:$PATH

2、运行Hive

Hive使用Hadoop,这意味着你必须在PATH里面设置了hadoop路径,或者导出export HADOOP_HOME=<hadoop-install-dir>也可以。另外,你必须在创建Hive库表前,在HDFS上创建/tmp和/user/hive/warehouse(也称为hive.metastore.warehouse.dir),并且将它们的权限设置为chmod g+w。完成这个操作的命令如下:

$ $HADOOP_HOME/bin/hadoop fs -mkdir /tmp
$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/hive/warehouse
$ $HADOOP_HOME/bin/hadoop fs -chmod g+w /tmp
$ $HADOOP_HOME/bin/hadoop fs -chmod g+w /user/hive/warehouse

我同样发现设置HIVE_HOME是很重要的,但并非必须。

$ export HIVE_HOME=<hive-install-dir>

在Shell中使用Hive命令行(cli)模式:

$ $HIVE_HOME/bin/hive

3、配置文件管理概述

(1)Hive默认的配置文件保存在 <install-dir>/conf/hive-default.xml,你可以修改其中的配置,并重命名这个文件为 <install-dir>/conf/hive-site.xml(注:我建议你还是保留原始配置文件)。

(2)Hive配置文件的位置可以通过设置HIVE_CONF_DIR环境变量来改变。

(3)Log4j的配置保存在<install-dir>/conf/hive-log4j.properties。

(4)Hive的配置存在于Hadoop之上,这意味着Hadoop的配置默认会被继承到Hive中。

(5)Hive配置可以被如下方式控制:

编辑hive-site.xml并定义任何需要的变量 (包括hadoop的变量)

从cli模式使用使用set命令。使用如下方式:

$ bin/hive -hiveconf x1=y1 -hiveconf x2=y2

这个例子分别设置了变量x1为y1,x2为y2。设置使用 HIVE_OPTS环境变量 "-hiveconf x1=y1 -hiveconf x2=y2" 与上面的功能相同。

Hive查询是执行map-reduce查询,并且这些查询是可以被hadoop的配置所控制的。命令行命令 'SET' 可以被用来设置任何hadoop(或者hive)的配置变量,例如:

hive> SET mapred.job.tracker=myhost.mycompany.com:50030;
hive> SET -v;

后者SET -v用来查看当前全部的设置。而不使用 -v 选项,则是用来查看当前与Hadoop不同的配置。

4、Hive,Map-Reduce与本地模式

Hive编译器会为绝大多数查询生成map-reduce的jobs。这些Jobs使用下面这个变量来表明被提交到Map-Reduce集群中:

mapred.job.tracker

由于这通常是在一个多节点的map-reduce集群中被指出,Hadoop同样有个就近的方式来在用户的工作机上运行map-reduce jobs。这就在小数据集的查询上显得非常有用 - 在这种情况下,本地模式运行通常会比将任务提交到整个大集群中查询更快。数据从HDFS上获取是透明的。同样的,由于本地模式仅运行一个reducer,这样,在大数据查询上是非常慢的。

从0.7版本开始,Hive全面支持本地运行模式,要使用这个模式,请按照下列进行设置:

hive> SET mapred.job.tracker=local;

另外,mapred.local.dir应该指定一个合法的本机路径(注:安装hive的那台服务器)(例如:/tmp/<username>/mapred/local)。否则用户将获取一个定位本地空间的异常抛出)。

从0.7版本开始,Hive同样支持自动/非自动地使用本地模式来完成map-reduce jobs,相关的选项是:

hive> SET hive.exec.mode.local.auto=false;

请注意这个功能默认是关闭的,如果打开,Hive将分析每一个查询的map-reduce job,并且如果以下阀值被确认为OK,就尝试运行在本地:

(1)全部job的输入低于:hive.exec.mode.local.auto.inputbytes.max (128MB 默认)

(2)全部的map任务数低于:hive.exec.mode.local.auto.tasks.max (4 个默认)

(3)全部reduce任务数等于1或者0。

对于小数据集上的查询,或者带有多个map-reduce jobs的查询,但是这些job的输入是很小的(注:小于上述条件),jobs仍可能使用本地模式来运行。

注意,可能hadoop服务器节点和hive客户端的运行时环境不同(由于不同的jvm版本或者不同的软件库)。这可能会导致运行本地模式时出现一些意外的错误。同样需要注意的是,本地运行模式是运行在一个独立的子jvm中(hive 客户端的子进程)。如果用户愿意,子jvm所能使用的最大内存数可以通过选项hive.mapred.local.mem来进行控制。默认设置是0,这时Hive让Hadoop来决定子jvm的默认内存限制。

5、错误日志

Hive使用log4j来记录日志。默认来说,日志不会被返回到CLI模式的控制台上。默认的日志记录等级是WARN,并被保存到以下文件夹中:

/tmp/<user.name>/hive.log

如果用户愿意,日志可以通过修改下面的参数来返回到控制台上:

bin/hive -hiveconf hive.root.logger=INFO,console

另外,用户可以改变记录等级:

bin/hive -hiveconf hive.root.logger=INFO,DRFA

注意,配置项hive.root.logger在hive初始化以后,不能通过使用'set'命令来改变了。

Hive也会在在/tmp/<user.name>/ 下为每个hive会话保存查询日志,但是可以通过修改hive-site.xml中的hive.querylog.location属性来变更。

Hive在一个hadoop集群上的运行日志是由Hadoop的配置所决定的。通常Hadoop会为每个map和reduce任务创建日志文件,并保存在运行任务的集群服务器上。日志文件可以通过Hadoop Jobtracker提供的Web UI上的Task Detail页面来跟踪观察。

运行本地模式时(mapred.job.tracker=local),Hadoop/Hive会将执行日志放在本机上,从0.6版本开始,Hive使用hive-exec-log4j.properties (如果不存在,则是使用hive-log4j.properties文件)来决定默认日志的保存方式。默认的配置文件将为每个通过本地模式执行的查询生成一个日志,并存放到/tmp/<user.name>下。这样做的目的是为了将配置单独管理,并可以将日志集中存放到一个用户需要的位置上(例如一个NFS文件服务器)。执行日志对调试运行时错误并无帮助。

错误日志对于定位问题非常有用,请将存在的任何bug发送到hive-dev@hadoop.apache.org

6、DDL操作

创建Hive表和查看使用

hive> CREATE TABLE pokes (foo INT, bar STRING);

创建一个包含两个字段,名称为pokes的表,第一个字段是int(注:整型),第二个字段是string(注:字符串)

hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);

创建一个名为invites的表,其中包含两个字段和一个叫做ds的分区(partition)字段。分区字段是一个虚拟的字段,本身并不包含在数据中,但是是从加载进来的数据中特别衍生出来的数据集。

默认情况下,表被假定是纯文本的格式,并且使用^A(ctrl-a)来作为数据分割的。

hive> SHOW TABLES;

列出所有的表

hive> SHOW TABLES '.*s';

列出所有结尾包含 's' 的表名。匹配方式使用Java正则表达式,查看下列连接获取关于Java正则的信息http://java.sun.com/javase/6/docs/api/java/util/regex/Pattern.html

hive> DESCRIBE invites;

查看invites表的全部字段

可以修改表名,增加删除新的字段等:

hive> ALTER TABLE pokes ADD COLUMNS (new_col INT);
hive> ALTER TABLE invites ADD COLUMNS (new_col2 INT COMMENT 'a comment');
hive> ALTER TABLE events RENAME TO 3koobecaf;

删除表:

hive> DROP TABLE pokes;

7、元数据存储

元数据默认使用Derby数据库保存在本地文件系统中,并保存在./metastore_db下。通过修改conf/hive-default.xml中的javax.jdo.option.ConnectionURL变量修改。

当前,在默认配置下,元数据每次只能同时被一个用户所使用。

元数据可以存储在任何一个使用JPOX支持的数据库中,这些关系型数据库的连接和类型可以通过两个变量进行控制。javax.jdo.option.ConnectionURL和javax.jdo.option.ConnectionDriverName。

你需要查看数据库的JDO(或JPOX)手册来获取更多信息。

数据库的Schema定义在JDO元数据注释文件package.jdo中,位置在src/contrib/hive/metastore/src/model。

计划在未来,元数据存储引擎可以成为一个独立的服务。

如果你想将元数据作为一个网络的服务来在多个节点中访问,请尝试HiveDerbyServerMode。

8、DML操作

将文件中的数据加载到Hive中:

hive> LOAD DATA LOCAL INPATH './examples/files/kv1.txt' OVERWRITE INTO TABLE pokes;

加载到pokes表的文件包含两个用ctrl-a符号分割的数据列,'LOCAL' 意味着文件是从本地文件系统加载,如果没有 'LOCAL' 则意味着从HDFS中加载。

关键词 'OVERWRITE' 意味着当前表中已经存在的数据将会被删除掉。

如果没有给出 'OVERWRITE',则意味着数据文件将追加到当前的数据集中。

注意,通过load命令加载的数据不会被校验正确性。如果文件在HDFS上,他将会被移动到hive所管理的文件系统的命名空间中。Hive目录的根路径是在hive-default.xml文件中的变量hive.metastore.warehouse.dir决定的。

我们建议用户在使用Hive建表之前就创建好这个变量指定的目录。

hive> LOAD DATA LOCAL INPATH './examples/files/kv2.txt' 
OVERWRITE INTO TABLE invites PARTITION (ds='2008-08-15');
hive> LOAD DATA LOCAL INPATH './examples/files/kv3.txt' OVERWRITE INTO TABLE invites PARTITION (ds='2008-08-08');

上面这两个LOAD语句,将加载不同的数据到invites表的分区(partition)中。invites表必须事先使用ds创建好partition。

hive> LOAD DATA INPATH '/user/myname/kv2.txt' OVERWRITE INTO TABLE invites PARTITION (ds='2008-08-15');

上述命令是将HDFS上的文件加载到表中。

注意从HDFS中加载数据,将会把数据移动到目录下。这几乎是瞬间完成的。(注:因为只是在HDFS元数据中修改了文件路径的指向。)

9、SQL 查询

(1)查询示例

下面会演示一些查询范例,在build/dist/examples/queries中可以找到。更多的,可以在hive源码中的ql/src/test/queries/positive中可以找到。

(2)SELECTS和FILTERS

hive> SELECT a.foo FROM invites a WHERE a.ds='2008-08-15';

从invite表的字段 'foo' 中选择所有分区ds=2008-08-15的结果。这些结果并不存储在任何地方,只在控制台中显示。

注意下面的示例中,INSERT (到hive表,本地目录或者HDFS目录) 是可选命令。

hive> INSERT OVERWRITE DIRECTORY '/tmp/hdfs_out' SELECT a.* FROM invites a WHERE a.ds='2008-08-15';

从invites表中选择分区ds=2008-08-15 的所有行,并放入HDFS目录中。结果数据存放于/tmp/hdfs_out目录中的文件(多个文件,文件数量取决于mapper的数量)。

存在分区的表在使用 WHERE 条件过滤的时候必须至少指定一个分区来查询。

hive> INSERT OVERWRITE LOCAL DIRECTORY '/tmp/local_out' SELECT a.* FROM pokes a;

选择pokes表中所有的数据并放到一个本地(注:当前服务器)的文件路径中。

hive> INSERT OVERWRITE TABLE events SELECT a.* FROM profiles a;

hive> INSERT OVERWRITE TABLE events SELECT a.* FROM profiles a;

hive> INSERT OVERWRITE TABLE events SELECT a.* FROM profiles a WHERE a.key < 100;

hive> INSERT OVERWRITE LOCAL DIRECTORY '/tmp/reg_3' SELECT a.* FROM events a;

hive> INSERT OVERWRITE DIRECTORY '/tmp/reg_4' select a.invites, a.pokes FROM profiles a;

hive> INSERT OVERWRITE DIRECTORY '/tmp/reg_5' SELECT COUNT(*) FROM invites a WHERE a.ds='2008-08-15';

hive> INSERT OVERWRITE DIRECTORY '/tmp/reg_5' SELECT a.foo, a.bar FROM invites a;

hive> INSERT OVERWRITE LOCAL DIRECTORY '/tmp/sum' SELECT SUM(a.pc) FROM pc1 a;

字段计算和,最大值,最小值同样可以使用,注意对不包含HIVE-287的Hive版本,你需要使用COUNT(1) 来代替 COUNT(*)。

(3)GROUP BY

hive> FROM invites a INSERT OVERWRITE TABLE events SELECT a.bar, count(*) WHERE a.foo > 0 GROUP BY a.bar;

hive> INSERT OVERWRITE TABLE events SELECT a.bar, count(*) FROM invites a WHERE a.foo > 0 GROUP BY a.bar;

注意对不包含HIVE-287的Hive版本,你需要使用COUNT(1) 来代替 COUNT(*)。

(4)JOIN

hive> FROM pokes t1 JOIN invites t2 ON (t1.bar = t2.bar) INSERT OVERWRITE TABLE events SELECT t1.bar, t1.foo, t2.foo;

(5)MULTITABLE INSERT(多重插入)

FROM src

INSERT OVERWRITE TABLE dest1 SELECT src.* WHERE src.key < 100

INSERT OVERWRITE TABLE dest2 SELECT src.key, src.value WHERE src.key >= 100 and src.key < 200

INSERT OVERWRITE TABLE dest3 PARTITION(ds='2008-04-08', hr='12') SELECT src.key WHERE src.key >= 200 and src.key < 300

INSERT OVERWRITE LOCAL DIRECTORY '/tmp/dest4.out' SELECT src.value WHERE src.key >= 300;

(6)STREAMING

hive> FROM invites a INSERT OVERWRITE TABLE events
SELECT TRANSFORM(a.foo, a.bar) AS (oof, rab) USING '/bin/cat' WHERE a.ds > '2008-08-09';

在map中使用脚本/bin/cat对数据的流式访问(类似于hadoop streaming)。同样的, 流式访问也可以使用在reduce阶段(请查看Hive Tutorial范例)。

10、简单的使用范例

(1)用户对电影的投票统计

首先,创建一个使用tab分割的文本文件的表

CREATE TABLE u_data (  

userid INT,

movieid INT,

rating INT,

unixtime STRING)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY '\t'

STORED AS TEXTFILE;

然后,下载这个数据文件并解压:

wget http://www.grouplens.org/system/files/ml-data.tar+0.gz

tar xvzf ml-data.tar+0.gz

将这个文件加载到刚刚创建的表中:

LOAD DATA LOCAL INPATH 'ml-data/u.data' OVERWRITE INTO TABLE u_data;

计算表u_data中的总行数:

SELECT COUNT(*) FROM u_data;

注意对不包含HIVE-287的Hive版本,你需要使用COUNT(1) 来代替 COUNT(*)。

现在,我们可以在表u_data中做一些复杂的数据分析

创建weekday_mapper.py:

import sys  

import datetime

for line in sys.stdin:

line = line.strip()

userid, movieid, rating, unixtime = line.split('\t')

weekday = datetime.datetime.fromtimestamp(float(unixtime)).isoweekday()

print '\t'.join([userid, movieid, rating, str(weekday)])

使用mapper脚本:

CREATE TABLE u_data_new (  

userid INT,

movieid INT,

rating INT,

weekday INT)

ROW FORMAT DELIMITED

FIELDS TERMINATED BY '\t';

add FILE weekday_mapper.py;

INSERT OVERWRITE TABLE u_data_new

SELECT

TRANSFORM (userid, movieid, rating, unixtime)

USING 'python weekday_mapper.py'

AS (userid, movieid, rating, weekday)

FROM u_data;

SELECT weekday, COUNT(*)

FROM u_data_new

GROUP BY weekday;

注意对0.5.0及更早的的Hive版本,你需要使用COUNT(1) 来代替 COUNT(*)。

(2)Apache Web日志数据

Apache日志格式是可以自定义的,作为大多数网管来说都是使用默认设置。

我们可以给默认的Apache日志创建一个如下的表。

add jar ../build/contrib/hive_contrib.jar;  

CREATE TABLE apachelog (

host STRING,

identity STRING,

user STRING,

time STRING,

request STRING,

status STRING,

size STRING,

referer STRING,

agent STRING)

ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'

WITH SERDEPROPERTIES (

"input.regex" = "([^]*) ([^]*) ([^]*) (-|\\[^\\]*\\]) ([^ \"]*|\"[^\"]*\") (-|[0-9]*) (-|[0-9]*)(?: ([^ \"]*|\".*\") ([^ \"]*|\".*\"))?",

"output.format.string" = "%1$s %2$s %3$s %4$s %5$s %6$s %7$s %8$s %9$s"

)

STORED AS TEXTFILE;

11、Hive的基本概念

下面整理自Hive Tutorial部分:https://cwiki.apache.org/confluence/display/Hive/Tutorial

(1)Hive是什么?

Hive是基于hadoop构建的数据仓库基础架构,通过提供一系列的工具,使得用户能够方便的做数据ETL,数据结构化,并针对存放在hadoop上的海量数据进行查询和分析。

hive定义了一种简单的类SQL查询语言---QL,QL语言方便熟悉SQL语言的用户去查询数据。此外,hive也支持熟悉map-reduce的开发者使用map-reduce程序对数据做更加复杂的分析。hive可以很好的结合thrift和控制分隔符,也支持用户自定义分隔符。

(2)Hive不是什么?

Hive基于hadoop,hadoop是批处理系统,不能保证低延迟,因此,hive的查询也不能保证低延迟。

Hive的工作模式是提交一个任务,等到任务结束时被通知,而不是实时查询。相对应的是,类似于oracle这样的系统当运行于小数据集的时候,响应非常快,可当处理的数据集非常大的时候,可能需要数小时。需要说明的是,hive即使在很小的数据集上运行,也可能需要数分钟才能完成。

总之,低延迟不是hive追求的首要目标。hive的设计目标是:可伸缩、可扩展、容错及输入格式松耦合。

(3)数据单元

按照数据的粒度大小,hive数据可以被组织成:

1)databases: 避免不同表产生命名冲突的一种命名空间

2)tables:具有相同scema的同质数据的集合

3)partitions:一个表可以有一个或多个决定数据如何存储的partition key

4)buckets(或clusters):在同一个partition中的数据可以根据某个列的hash值分为多个bucket。partition和bucket并非必要,但是它们能大大加快数据的查询速度。

12、数据类型

(1)简单类型:

TINYINT - 1 byte integer

SMALLINT - 2 byte integer

INT - 4 byte integer

BIGINT - 8 byte

BOOLEAN - TRUE/ FALSE

FLOAT - 单精度

DOUBLE - 双精度

STRING - 字符串集合

(2)复杂类型:

Structs: structs内部的数据可以通过DOT(.)来存取,例如,表中一列c的类型为STRUCT{a INT; b INT},我们可以通过c.a来访问域a。

Maps(Key-Value对):访问指定域可以通过['element name']进行,例如,一个Map M包含了一个group->gid的k-v对,gid的值可以通过M['group']来获取。

Arrays:array中的数据为相同类型,例如,假如array A中元素['a','b','c'],则A[1]的值为'b'。

13、内建运算符和函数

包括关系运算符(A=B, A!=B, A<B等等)、算术运算符(A+B, A*B, A&B, A|B等等)、逻辑运算符(A&&B, A|B等等)、复杂类型上的运算符(A[n], M[key], S.x)、各种内建函数。

14、语言能力

hive查询语言提供基本的类sql操作,这些操作基于table和partition,包括:

1. 使用where语句过滤制定行

2. 使用select查找指定列

3. join两张table

4. group by

5. 一个表的查询结果存入另一张表

6. 将一个表的内容存入本地目录

7. 将查询结果存储到hdfs上

8. 管理table和partition(creat、drop、alert)

9. 在查询中嵌入map-reduce程序

   
次浏览       
相关文章

基于EA的数据库建模
数据流建模(EA指南)
“数据湖”:概念、特征、架构与案例
在线商城数据库系统设计 思路+效果
 
相关文档

Greenplum数据库基础培训
MySQL5.1性能优化方案
某电商数据中台架构实践
MySQL高扩展架构设计
相关课程

数据治理、数据架构及数据标准
MongoDB实战课程
并发、大容量、高性能数据库设计与优化
PostgreSQL数据库实战培训
最新课程计划
信息架构建模(基于UML+EA)3-21[北京]
软件架构设计师 3-21[北京]
图数据库与知识图谱 3-25[北京]
业务架构设计 4-11[北京]
SysML和EA系统设计与建模 4-22[北京]
DoDAF规范、模型与实例 5-23[北京]

MySQL索引背后的数据结构
MySQL性能调优与架构设计
SQL Server数据库备份与恢复
让数据库飞起来 10大DB2优化
oracle的临时表空间写满磁盘
数据库的跨平台设计
更多...   


并发、大容量、高性能数据库
高级数据库架构设计师
Hadoop原理与实践
Oracle 数据仓库
数据仓库和数据挖掘
Oracle数据库开发与管理


GE 区块链技术与实现培训
航天科工某子公司 Nodejs高级应用开发
中盛益华 卓越管理者必须具备的五项能力
某信息技术公司 Python培训
某博彩IT系统厂商 易用性测试与评估
中国邮储银行 测试成熟度模型集成(TMMI)
中物院 产品经理与产品管理
更多...