0693-6.2.0-如何将Hive数据导入HBase
Fayson的github: https://github.com/fayson/cdhproject推荐关注微信公众号:“Hadoop实操”,ID:gh_c4c535955d0f1 文档编写目的在一些业务场景中需要将Hive的数据导入到HBase中,通过HBase服务为线上业务提供服务能力。本篇文章Fayson主要通过在Hive上创建整合HBase表的方式来实现Hive数据导入到HBa...
Fayson的github: https://github.com/fayson/cdhproject
推荐关注微信公众号:“Hadoop实操”,ID:gh_c4c535955d0f
1 文档编写目的
在一些业务场景中需要将Hive的数据导入到HBase中,通过HBase服务为线上业务提供服务能力。本篇文章Fayson主要通过在Hive上创建整合HBase表的方式来实现Hive数据导入到HBase。
测试环境
1.Redhat7.2
2.采用root用户操作
3.CM/CDH6.2.0
2 创建Hive与HBase关联表
2.1 创建同步关联表
1.在Hive的命令行执行如下SQL创建Hive与HBase关联表
CREATE TABLE hive_hbase_table(
key int,
name String,
age String
)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:name,cf1:age")
TBLPROPERTIES ("hbase.table.name" = "hbase_table", "hbase.mapred.output.outputtable" = "hbase_table");
2.在HBase Shell命令行查看
3.删除hive_hbase_table表
再次登录HBase Shell查看hbase_table表已不存在被删除
可以看到通过上述命令创建Hive与HBase关联表,如果HBase表不存在时会自动创建,但通过Hive将表删除时也同时会删除与之关联的HBase表。
2.2 创建外部关联表
1.在HBase上创建一个hbase_hive表
hbase(main):003:0> create 'hbase_table','cf1'
hbase(main):004:0> list
2.在Hive上执行如下SQL创建Hive与HBase关联的外部表
CREATE EXTERNAL TABLE hive_hbase_table(
key int,
name String,
age String
)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:name,cf1:age")
TBLPROPERTIES ("hbase.table.name" = "hbase_table", "hbase.mapred.output.outputtable" = "hbase_table");
3.在Hive上执行drop操作,HBase表不会被同步删除
HBase表依然存在不会被同步删除
可以看到通过创建Hive与HB 从vase的外部关联表,在删除Hive表的时候并不会同步的将HBase表删除。
3 Hive表导数到HBase表
1.准备一个hive的测试表,这里测试表的字段与之前创建的Hive与HBase关联表字段一致,为了能够方便的将数据导入到HBase表中
hive> create table hive_data (key int,name String,age string);
hive> insert into hive_data values(1,"za","13");
hive> insert into hive_data values(2,"ff","44");
hive> select * from hive_data;
查看hive_data表的数据,插入数据成功。准备完毕。
2.通过如下SQL语句将hive表的数据导入到Hive与HBase的关联表中,从而实现Hive数据写入HBase
hive> insert into table hive_hbase_table select * from hive_data;
hive> select * from hive_hbase_table;
然后在HBase中查看表hbase_table的数据,也同步了过来,数据与hive表中的数据一致,导入成功。
hbase(main):014:0> scan 'hbase_table'
通过如上方式可以方便的将Hive表的数据写入到HBase表中,为线上业务提供数据服务。
4 总结
1.未使用EXTERNAL关键字创建Hive与HBase关联表时,如果HBase表不存在会自动创建,且删除Hive表的同时也会删除HBase表。
2.使用EXTERNAL关键字创建Hive与HBase关联表时,HBase表必须存在,且删除Hive表是不会删除HBase表。
3.通过Hive创建与HBase关联的表后,可以方便的使用SQL语句方便的向HBase表中写入数据。
![Logo](https://devpress.csdnimg.cn/79de2bf0b7994defa4242ef90d5513fa.jpg)
开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!
更多推荐
所有评论(0)