Hive 中的批量数据导入
在博客【大数据】Hive 表中插入多条数据 中，我简单介绍了几种向 Hive 表中插入数据的方法。然而更多的时候，我们并不是一条数据一条数据的插入，而是以批量导入的方式。在本文中，我将较为全面地介绍几种向 Hive 中批量导入数据的方法。
1.从本地文件系统加载（load）数据
load data [local] inpath '路径' [overwrite] into table 表名 [partition (分区字段=值,…)];
-
overwrite：表示覆盖表中已有数据，否则表示追加。 - 此种加载方式是数据的复制。
（1）创建一张表。
hive (default)> create table student(id string, name string)
row format delimited fields terminated by '\t';
（2）加载本地文件到 Hive。
hive (default)> load data local inpath '/opt/module/datas/student.txt'
into table default.student;
2.从 HDFS 文件系统加载（load）数据
从 HDFS 文件系统向表中加载数据，其实就是一个移动文件的操作，需要提前将数据上传到 HDFS 文件系统。
（1）上传文件到 HDFS（Linux 本地 /opt/module/datas/student.txt 文件传到 /user/victor/hive 目录）。
hive (default)> dfs -put /opt/module/datas/student.txt /user/victor/hive;
（2）从 HDFS 文件系统向表中加载数据。
hive (default)> load data inpath '/user/victor/hive/student.txt'
into table default.student;
3.通过 as select 向表中插入数据
hive (default)> create table if not exists student3 as select id, name from student;
4.通过 insert into 向表中插入数据
insert into table test [partition(partcol1=val1, partcol2=val2 ...)] select id,name from student;
-
insert into：以追加数据的方式插入到表或分区，原有数据不会删除。
insert overwrite table test [partition(partcol1=val1, partcol2=val2 ...)] select id,name from student;
-
insert overwrite：覆盖表中已存在的数据。
（1）创建一张分区表。
hive (default)> create table student(id string, name string)
partitioned by (month string)
row format delimited fields terminated by '\t';
（2）基本插入数据。
hive (default)> insert into table student partition(month='201801')
values('1004','wangwu');
（3）基本模式插入（根据单张表查询结果）。
hive (default)> insert overwrite table student partition(month='201802')
select id, name from student where month='201801';
（4）多插入模式（只需要扫描一遍源表就可以生成多个不相交的输出）。
hive (default)> from student
insert overwrite table student partition(month='201803')
select id, name where month='201801'
insert overwrite table student partition(month='201804')
select id, name where month='201801';
5.通过 location 的方式
直接将数据文件上传到 location 指定的 HDFS 的目录下；
（1）创建表，并指定在 HDFS 上的位置。
hive (default)> create external table student(id int, name string)
row format delimited fields terminated by '\t'
location '/user/hive/warehouse/student';
（2）上传数据到 HDFS 上。文章来源：https://www.toymoban.com/news/detail-667555.html
hive (default)> dfs -mkdir -p /user/hive/warehouse/student;
hive (default)> dfs -put /opt/module/datas/student.txt /user/hive/warehouse/student;
（3）查询数据。文章来源地址https://www.toymoban.com/news/detail-667555.html
select * from student;
到了这里，关于【大数据】Hive 中的批量数据导入的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
