Hive Sql优化之一次from查询多次insert into操作-Toy模板网

这篇具有很好参考价值的文章主要介绍了Hive Sql优化之一次from查询多次insert into操作。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一次from查询多次insert into操作

例：统计字段空值率

优化点：一次map多个reduce，有效节省了map操作
流程如下：
1.创建表；
2.插入数据；
3.参照下面语句；文章来源地址https://www.toymoban.com/news/detail-585151.html

--创建student表
CREATE EXTERNAL TABLE IF NOT EXISTS STUDENT(
	s_no string comment '学号',
	s_name string comment '姓名',
	s_birth string comment '生日',
	s_age bigint comment '年龄',
	s_sex string comment '性别',
)

--创建统计空置率表
CREATE EXTERNAL TABLE IF NOT EXISTS STUDENT_COUNT(
ID STRING COMMENT  '字段名称',
COUNT STRING COMMENT  '数据累加'
NULL_RATE  DOUBLE  '空值率'
)

--清空表数据
truncate table student_count;
--插入数据
--年龄大于16学生的姓名和生日的空置率；
from (select * from student where s_age > 16) a
insert into student_count select 's_name ' id ,count(1) count,count(s_name )/count(1) as null_rate
insert into student_count select 's_birth ' id ,count(1) count,count(s_birth )/count(1) as null_rate;

使用grouping sets代替union的SQL优化

--grouping sets等操作时，用union关键词来构建多维统计的方式
--改写前的代码段
select * from(
select s_age,s_sex,count(1) num
from student_tb_orc
group by s_age,s_sex
union all
select s_age,null s_sex,count(1) num
from student_tb_orc
group by s_age
) a
--改写后的代码段
select s_age,s_sex,count(1) num
from student_tb_orc
group by s_age,s_sex
grouping sets((s_age),(s_age,s_sex))

到了这里，关于Hive Sql优化之一次from查询多次insert into操作的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！