Hive 中的爆炸函数( lateral view 与 explode 用法)

这篇具有很好参考价值的文章主要介绍了Hive 中的爆炸函数( lateral view 与 explode 用法)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

使用场景:

explode就是将hive一行中复杂的array或者map结构拆分成多行。

lateral view用于和split, explode等函数一起使用,它能够将一行数据拆成多行数据,在此基础上可以对拆分后的数据进行聚合。lateral view首先为原始表的每行调用UDTF,UDTF会把一行拆分成一或者多行,lateral view再把结果组合,产生一个支持别名表的虚拟表,这里生成的是一个虚拟表。

explode将复杂结构一行拆成多行,然后再用lateral view做各种聚合。
 


具体使用方法(1):

如下数据:  表名为  table_name_01  中存放两个字段,每个字段值的填充都很完整,现在需要对money字段进行拆分,脚本如下:

id money
1 50,40,20
2 30
3 15,9
 
select id,  money_01
from     table_name_01   -- 表名
lateral view  explode(split(money,’’)) table_tmp  as  money_01

上面的脚本中   lateral view  生成的  一个虚拟表,这个虚拟表的表名就是 table_temp,爆炸函数和split组合后生成的新字段就是 money_01


具体使用方法(2):

如下数据:  表名为  table_name_02  中存放两个字段,字段值的填充中,有空值,

如果对money字段进行拆分,就需要加上  outer 关键字,脚本如下:

id money
1 50,40,20
2 30
3
4 15,9
select id,  money_02
from     table_name_02   -- 表名
lateral view  outer  explode(split(money,’’)) table_tmp  as  money_02

———————————————————————————————————————————

组合使用方法(3):

如下数据:  表名为  table_name_03  中存放两个字段,并对 money值进行求和输出

(1)   对下面money,进行求和输出

id money
1 50,40,20
2 30
3
4 15,9
id money
1 110
2 30
3
4 24

脚本如下:文章来源地址https://www.toymoban.com/news/detail-517142.html

select 
id,  
sum(money_03)  as  money
from     table_name_03   -- 表名
lateral view  outer  explode(split(money,’’)) table_tmp  as  money_03
group by id;     -- 根据id,分组求和











到了这里,关于Hive 中的爆炸函数( lateral view 与 explode 用法)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Hive Lateral View + explode 详解

    hive中的函数分为3类,UDF函数、UDAF函数、UDTF函数 UDF:一进一出 UDAF:聚集函数,多进一出,类似于:count/max/min UDTF:一进多出,如explore()、posexplode(),UDTF函数的时候只允许一个字段 百度explode()时,经常会出现lateral view + explode相关的文章,很少单独写explode()。 分别 了解 ecplode() 与

    2023年04月11日
    浏览(37)
  • HIVE SQL通过Lateral View + explode实现列转行

    原表: a b Andy 碟中谍,谍影重重,007 MOMO 小鞋子,朋友啊你的家在哪里 David ‘’ Lily NULL 实现效果 a b Andy 碟中谍 Andy 谍影重重 Andy 007 MOMO 小鞋子 MOMO 朋友啊你的家在哪里 David ‘’ 实现代码: 注: explode函数:处理map结构的字段,将数组转换成多行,所以此处使用了split函数将

    2024年02月12日
    浏览(36)
  • explode与lateral view使用详解(spark及hive环境对比)

    定义: explode函数能够将array及map类型的数据炸开,实现一行变多行 格式: select explode(array/map) from table 示例 原始数据tmp表 name id goods a 1 book_a,food_a b 2 book_b,food_b c 3 null  输出结果 goods_col book_a food_a book_b food_b 定义: Lateral 也是用来对数组进行列转行的,Lateral View主要解决在

    2024年02月03日
    浏览(33)
  • hive lateral view 实践记录(Array和Map数据类型)

    目录 一、Array 1.建表并插入数据  2.lateral view explode 二、Map 1、建表并插入数据 2、lateral view explode() 3、查询数据 正确插入数据: 原数据 结果:  --------最开始错误的插入数据法-------  原数据  step1: step2: 备注: 比原表数据少了 双引号 综上,以上的插入数据是不对的!!

    2024年02月11日
    浏览(41)
  • MySQL实现数据炸裂拆分(类似Hive的explode函数的拆分数组功能)

    背景描述 ​ 在Hive中,\\\"explode\\\"函数用于将数组类型的列拆分为多行,以便对数组中的每个元素进行处理。然而,在MySQL中,并没有直接的类似功能。但是,我们可以使用一些技巧来模拟这个功能,实现在MySQL中拆分数组并进行查询的操作。本文将介绍如何在MySQL中实现类似Hiv

    2024年02月11日
    浏览(42)
  • Hive SQL——explode拆分函数&多行(列)合并为一行(列)&reflect函数

    cd /data/import/ sudo vi test_explode_map_array.txt 添加以下文件内容 小明    产品1,产品2,产品3    性别:男,年龄:24 小花    产品4,产品5,产品6    性别:女,年龄:22  map_key map_value 年龄 24 性别 男 年龄 22 性别 女 prod_arr_new 产品1 产品2 产品3 产品4 产品5 产品6 name prod_arr_new 小明 产品1

    2024年02月15日
    浏览(51)
  • 大数据Hive篇:explode 和 posexplode

    一. explode单独使用。 1.1. 用于array类型的数据 table_name 表名 array_col 为数组类型的字段 new_col array_col被explode之后对应的列 1.2. 用于map类型的数据 由于map是kay-value结构的,所以它在转换的时候会转换成两列,一列是kay转换而成的,一列是value转换而成的。 table_name 表名 map_col 为

    2024年02月13日
    浏览(36)
  • PyTorch中view()函数用法说明

    首先,view( ) 是对 PyTorch 中的 Tensor 操作的,若非 Tensor 类型,可使用 data = torch.tensor(data)来进行转换。 (1) 作用:该函数返回一个有相同数据但不同维度大小的 Tensor。也就是说该函数的功能是改变矩阵维度,相当于 Numpy 中的 resize() 或者 Tensorflow 中的 reshape() 。 (2) 参数:view

    2024年04月09日
    浏览(38)
  • 详解Pytorch中的view函数

    一、函数简介 Pytorch中的view函数主要用于 Tensor维度的重构 ,即返回一个 有相同数据但不同维度的Tensor 。 根据上面的描述可知,view函数的操作对象应该是Tensor类型。如果不是Tensor类型,可以通过tensor = torch.tensor(data)来转换。 二、实例讲解 ▶view(参数a,参数b,…),其中,总的

    2024年02月16日
    浏览(38)
  • Hive 和 Oracle 中 Decode 函数的用法差异

    在数仓构建过程中,需要从业务那边进行数据的迁移!数仓大多数公司都是使用 Hive ,而业务那边使用的是 Oracle 数据库居多。最近就有个小伙伴在迁移的时候碰到了问题: 从报错来看,在使用 Decode() 函数的时候,传参有问题! 既然问题来了,我们就来解决一下呗,只有不

    2024年02月10日
    浏览(36)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包