Hive字符串数组json类型取某字段再列转行-Toy模板网

这篇具有很好参考价值的文章主要介绍了Hive字符串数组json类型取某字段再列转行。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、原始数据

acct	content
1232313	[{"name":"张三","code":"上海浦东新区89492jfkdaj\r\n福建的卡"...},{"name":"狂徒","code":"select * from table where aa=1\r\n and a=12"...},{...}]
...	...

二、需求

上述数据表名code_content，把json中code内容全都取出来拼接成一行数据，最终效果：

acct	new_content
1232313	上海浦东新区89492jfkdaj\r\n福建的卡\u0001select * from table where aa=1\r\n and a=12
...	...

三、解析思路

四、实现方法

1.sql

select acct,concat_ws('\u0001',collect_list(t.code)) code
from 
(
select acct,get_json_object(a_json,'$.code') code
from
(
select acct,
split(regexp_replace(regexp_extract(code,'(^\\[)(.*?)(\\]$)',2),'\\},\\{','\\}|\\{'),'\\|') as t_code
from code_content
where dt=20230823
) a
lateral view explode(t_code) code_content_tab as a_json
) t
group by acct

2.sql解释：

regexp_extract(code,'(^\\[)(.*?)(\\]$)',2):用正则取出数组里的json
regexp_replace：替换},{为}|{，方便切割因为,号一般语句里会比较多
split：切割成数组
explode：函数中的参数传入的是arrary数据类型的列名，通常，explode函数会与lateral view一起结合使用
lateral view：Lateral View配合 split, explode 等UDTF函数一起使用，它能够将一列数据拆成多行数据，并且对拆分后结果进行聚合，即将多行结果组合成一个支持别名的虚拟表。
get_json_object(a_json,'$.code')：获取json字段value
concat_ws('\u0001',collect_list(t.code))：“列转行”

参考：

Hive SQL中的 lateral view 与 explode（列转行）以及行转列_sql explode_卖山楂啦prss的博客-CSDN博客

hivesql解析json数组并拆分成多行_hive sql怎么对一个数组进行分行_Time Woods的博客-CSDN博客文章来源地址https://www.toymoban.com/news/detail-668102.html

到了这里，关于Hive字符串数组json类型取某字段再列转行的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！