【Hive】HQL Map 『CRUD | 相关函数』

这篇具有很好参考价值的文章主要介绍了【Hive】HQL Map 『CRUD | 相关函数』。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1. Map 增删改查

1.1 声明 Map 数据类型

  1. 语法:map<基本数据类型, 基本数据类型> 注意是<>,不是()
  2. 例子:
    1. 创建表时:
      create table temp_db.map_test(
      	id int comment "源数据主键id",
      	smap map<string,string> comment "string型map",
      	imap map<string,int> comment "int型map"
      );
      
    2. 字段填充时:cast(null as map<string, string>) as XXX

1.2 增

-- 一列一行数据
insert into temp_db.map_test(id,smap,imap) 
select 
	12,
	map('姓名','张三') as pp,
	map('年龄',23,'性别',1) as dd;

-- 一列多行数据
insert into temp_db.map_test(id,smap,imap) 
select 
	12,
	map('姓名',col_name1) as pp,
	map('年龄',col_name2,'性别',col_name3) as dd
from table_name;

1.3 删

没有删除,只能覆盖

1.4 改

只能 overwrite 覆盖

1.5 查

方式一:
select map_name['keyName'] ;

方式二:
select map_name.keyName

注意:如果查找不存在的键值对,会返回 null
【Hive】HQL Map 『CRUD | 相关函数』,# Hive,hive

2. Map 相关函数

2.1 单个Map

  1. map_keys(map_name):获取该map的所有key,结果是一个Array。
  2. map_keys(map_name):获取该map的所有value,结果是一个Array。
  3. size(map_name):获取该map的键值对个数。
  4. 判断map中是否包含某个key值:array_contains(map_keys(map_name), ‘key’) 或者 map_name[“key”] is not null

3. Map 与 String

3.1 Map 转 string

select 
    ...,
    concat_ws(',', collect_list(concat_ws(':', k, v) ) )
from test_map_1
lateral view outer explode(map1) kv as k,v

3.2 string 转 Map

select str_to_map("name:zhangsan,age:25");
select str_to_map('"name":"zhangsan","age":25"');
select str_to_map("\\"name\\":\\"zhangsan\\",\\"age\\":25\\""');

注意:键值对都没有引号也可以的文章来源地址https://www.toymoban.com/news/detail-705670.html

到了这里,关于【Hive】HQL Map 『CRUD | 相关函数』的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【hive】相关性函数进行相关性分析

    在Hive SQL中,使用类似的相关性函数进行相关性分析。常见的相关性函数包括CORR、COVAR_POP、COVAR_SAMP、STDDEV_POP、STDDEV_SAMP等。 举个例子,假设有一个表格sales,其中包含两列数据 sales_amt 和 advertising_amt ,我们可以使用CORR函数来计算这两列数据的相关性: 这将返回一个值,表示

    2024年02月21日
    浏览(31)
  • (05) Hive的相关概念——函数介绍

    目录 一、各数据类型的基础知识点 1.1 数值类型 整数 小数 float double(常用) decimal(针对高精度) 1.2 日期类型 date datetime timestamp time year 1.3 字符串类型 char varchar / varchar2 blob /text  tinyblob / tinytext mediumblob / mediumtext longblob / longtext string(常用) 二、Hive中的常用函数 2.1 单行函数 2.1

    2024年02月20日
    浏览(35)
  • hql(hive sql)中的join及踩过的坑

    1 几种join方式 join join 对应于 inner join 内连接。 当多张表进行 join 的时候,所有表中与 on 条件中匹配的数据才会显示。 hql (即 hive sql )的 on 子句中只支持 and ,不支持 or ,也不支持 null 的对比。 left outer join 左外连接,也称为左连接。 以左表为基准,如果右表有条件匹配

    2024年01月21日
    浏览(30)
  • hql、数据仓库、sql调优、hive sql、python

    HQL(Hibernate Query Language) 是面向对象的查询语言 SQL的操作对象是数据列、表等数据库数据 ; 而HQL操作的是类、实例、属性 数据仓库的定义 英文名称为Data Warehouse,可简写为DW或DWH。 为企业级别的决策制定过程,提供所有类型数据支持的战略集合。 它出于分析性报告和决策支持

    2024年02月03日
    浏览(41)
  • 一百三十七、Hive——HQL运行报错(持续更新中)

    样例:from_unixtime(unix_timestamp(change_time, \\\'yyyy-MM-dd HH:mm:ss\\\') + green) AS new_timestamp  成功!!! 在DWS层中,对多层SQL使用with语句嵌套查询,然后insert插入数据。如果直接把insert放在with语句上面,那么就会如下报错 org.apache.hadoop.hive.ql.parse.ParseException:line 2:0 cannot recognize input near \\\'w

    2024年02月15日
    浏览(30)
  • 【大数据之Hive】二十三、HQL语法优化之数据倾斜

      数据倾斜指参与计算的数据分布不均,即某个key或者某些key的数据量远超其他key,导致在shuffle阶段,大量相同key的数据被发往同一个Reduce,导致该Reduce所需的时间远超其他Reduce,成为整个任务的瓶颈。   Hive中的数据倾斜常出现在分组聚合和join操作的场景中 。   

    2024年02月16日
    浏览(35)
  • 【Hive_06】企业调优2(数据倾斜优化、HQL优化等)

    数据倾斜问题,通常是指参与计算的数据分布不均,即某个key或者某些key的数据量远超其他key,导致在shuffle阶段,大量相同key的数据被发往同一个Reduce,进而导致该Reduce所需的时间远超其他Reduce,成为整个任务的瓶颈。 比如对于一张表的province_id字段,其中99%的值都为1,则

    2024年01月16日
    浏览(28)
  • 【大数据之Hive】二十五、HQL语法优化之小文件合并

      小文件优化可以从两个方面解决,在Map端输入的小文件合并,在Reduce端输出的小文件合并。   合并Map端输入的小文件是指将多个小文件分到同一个切片中,由一个Map Task处理,防止单个小文件启动一个Map Task,造成资源浪费。 相关参数:   合并Reduce端输出的小文件是

    2024年02月13日
    浏览(27)
  • Hive SQL 中ARRAY或MAP类型数据处理:lateral view explode()/posexplode()——行转列函数

    前言:在对表数据进行批量处理过程中,常常碰上某个字段是一个array或者map形式的字段,一列数据的该字段信息同时存在多个值,当我们需要取出该数组中的每一个值实现一一对应关系的时候,可以考虑使用lateral view explode()/posexplode() 进行处理。 一、提要:explode()本身是

    2024年02月04日
    浏览(32)
  • 二百一十九、Hive——HQL报错:Caused by: java.util.regex.PatternSyntaxException: Illegal repetition near index 1

    在海豚调度HQL的脚本任务时报错, Caused by: java.util.regex.PatternSyntaxException: Illegal repetition near index 1 with t1 as( select        get_json_object(queue_json,\\\'$.deviceNo\\\')   device_no,        get_json_object(queue_json,\\\'$.createTime\\\') create_time,        get_json_object(queue_json,\\\'$.laneNum\\\')    lane_num,        ge

    2024年02月01日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包