hiveSQL常见函数及用法(持续收集)

这篇具有很好参考价值的文章主要介绍了hiveSQL常见函数及用法(持续收集)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1,时间函数

hiveSQL常见函数及用法(持续收集)

2,聚合函数

注意:聚合函数常与 SELECT 语句的 GROUP BY 子句一块儿使用。换句话说使用聚合函数时,一个列字段要不在group by里,要没必要须在聚合函数里面,不能单独出现,不然报错。
hiveSQL常见函数及用法(持续收集)

3,字符串函数

hiveSQL常见函数及用法(持续收集)

4,连接函数

hiveSQL常见函数及用法(持续收集)

5,其他函数

hiveSQL常见函数及用法(持续收集)

6,窗口函数

1,lead(col,n,m) over(partition by … order by …):
其中col是要取的字段,n是取排序后的第几条记录;m是缺省值,如果后面的记录取不到值就去m,m的数据类型要和col一致,不然会报错,m可不填值,默认为空

2,lag() over(partition by … order by …)
与lead() over(partition by … order by …)相似,只是去上一条记录的某字段;

3,ROW_NUMBER()
为每一组的行按顺序生成一个连续序号。

4,RANK()
也为每一组的行生成一个序号,与ROW_NUMBER()不同的是如果按照ORDER BY的排序,如果有相同的值会生成相同的序号,并且接下来的序号是不连序的。例如两个相同的行生成序号2,那么接下来会生成序号4

5,DENSE_RANK()
和RANK()类似,不同的是如果有相同的序号,那么接下来的序号不会间断。也就是说如果两个相同的行生成序号2,那么接下来生成的序号还是3。

注意:3,4,5都属于排名开窗函数,ORDER BY 指定排名开窗函数的顺序,在排名开窗函数中必须使用ORDER BY语句。

6,Hive-sql特点和sql的区别

1、Hive不支持等值连接

不支持等值连接,一般使用left join、right join 或者inner join替代。

SQL中内关联可以这样写: select * from a , b where a.key = b.key
Hive中应该这样写: select * from a join b on a.key = b.key
hive中不能使用省去join的写法。
2、分号字符

分号是sql语句的结束符号,在hive中也是,但是hive对分号的识别没有那么智能,有时需要进行转义 “;” --> “\073”

3、NULL

sql中null代表空值,但是在Hive中,String类型的字段若是空(empty)字符串,即长度为0,那么对它 is null 判断结果为False

4、Hive不支持将数据插入现有的表或分区中

Hive仅支持覆盖重写整个表。
insert overwrite 表 (重写覆盖)

5、Hive不支持 Insert into 表 Values(), UPDATA , DELETE 操作

insert into 就是往表或者分区中追加数据。

6、Hive支持嵌入mapreduce程序,来处理复杂的逻辑
7、Hive支持将转换后的数据直接写入不同的表,还能写入分区,hdfs和本地目录

避免多次扫描输入表的开销。文章来源地址https://www.toymoban.com/news/detail-438230.html

8、HQL不支持行级别的增、改、删,所有数据在加载时就已经确定,不可更改。
9,HiveSQL不支持事务,支持分区存储,HiveSQL落地到hdfs

收藏加关注,再来不迷路!!!

到了这里,关于hiveSQL常见函数及用法(持续收集)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • hivesql-dayofweek 函数

    文章最前 : 我是Octopus,这个名字来源于我的中文名--章鱼;我热爱编程、热爱算法、热爱开源。所有源码在我的个人github ;这博客是记录我学习的点点滴滴,如果您对 Python、Java、AI、算法有兴趣,可以关注我的动态,一起学习,共同进步。  相关文章: LEFT ANTI JOIN的使用

    2024年02月12日
    浏览(29)
  • mysql常见时间函数, 获取日期对应的年、月、日、星期、周、季度、时、分、秒函数、加减、日期都有

     获取日期对应的年、月、日、星期、季度、时、分、秒函数、日期为当年的第几天函数都有 1、NOW(),用于获取当前日期和时间函数 select now()  返回:2023-05-18 10:58:06 2、CURDATE(),用于获取当前日期,同CURRENT_DATE() select curdate()  返回:2023-05-18 3、CURTIME(),用于获取当前时间,

    2024年02月15日
    浏览(47)
  • HiveSQL题——炸裂函数(explode/posexplode)

    目录 一、炸裂函数的知识点 1.1 炸裂函数  explode  posexplode 1.2 lateral view 侧写视图 二、实际案例 2.1 每个学生及其成绩 0 问题描述 1 数据准备 2 数据分析 3 小结 2.2 日期交叉问题 0 问题描述 1 数据准备 2 数据分析 3 小结 2.3 用户消费金额 0 问题描述 1 数据准备 2 数据分析 3 小

    2024年03月15日
    浏览(44)
  • HiveSQL题——array_contains函数

    目录 一、原创文章被引用次数 0 问题描述 1 数据准备 2 数据分析 ​编辑 3 小结 二、学生退费人数 0 问题描述 1 数据准备 2 数据分析 3 小结 0 问题描述    求原创文章被引用的次数,注意本题不能用关联的形式求解。 1 数据准备    id表示文章id,oid表示引用的其他文章id,当

    2024年04月23日
    浏览(75)
  • HiveSQL在使用聚合类函数的时候性能分析和优化详解

    前文我们写过简单SQL的性能分析和解读,简单SQL被归类为select-from-where型SQL语句,其主要特点是只有map阶段的数据处理,相当于直接从hive中取数出来,不需要经过行变化。在非多个节点的操作上,其性能甚至不比Tez和Spark差。 而这次我们主要说的是使用聚合类函数的hiveSQL,这

    2024年02月09日
    浏览(48)
  • hivesql开窗函数row number() over (partition by )详解

    ROW_NUMBER() OVER (PARTITION BY ) 是一种窗口函数,用于在每个分区内对行进行编号。它可以用于分析和报表等场景,可以帮助我们对数据进行分组排序,获取排名信息。 具体来说,ROW_NUMBER() 是一种分析函数,它可以根据 ORDER BY 子句中指定的列对行进行排序,并为每个分区内的行分

    2024年02月05日
    浏览(41)
  • 【Python自学笔记】Python好用的模块收集(持续更新...)

    写代码离不开日志,自定义一个理想的日志对于小白来说可能是一件很反锁的事情,就像我刚学习Python的时候自己写的一

    2024年02月10日
    浏览(37)
  • 数据集收集列表(opencv,机器学习,深度学习)持续更新

    opencv 车牌识别数据集 opencv 手写数字识别数据集 ,下载地址 ,下载

    2024年02月11日
    浏览(72)
  • uni-app 面试题收集 (持续更新中...)

    1.一句话总的形容uniapp与vue和微信小程序的区别 uni-app就是用着vue的指令和小程序的组件和API 2.uni-app中常见的组件 view 视图容器 icon 图标 text 文本组件 3.uni-app中常用的指令语句 v-for:循环渲染 v-if 控制元素的删除添加 v-show 控制元素的显示隐藏 v-model 双向数据绑定 v-on 事件绑

    2024年02月11日
    浏览(48)
  • python3 爬虫相关学习8:python 的常见报错内容汇总(持续收集ing)

    目录 1 低级错误(比如拼写错误等)  1.1 NameError:  1.2 属性错误 AttributeError:  属性拼写错误 2  应用错误(类型应用,属性使用的错误) 2.1 类型错误 TypeError:  如字符串连接错误 2.2  属性应用错误  AttributeError 3 模块相关错误 3.1 找不到对应模块 ModuleNotFoundError: 3.2 相关模

    2024年02月04日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包