Hive中生成自增序列的常用方法-Toy模板网

这篇具有很好参考价值的文章主要介绍了Hive中生成自增序列的常用方法。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

在日常业务开发过程中，通常遇到需要hive数据表中生成一列唯一ID，当然连续递增的更好。

最近在结算业务中，需要在hive表中生成一列连续且唯一的账单ID，于是就了解生成唯一ID的方法

1. 利用row_number函数

语法：row_number() over(order by step)+start_num

step表示每次递增多少

start_num表示从哪个值开始递增，不写默认是0

如下：表示从10000开始，每次递增1

SELECT row_number() over(order by 1)+10000

因此输出是10001

如果有其他值，也可以拼接其它值，比如列date是20231010

SELECT CONCAT(date,row_number() over(order by 1)+10000) AS auto_increment_id

因此输出是2023101010001

2. 利用自定义函数序列

首先Hive环境要有hive-contrib相关jar包

定义函数row_sequence

create temporary function row_sequence as 'org.apache.hadoop.hive.contrib.udf.UDFRowSequence';

使用函数row_sequence

SELECT row_sequence() AS auto_increment_id

row_sequence的自增规则是我们自己定义的，至于怎么定义，就看我们的逻辑是怎么实现

3、二者区别

第一种方法row_number

在一次SQL运行中是全局递增的，只不过再次执行SQL就会重复，如果不想重复我们可以更改start_num的值，把start_num调整到我们认为的不会重复的值开始

或者拼接上日期或者时间戳等前缀，这样每次执行就不会重复

第二种方法UDFRowSequence

由于是我们自己定义的函数，而SQL任务是以分布式的运行的，一个SQL并发可能会有多个job执行，每个job可以理解为1个节点或者进程，在每个进程上运营的序列都从起始值开始，所以不能保证序号全局连续唯一。因此我们可以借助第三方存储记录，比如Redis，来保证生产序列的全局连续递增文章来源地址https://www.toymoban.com/news/detail-715142.html

到了这里，关于Hive中生成自增序列的常用方法的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！