目录
一、需求
二、方法
1.row_number()
2.UUID
3.row_sequence()
三、对比
一、需求
在某一张 hive 表中需要有一列去唯一标识某一行，有些类似于MySQL中的自增ID
二、方法
1.row_number()
select row_number() OVER(ORDER BY RAND()) from table;2.UUID
SELECT regexp_replace(reflect("java.util.UUID", "randomUUID"), "-", "") AS uniqe_id
from table;3.row_sequence()
使用UDF函数row_sequence()，必须在Hive环境要有hive-contrib相关jar包
create temporary function row_sequence as 'org.apache.hadoop.hive.contrib.udf.UDFRowSequence';执行查询语句
select row_sequence() from table;三、对比
row_number函数是对整个数据集做处理，自增序列在当次排序中是连续的唯一的，使用 row_number() 容易发生数据倾斜；
使用UUID的方式可以解决数据倾斜，如果在hive表中null的值过多，也可以使用UUID的方法给null赋值，解决数据倾斜的问题；文章来源：https://www.toymoban.com/news/detail-619891.html
UDF函数row_sequence()是按照任务排序，但是一个SQL可能并发执行的job不止一个，而每个job都会从1开始各自排序，不能保证序号全局唯一。文章来源地址https://www.toymoban.com/news/detail-619891.html
到了这里，关于hive创建唯一标识列(自增id)的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
