Hive表锁机制原理以及各种场景的解决方案-Toy模板网

这篇具有很好参考价值的文章主要介绍了Hive表锁机制原理以及各种场景的解决方案。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

hive 锁机制(S锁,X锁) 是由hive的事务管理器出发，锁的原理是一张表简称A表，我们对A表做查询操作的时候，就会获取到 A表的S锁(共享锁), 如果对A表做alter 等其他操作就会获取A表的X锁(排他锁) 如果A表同时拥有S锁和X锁，A表就会死锁。死锁后的现象就是做drop truncate 等操作会很慢一直运行中，因为这时候操作已经阻塞了。

解决方法:

1. 查看被锁的表是否被其他任务所引用，比如我们一个任务是对A表做查询，另一个任务在对A表做其他操作比如写入,修改表结构等就会导致表被锁。如果有就把其中一个任务kill掉。

2. 先用 show locks 命令查看被锁的表然后用 unlock table tableName 进行解锁，也可以对分区解锁 unlock table tableName partition(dt="yyyyMMdd")。 hive表锁机制针对分区表有表锁和表分区锁，表分区锁是细粒度的锁。

#查看HIVE表是否被锁
SHOW LOCKS <TABLE_NAME>; 
#查看哪一个SQL锁了HIVE表 
SHOW LOCKS <TABLE_NAME> EXTENDED;
#查看HIVE表分区是否被锁 
SHOW LOCKS <TABLE_NAME> PARTITION (<PARTITION_DESC>); 
#查看哪一个SQL锁了HIVE表分区
SHOW LOCKS <TABLE_NAME> PARTITION (<PARTITION_DESC>) EXTENDED;

3. set hive.support.concurrency=false; 默认为true 这个参数可以让hive在当前session关闭锁机制，但是全局还是有表锁机制的问题，也可以把参数写到hive的配置文件里，那么hive的表锁机制就一直关闭了。

4. 最暴力的方法，现在hive的元数据服务基本都存储在MySql，在MySql 的hive 库可以找到一张 hive_locks表把里面的数据truncate 也可以，但是治标不治本，而且Hive源码也有自动定期清理的线程不过默认是关的可以在配置文件配置开启，这个方法注意不要把hive_locks表删了，不然启动hive服务会有问题，truncate就行。

5. 在Hive3.X 版本建表不指定存储格式的话默认是orc事务表，可以用parquet格式存储就不会受到表锁机制的问题，不过orc存储的文件更小并且支持 ACID/DELETE/UPDATE。文章来源地址https://www.toymoban.com/news/detail-786534.html

到了这里，关于Hive表锁机制原理以及各种场景的解决方案的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！