已解决:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask

这篇具有很好参考价值的文章主要介绍了已解决:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

问题描述

  1. 今天在跑hive sql的时候,报错;FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask【从hive log找到的错误提示】,详细的报错如下所示:时隔近一年,又遇到这个报错了,蛮无语的,看不出啥原因导致的。。。

    org.apache.hive.service.cli.HiveSQLException: 
    
    Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask 
    
    at org.apache.hive.service.cli.operation.Operation.toSQLException(Operation.java:380) 
    
    at org.apache.hive.service.cli.operation.SQLOperation.runQuery(SQLOperation.java:257) 
    
    at org.apache.hive.service.cli.operation.SQLOperation.access$800(SQLOperation.java:91) 
    
    at org.apache.hive.service.cli.operation.SQLOperation$BackgroundWork$1.run(SQLOperation.java:348) 
    
    at java.security.AccessController.doPrivileged(Native Method) 
    
    at javax.security.auth.Subject.doAs(Subject.java:422) 
    
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1893) 
    
    at org.apache.hive.service.cli.operation.SQLOperation$BackgroundWork.run(SQLOperation.java:362) 
    
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) 
    
    at java.util.concurrent.FutureTask.run(FutureTask.java:266) 
    
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) 
    
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748)
    
  2. 在网上查了蛮久的,找到一个解决方案

解决方案

【参考方案】

  1. 参考错误原因:
Cause:
The above issue occurs when there are multiple jobs triggered and Hive removes a session directory for some application failure while Tez Application Master is still using it. The Tez Application Master staging directory is part of Hive Scratch directory which is controlled by the Hive Session.
Solution:
To resolve this issue, block the closing of sessions until tez AM shuts down


【中文描述就是这个样子:】
当触发了多个作业,并且当Tez application Master仍在使用时,Hive删除了某个应用程序故障的会话目录时,就会出现上述问题。
Tez application Master暂存目录是Hive Scratch目录的一部分,该目录由Hive session控制。

解决方案:要解决此问题,请阻止会话关闭,直到tez AM关闭
  1. 在执行sql前设置:set tez.client.asynchronous-stop=false,然后就正常执行了。。。

【未完待续-…先正常能跑,有时间了再深入研究下】

快一年了,又遇到这个情况了,这次必须解决掉!文章来源地址https://www.toymoban.com/news/detail-539458.html

到了这里,关于已解决:FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包