Hive on Spark中遇到的Failed to create Spark client for Spark session的问题
在自学数仓项目中,遇到以下问题
错误提示:
org.apache.hadoop.hive.ql.parse.SemanticException:Failed to get a spark session: org.apache.hadoop.hive.ql.metadata.HiveException: Failed to create Spark client for Spark session dfea1fc3-5634-44c1-8a11-55ec733ea206
导致出现这个问题主要是Hive on Spark
的资源不足导致,还有一种可能导致出现这情况,即namenode没有正常启动,可以检查一下
解决方法:
1、修改参数
修改capacity-scheduler.xml
中的参数,文件位于$HADOOP_HOME/etc/hadoop
vim capacity-scheduler.xml
将yarn.scheduler.capacity.maximum-am-resource-percent
中value修改成0.8
即可
<property>
<name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
<value>0.8</value>
<description>
Maximum percent of resources in the cluster which can be used to run
application masters i.e. controls number of concurrent running
applications.
</description>
</property>
2、分发配置文件,进行同步
并将修改的capacity-scheduler.xml
文件分发给其他节点中
可以通过rsync 或者 scp 分发给其他节点中
linux远程拷贝文件相关知识
3、将yarn重启
只需要将yarn的ResourceManager
和NodeManager
重新启动即可
stop-yarn.sh
start-yarn.sh
补充知识:文章来源:https://www.toymoban.com/news/detail-436553.html
Apache Hadoop
的使用的是容量调度器
,它会每个资源队列中运行的Application Master
占用的资源进行啦限制,是在capacity-scheduler.xml
中yarn.scheduler.capacity.maximum-am-resource-percent
参数实现的,默认值为0.1,即10%的资源。主要是为了防止大部分资源的被Application Master
占用,而导致Map Task和 Reduce Task不能执行。在生产中不需要调整,在这里调整主要是我自己电脑资源不足导致的。文章来源地址https://www.toymoban.com/news/detail-436553.html
到了这里,关于Hive on Spark中遇到的Failed to create Spark client for Spark session的问题的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!