在将spark程序提交到yarn中运行的时出现以下报错
ERROR SparkContext: Error initializing SparkContext.
java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the max threshold (1024 MB) of this cluster! Please check the values of 'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb'.
原因：
在配置yarn的配置文件中设置的内存过小，不能够支持spark程序的运行所以出现了报错
解决方法：
cd /opt/module/hadoop-2.7.7/etc/hadoop
修改
vi yarn-site.xml
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>1024</value>
</property>
改为：
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>
关闭yarn
stop-yarn.sh
对文件进行分发文章来源：https://www.toymoban.com/news/detail-724777.html
scp -r /opt/module/hadoop-2.7.7 root@slave1:/opt/module/
scp -r /opt/module/hadoop-2.7.7 root@slave2:/opt/module/
启动yarn文章来源地址https://www.toymoban.com/news/detail-724777.html
start-yarn,sh
到了这里，关于ERROR SparkContext: Error initializing SparkContext. （）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
