概念
不需要指定并发，只需要指定内存， 程序在运行后会动态调节并发数量，我们只需要设置一个上线即可
-
在spark 配置文件设置：
spark.dynamicAllocation.enabled true
spark.shuffle.service.enabled true -
准备shuffer jar
将spark安装包中的spark--yarn-shuffle.jar 放在集群中每个节点的classpath中文章来源：https://www.toymoban.com/news/detail-661580.html -
yarn-site.xml 增加文章来源地址https://www.toymoban.com/news/detail-661580.html
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle,spark_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.spark_shuffle.class</name>
<value>org.apache.spark.network.yarn.YarnShuffleService</value>
</property>
- 重启 NodeManager
到了这里，关于spark yarn 开启动态资源分配的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
