一、安装 Spark On Yarn
在公司中，通常采用Yarn进行资源调度，故此处采用Yarn模式的集群部署。
采用Yarn部署模式时，需要保证集群中已经安装好Hadoop集群，在此基础上才能实现Yarn模式的部署。
在Yarn模式中，Spark应用程序有两种运行模式：
yarn-client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出；
yarn-cluster：Driver程序运行在由RM启动的 AppMaster中，适用于生产环境
二者的主要区别：Driver在哪里！
1. Yarn配置
修改Hadoop中的 yarn-site.xml 配置文章来源：https://www.toymoban.com/news/detail-493594.html
在$HADOOP_HOME/etc/hadoop/yarn-site.xml中增加如下配置，然后分发到集群其他节点，重启yarn 服务。（以下配置保证在运行spark job时不会抛内存不足等的异常）文章来源地址https://www.toymoban.com/news/detail-493594.html
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
到了这里，关于大数据 | Spark安装及性能测试的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
