1,前期准备
使用 root 用户完成相关配置,已安装配置Hadoop 及前置环境
2,spark上传解压到master服务器
3,修改环境变量
/etc/profile末尾添加下面代码
export SPARK_HOME=.../spark-3.1.1-bin-hadoop3.2(注意:需要替换成你自己得路径)
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
4,环境变量生效
source /etc/profile
5,运行spark-submit --version
显示如下
6,修改saprk-env.sh文件
在.../spark-3.1.1-bin-hadoop3.2/conf目录下,将下面两行添加至spark-env.sh文件末尾:
HADOOP_CONF_DIR=.../hadoop-3.1.3/etc/hadoop
YARN_CONF_DIR=.../hadoop-3.1.3/etc/hadoop
7,运行计算Pi的jar包
命令如下:
spark-submit --master yarn --class org.apache.spark.examples.SparkPi $SPARK_HOME/examples/jars/spark-example_2.11-2.1.1.jar
结果显示如下:
8,注意
如果报内存大小错误,修改yarn-site.xml,设置虚拟内存,至少是物理内存的4倍文章来源:https://www.toymoban.com/news/detail-841977.html
文章来源地址https://www.toymoban.com/news/detail-841977.html
到了这里,关于(超详细)Spark on Yarn安装配置的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!