为了防止不必要的报错，部署之前请务必从开头开始看，切勿跳过其中一个部署模式，因为每一个部署模式都是从上一个模式的配置上进行的
下载地址：https://archive.apache.org/dist/spark/
本文所下载版本为：spark-3.3.0-bin-hadoop2
环境:
hadoop-2.7.5jdk1.8.0Scala
安装&部署过程
(Local)本地部署模式
所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境
将spark-3.3.0-bin-hadoop2.tgz包上传至Linux并解压指定目录
tar -zxvf spark-3.3.0-bin-hadoop2.tgz -C /export/servers
为了方便后续操作，建议修改文件名（可忽略）
cd /export/servers
mv spark-3.3.0-bin-hadoop2 spark-3.3.0
添加环境变量/etc/profile：
sudo vim /etc/profile
在文件内添加以下变量
export SPARK_HOME=/export/servers/spark-3.3.0
export PATH=$SPARK_HOME/bin:$HBASE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$PATH
使用环境变量生效：
source /etc/profile
进入spark-3.3.0执行命令 bin/spark-shel
看到这个界面表示本地启动成功
web端查看
启动成功后，可以输入网址进行Web UI监控页面访问
http://master:4040
(Standalone)独立部署模式
local本地模式毕竟只是用来进行练习演示的，真实工作中还是要将应用提交到对应的集群中去执行，这里我们来看看只使用Spark自身节点运行的集群模式，也就是我们所谓的独立部署（Standalone）模式。Spark的Standalone模式体现了经典的master-slave模式。
修改配置文件
进入spark的conf目录
cd /export/servers/spark-3.3.0/conf
修改以下配置
- workers
- spark-defaults.conf
- spark-env.sh
这三个文件在目录里都是模板，这里我们需要各复制一份出来并删除模板后缀名.template
cp workers.template workers
cp spark-defaults.conf.template spark-defaults.conf
cp spark-env.sh.template spark-env.sh
修改workers文件,删除localhost，添加以下内容
master
slave1
slave2
注意这里的节点，是你的分布式集群三台虚拟机的主机名
修改spark-env.sh，添加JAVA_HOME环境变量和对应的master节点
export JAVA_HOME=/export/servers/jdk1.8.0_181
export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077
注意：7077端口，相当于slave2内部通信的8020端口，此处的端口需要确认自己的Hadoop配置
默认就是7077，这里我们不做改动
分发spark文件给其他节点
scp -r /export/servers/spark-3.3.0 slave1:/export/servers
scp -r /export/servers/spark-3.3.0 slave2:/export/servers
将porfile环境配置文件发给其他节点并刷新配置
sudo scp -r /etc/profile slave1:/etc/profile
sudo scp -r /etc/profile slave2:/etc/profile
source /etc/profile
启动集群
执行脚本 sbin/start-all.sh，注意是在spark目录下
sbin/start-all.sh
查看三台服务器的进程
查看master节点上的资源监控页面web端http://master:8080
提交应用
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://master:7077 \
./examples/jars/spark-examples_2.12-3.3.0.jar \10
- –class表示要执行程序的主类
- –master spark://master:7077 独立部署模式，连接到Spark集群
- spark-examples_2.12-3.0.0.jar 运行类所在的jar包
- 数字10表示程序的入口参数，用于设定当前应用的任务数量
提交参数说明
在提交应用中，一般会同时一些提交参数
bin/spark-submit \
--class <main-class>
--master <master-url> \... # other options<application-jar> \[application-arguments]
| 参数 | 解释 | 可选值举例 |
|---|---|---|
| –class | Spark程序中包含主函数的类 | |
| –master | Spark程序运行的模式(环境) | 模式：local[*]、spark://hadoop02:7077、Yarn |
| –executor-memory 1G | 指定每个executor可用内存为1G | 符合集群内存配置即可，具体情况具体分析。 |
| –total-executor-cores 2 | 指定所有executor使用的cpu核数为2个 | |
| –executor-cores | 指定每个executor使用的cpu核数 | |
| application-jar | 打包好的应用jar，包含依赖。这个URL在集群中全局可见。 比如hdfs:// 共享存储系统，如果是file:// path，那么所有的节点的path都包含同样的jar | |
| application-arguments | 传给main()方法的参数 |
配置历史服务器
叨叨一句：以下端口号为9000的与hadoop的core-site.xml的配置文件中的一致的，有些人的可能是8020，也有些人的是9000
由于spark-shell停止掉后，集群监控master:4040页面就看不到历史任务的运行情况，所以开发时都配置历史服务器记录任务运行情况。
修改spar-defaults.conf文件添加日志存储路径配置
spark.eventLog.enabled true
spark.eventLog.dir hdfs://master:9000/directory
需要启动 hadoop 集群，HDFS 上的 directory 目录需要提前存在。
start-all.sh
hadoop fs -mkdir /directory
修改spark-env.sh文件, 添加日志配置
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://master:9000/directory
-Dspark.history.retainedApplications=30"
- 参数1含义：WEB UI访问的端口号为18080
- 参数2含义：指定历史服务器日志存储路径
- 参数3含义：指定保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，这个是内存中的应用数，而不是页面上显示的应用数。
分发配置文件
scp -r /export/servers/spark-3.3.0 slave1:/export/servers
scp -r /export/servers/spark-3.3.0 slave2:/export/servers
重新启动集群和历史服务
sbin/start-all.sh
sbin/start-history-server.sh
重新执行任务
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://master:7077 \
./examples/jars/spark-examples_2.12-3.3.0.jar \10
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-r9J4qN8Z-1660795217488)(https://cdn.staticaly.com/gh/archenblog/imgs@master/imags/image-20220815202636140.webp)]
查看历史服务器http://master:18080
配置高可用(HA)
在集群中配置多个Master结点。这里的高可用采用Zookeeper设置。
集群规划:
| master | slave1 | salve2 |
|---|---|---|
| Master | Master | |
| Zookeeper | Zookeeper | Zookeeper |
| Worker | Worker | Worker |
停止集群
sbin/stop-all.sh
逐个节点启动 Zookeeper
zkServer.sh start
修改 spark-env.sh文件添加如下配置
#注释如下内容：
#SPARK_MASTER_HOST=master
#SPARK_MASTER_PORT=7077
#添加如下内容:
# Master 监控页面默认访问端口为 8080，但是可能会和 Zookeeper 冲突，
# 所以改成 8989，也可以自定义，访问 UI 监控页面时请注意
SPARK_MASTER_WEBUI_PORT=8989
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=master,slave1,slave2
-Dspark.deploy.zookeeper.dir=/spark"
分发配置文件
scp -r /export/servers/spark-3.3.0 slave1:/export/servers
scp -r /export/servers/spark-3.3.0 slave2:/export/servers
启动集群
sbin/start-all.sh
查看当前结点状态：http://master:8989
启动 slave1 的单独 Master节点，此时 slave1 节点 Master 状态处于备用状态
sbin/start-master.sh
提交应用到高可用集群
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://master:7077,slave1:7077 \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10
如果报错，解决方法如下：
杀死master的master进程后再执行以上命令
查看 slave1 的 Master 资源监控 Web UI，稍等一段时间后，slave1 节点的 Master 状态提升为活动状态文章来源：https://www.toymoban.com/news/detail-419259.html
217491)]
提交应用到高可用集群
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://master:7077,slave1:7077 \
./examples/jars/spark-examples_2.12-3.3.0.jar \
10
如果报错，解决方法如下：
杀死master的master进程后再执行以上命令
[外链图片转存中…(img-kfaEOiH0-1660795217492)]
查看 slave1 的 Master 资源监控 Web UI，稍等一段时间后，slave1 节点的 Master 状态提升为活动状态
文章来源地址https://www.toymoban.com/news/detail-419259.html
到了这里，关于spark3.3.0安装&部署过程的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
