1. Toy模板网首页
  2. > Toy博客

Spark-3.2.4 高可用集群安装部署详细图文教程

10月前 作者：Stars.Sky 分类：Toy博客 阅读(36) 违法举报

这篇具有很好参考价值的文章主要介绍了Spark-3.2.4 高可用集群安装部署详细图文教程。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

目录

一、Spark 环境搭建-Local

1.1 服务器环境 

1.2 基本原理 

1.2.1 Local 下的角色分布

1.3 搭建 

1.3.1 安装 Anaconda 

1.3.1.1 添加国内阿里源 

1.3.2 创建 pyspark 环境 

1.3.3 安装 spark

1.3.4 添加环境变量 

1.3.5 启动 spark 

1.3.5.1 bin/pyspark 

1.3.5.2 WEB UI (4040)

1.3.5.3 spark-shell 

1.3.5.4 bin/spark-submit

1.3.6 pyspark/spark-shell/spark-submit 对比

二、Spark 环境搭建-Standalone

2.1 Standalone 架构 

2.2 搭建

2.2.1 各个节点安装 Anaconda 

2.2.2 修改配置文件（在 hadoop01 上执行） 

2.2.2.1 workers 

2.2.2.2 spark-env.sh  

2.2.2.3 spark-defaults.conf

2.2.2.4 log4j.properties（可选配置）

2.2.3 分发 Spark 安装目录

2.2.4 启动服务 

2.2.5 查看 Master 的 WEB UI

2.2.6 连接到 StandAlone 集群

2.2.6.1 bin/pyspark

2.2.6.2 bin/spark-shell

2.2.6.3 bin/spark-submit (PI)

2.2.7 查看历史服务器 WEB UI

三、Spark 环境搭建-Standalone HA

3.1 背景

3.2 高可用 HA

​3.3 基于 Zookeeper 实现 HA 

3.3.1 spark-env.sh

3.3.2 启动 HA 集群

3.3.3 master 主备切换

一、Spark 环境搭建-Local

1.1 服务器环境 

  • 已部署好 Hadoop 集群(HDFS\YARN)，要求版本 Hadoop3 以上
  • JDK 1.8
  • 操作系统 CentOS 7 (建议 7.6)

本次基于这篇文章的 Hadoop 集群环境搭建 Spark：Hadoop YARN HA 集群安装部署详细图文教程_Stars.Sky的博客-CSDN博客

IP

主机名

运行角色

192.168.170.136

hadoop01

namenode datanode resourcemanager nodemanager JournalNode DFSZKFailoverController QuorumPeerMain Spark

192.168.170.137

hadoop02

namenode datanode resourcemanager nodemanager JournalNode DFSZKFailoverController QuorumPeerMain Spark

192.168.170.138

hadoop03

datanode nodemanage JournalNode QuorumPeerMain Spark

1.2 基本原理 

本质：启动一个 JVM Process 进程(一个进程里面有多个线程)，执行任务 Task。

spark高可用集群部署,Spark,spark,大数据,分布式

Local 模式可以限制模拟 Spark 集群环境的线程数量, 即 Local[N] 或 Local[*]：

  • 其中 N 代表可以使用 N 个线程，每个线程拥有一个 cpu core。如果不指定 N，则默认是 1 个线程（该线程有 1 个 core）。通常 Cpu 有几个 Core，就指定几个线程，最大化利用计算能力。
  • 如果是 local[*]，则代表 Run Spark locally with as many worker threads as logical cores on your machine，按照 Cpu 最多的 Cores 设置线程数。

1.2.1 Local 下的角色分布

资源管理：

  • Master：Local 进程本身。
  • Worker：Local 进程本身。

任务执行：

  • Driver：Local 进程本身。
  • Executor：不存在，没有独立的 Executor 角色，由 Local 进程(也就是 Driver)内的线程提供计算能力。

注意:

  1. Driver 也算一种特殊的 Executor，只不过多数时候，我们将 Executor 当做纯 Worker 对待， 这样和 Driver 好区分(一类是管理一类是工人) 。
  2. Local 模式只能运行一个 Spark 程序，如果执行多个 Spark 程序，那就是由多个相互独立的Local 进程在执行。

1.3 搭建 

Spark 下载地址：Apache Downloads 

Anaconda 下载地址：Index of /

1.3.1 安装 Anaconda 

# 上传安装包后赋予权限
[root@hadoop01 ~]# chmod +x Anaconda3-2023.03-1-Linux-x86_64.sh 

# 执行安装脚本
[root@hadoop01 ~]# ./Anaconda3-2023.03-1-Linux-x86_64.sh

先按回车键： 

spark高可用集群部署,Spark,spark,大数据,分布式再按空格键，直到出现让你输入 yes：
spark高可用集群部署,Spark,spark,大数据,分布式最后输入安装路径，并耐心等待安装完成：

spark高可用集群部署,Spark,spark,大数据,分布式

最后进行初始化，输入 yes：

spark高可用集群部署,Spark,spark,大数据,分布式

[root@hadoop01 ~]# source ~/.bashrc 

# 测试安装是否成功
(base) [root@hadoop01 ~]# conda list
1.3.1.1 添加国内阿里源 
(base) [root@hadoop01 ~]# vim ~/.condarc
channels:
  - defaults
show_channel_urls: true
default_channels:
  - http://mirrors.aliyun.com/anaconda/pkgs/main
  - http://mirrors.aliyun.com/anaconda/pkgs/r
  - http://mirrors.aliyun.com/anaconda/pkgs/msys2
custom_channels:
  conda-forge: http://mirrors.aliyun.com/anaconda/cloud
  msys2: http://mirrors.aliyun.com/anaconda/cloud
  bioconda: http://mirrors.aliyun.com/anaconda/cloud
  menpo: http://mirrors.aliyun.com/anaconda/cloud
  pytorch: http://mirrors.aliyun.com/anaconda/cloud
  simpleitk: http://mirrors.aliyun.com/anaconda/cloud

# 清除索引缓存
(base) [root@hadoop01 ~]# conda clean -i

1.3.2 创建 pyspark 环境 

# 查看 python 版本
[root@hadoop01 ~]# python
Python 3.10.9 (main, Mar  1 2023, 18:23:06) [GCC 11.2.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> exit()

# 创建一个新的独立的 Python 环境
[root@hadoop01 ~]# conda create -n pyspark python=3.10.9

# 切换环境
[root@hadoop01 ~]# conda activate pyspark                                                                                                               
(pyspark) [root@hadoop01 ~]#

1.3.3 安装 spark

(pyspark) [root@hadoop01 ~]# tar -zxvf spark-3.2.4-bin-hadoop3.2.tgz -C /bigdata/
(pyspark) [root@hadoop01 ~]# mv /bigdata/spark-3.2.4-bin-hadoop3.2/ /bigdata/spark-3.2.4

1.3.4 添加环境变量 

(pyspark) [root@hadoop01 ~]# vim /etc/profile
# spark
export SPARK_HOME=/bigdata/spark-3.2.4
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PYSPARK_PYTHON=/usr/local/anaconda3/envs/pyspark/bin/python3.10
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native

(pyspark) [root@hadoop01 ~]# vim /root/.bashrc 
export JAVA_HOME=/usr/java/jdk1.8.0_381
export PYSPARK_PYTHON=/usr/local/anaconda3/envs/pyspark/bin/python3.10

(pyspark) [root@hadoop01 ~]# source /etc/profile
  • SPARK_HOME：表示 Spark 安装路径在那里；
  • HADOOP_CONF_DIR：告知 Spark Hadoop 的配置文件在那里；
  • PYSPARK_PYTHON：告知 Spark 运行 python 程序的执行器在哪里。
  • LD_LIBRARY_PATH：加载 Hadoop 的本地库（通常是 C 语言编写的）

1.3.5 启动 spark 

1.3.5.1 bin/pyspark 

        bin/pyspark 程序，可以提供一个交互式的 Python 解释器环境，在这里面可以写普通 python 代码，以及 spark 代码。

(pyspark) [root@hadoop01 ~]# cd /bigdata/spark-3.2.4/
[root@hadoop01 /bigdata/spark-3.2.4]# bin/pyspark

示例代码, 将数组内容都 +1进行计算：
sc.parallelize([1,2,3,4,5]).map(lambda x: x + 1).collect() 

spark高可用集群部署,Spark,spark,大数据,分布式

在这个环境内，可以运行 spark 代码。图中的 parallelize 和 map 都是 spark 提供的 API。

1.3.5.2 WEB UI (4040)

        每一个 Spark 程序在运行的时候，会绑定到 Driver 所在机器的 4040 端口上。如果 4040 端口被占用，会顺延到 4041 ... 4042... 

4040 端口是一个 WEBUI 临时端口，可以在浏览器内打开。输入：服务器 ip:4040 即可打开

spark高可用集群部署,Spark,spark,大数据,分布式

        打开监控页面后，可以发现在程序内仅有一个 Driver，因为我们是 Local 模式，Driver 即管理 又干活。同时打开另一个终端，输入 jps，可以看到 local 模式下的唯一进程存在。这个进程即是 master 也是 worker。

spark高可用集群部署,Spark,spark,大数据,分布式

注意：如果把当前的 pyspark 程序终止或退出（Ctrl + D）的话，SparkSubmit 进程 和 Web UI 页面也将终止和失效。 

1.3.5.3 spark-shell 

        同样是一个解释器环境，和 bin/pyspark 不同的是，这个解释器环境 运行的不是python代码，而是 scala 程序代码。

spark高可用集群部署,Spark,spark,大数据,分布式

这个仅作为了解即可，因为这个是用于 scala 语言的解释器环境。

1.3.5.4 bin/spark-submit

bin/spark-submit 程序，作用: 提交指定的 Spark 代码到 Spark 环境中运行。

# 语法
bin/spark-submit [可选的一些选项] jar 包或者 python 代码的路径 [代码的参数]

# 示例
[root@hadoop01 /bigdata/spark-3.2.4]# bin/spark-submit --master local[*] /bigdata/spark-3.2.4/examples/src/main/python/pi.py 10

# 此案例运行 Spark 官方所提供的示例代码来计算圆周率值。后面的 10 是主函数接受的参数，数字越高，计算圆周率越准确。

spark高可用集群部署,Spark,spark,大数据,分布式

1.3.6 pyspark/spark-shell/spark-submit 对比

bin/spark-submit bin/pyspark bin/spark-shell
功能 提交 java\scala\python 代码到spark中运行 提供一个 python 解释器环境用来以 python 代码执行 spark 程序 提供一个 scala 解释器环境用来以 scala 代码执行 spark 程序
特点 提交代码用 解释器环境 写一行执行一行 解释器环境 写一行执行一行
使用场景 正式场合，正式提交 spark程序运行 测试\学习\写一行执行一行\用来验证代码等 测试\学习\写一行执行一行\用来验证代码等

二、Spark 环境搭建-Standalone

2.1 Standalone 架构 

        Standalone 模式是 Spark 自带的一种集群模式，不同于前面本地模式启动多个进程来模拟集群的环境，Standalone 模式是真实地在多个机器之间搭建 Spark 集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理。 

StandAlone 是完整的 Spark 运行环境，其中:

  • Master 角色以 Master 进程存在，Worker 角色以 Worker 进程存在；
  • Driver 和 Executor 运行于 Worker 进程内，由 Worker 提供资源供给它们运行。

spark高可用集群部署,Spark,spark,大数据,分布式

spark高可用集群部署,Spark,spark,大数据,分布式

2.2 搭建

IP

主机名

运行角色

192.168.170.136

hadoop01

master worker

192.168.170.137

hadoop02

 worker

192.168.170.138

hadoop03

 worker

2.2.1 各个节点安装 Anaconda 

具体安装步骤同上面 1.3.1-1.3.4 是一样的。

2.2.2 修改配置文件（在 hadoop01 上执行） 

2.2.2.1 workers 

这个文件就是指示了当前 Spark StandAlone 环境下有哪些 worker： 

[root@hadoop01 ~]# cd /bigdata/spark-3.2.4/conf/
[root@hadoop01 /bigdata/spark-3.2.4/conf]# mv workers.template workers
[root@hadoop01 /bigdata/spark-3.2.4/conf]# vim workers 
hadoop01
hadoop02
hadoop03
2.2.2.2 spark-env.sh  
[root@hadoop01 /bigdata/spark-3.2.4/conf]# mv spark-env.sh.template spark-env.sh
[root@hadoop01 /bigdata/spark-3.2.4/conf]# vim spark-env.sh
## 设置 JAVA 安装目录
JAVA_HOME=/usr/java/jdk1.8.0_381

## HADOOP 软件配置文件目录，读取 HDFS 上文件和运行 YARN 集群
HADOOP_CONF_DIR=/bigdata/hadoop/server/hadoop-3.2.4/etc/hadoop/
YARN_CONF_DIR=/bigdata/hadoop/server/hadoop-3.2.4/etc/hadoop/

## 指定 spark 老大 Master 的 IP 和提交任务的通信端口
# 告知 Spark 的 master 运行在哪个机器上
export SPARK_MASTER_HOST=hadoop01
# 告知 spark master 的通讯端口
export SPARK_MASTER_PORT=7077
# 告知 spark master 的 webui 端口
SPARK_MASTER_WEBUI_PORT=8081

# worker cpu 可用核数
SPARK_WORKER_CORES=1
# worker 可用内存
SPARK_WORKER_MEMORY=1g
# worker 的工作通讯地址
SPARK_WORKER_PORT=7078
# worker 的 webui 地址
SPARK_WORKER_WEBUI_PORT=8082

## 设置历史服务器
# 配置的意思是将 spark 程序运行的历史日志，存到 hdfs 的 /sparklog 文件夹中
SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://hadoop01:8020/sparklog/ -Dspark.history.fs.cleaner.enabled=true"

# 如果 hadoop 集群是 HA，则需要用下面的设置。要使用则把注释去掉
#SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://mycluster/sparklog/ -Dspark.history.fs.cleaner.enabled=true"

        由于我的集群是高可用（HA）的，建议使用逻辑名称（Logical URI）而非具体的 Namenode 主机名和端口。这样可以确保即使当前的活动（Active）NameNode 发生变化，Spark 也能正确地找到日志目录。逻辑名称在 HA 配置中用于标识一个 Namenode 集群，而不是单个 Namenode。例如，如果逻辑名称是 mycluster，则您应该使用 hdfs://mycluster/sparklog/。

注意：这里的 mycluster 应该与您在 HDFS 配置文件（通常是 hdfs-site.xml）中定义的逻辑名称（NameService ID）相匹配。这样，HA  客户端库就能自动确定哪个 NameNode 当前是 Active，并且进行相应的操作。（后续的同理） 

注意：上面的配置的路径要根据你自己机器实际的路径来写。

在 HDFS 上创建程序运行历史记录存放的文件夹:

[root@hadoop01 /bigdata/spark-3.2.4/conf]# hadoop fs -mkdir /sparklog
[root@hadoop01 /bigdata/spark-3.2.4/conf]# hadoop fs -chmod 777 /sparklog
2.2.2.3 spark-defaults.conf
[root@hadoop01 /bigdata/spark-3.2.4/conf]# mv spark-defaults.conf.template spark-defaults.conf
[root@hadoop01 /bigdata/spark-3.2.4/conf]# vim spark-defaults.conf
# 开启spark的日期记录功能
spark.eventLog.enabled  true    
# # 设置spark日志记录的路径
spark.eventLog.dir       hdfs://hadoop01:8021/sparklog/
# # 设置spark日志是否启动压缩
spark.eventLog.compress         true

# hadoop HA 的配置，要使用则把注释去掉
#spark.eventLog.dir       hdfs://mycluster/sparklog/
2.2.2.4 log4j.properties（可选配置）
[root@hadoop01 /bigdata/spark-3.2.4/conf]# mv log4j.properties.template log4j.properties
[root@hadoop01 /bigdata/spark-3.2.4/conf]# vim log4j.properties
log4j.rootCategory=WARN, console

spark高可用集群部署,Spark,spark,大数据,分布式

        这个文件的修改不是必须的,  为什么修改为 WARN，因为 Spark 是个话痨会疯狂输出日志，设置级别为 WARN 只输出警告和错误日志，不要输出一堆废话。你如果为了更详细的信息可以默认 INFO。

2.2.3 分发 Spark 安装目录

[root@hadoop01 /bigdata]# cd /bigdata/
[root@hadoop01 /bigdata]# scp -r spark-3.2.4 hadoop02:$PWD
[root@hadoop01 /bigdata]# scp -r spark-3.2.4 hadoop03:$PWD

2.2.4 启动服务 

# 启动历史服务器
[root@hadoop01 ~]# cd /bigdata/spark-3.2.4/sbin/
[root@hadoop01 /bigdata/spark-3.2.4/sbin]# ./start-history-server.sh 

# 启动全部 master 和 worker
[root@hadoop01 /bigdata/spark-3.2.4/sbin]# ./start-all.sh 

# 或者可以一个个启动:
# 启动当前机器的 master
sbin/start-master.sh
# 启动当前机器的 worker
sbin/start-worker.sh

# 停止全部
sbin/stop-all.sh

# 停止当前机器的 master
sbin/stop-master.sh

# 停止当前机器的 worker
sbin/stop-worker.sh

# 验证
[root@hadoop01 /bigdata/spark-3.2.4/sbin]# jps
7666 QuorumPeerMain
8739 DFSZKFailoverController
9315 NodeManager
8164 DataNode
9125 ResourceManager
10583 Worker
7977 NameNode
10649 Jps
8460 JournalNode
10492 Master

2.2.5 查看 Master 的 WEB UI

        默认端口 master 我们设置到了 8081。如果端口被占用，会顺延到 8082 ...;8083... 8084... 直到申请到端口为止。

spark高可用集群部署,Spark,spark,大数据,分布式

2.2.6 连接到 StandAlone 集群

2.2.6.1 bin/pyspark
[root@hadoop01 ~]# cd /bigdata/spark-3.2.4/
(pyspark) [root@hadoop01 /bigdata/spark-3.2.4]# bin/pyspark --master spark://hadoop01:7077

# 通过 --master 选项来连接到 StandAlone 集群
# 如果不写 --master 选项, 默认是 local 模式运行

spark高可用集群部署,Spark,spark,大数据,分布式

2.2.6.2 bin/spark-shell
(base) [root@hadoop01 /bigdata/spark-3.2.4]# bin/spark-shell --master spark://hadoop01:7077
# 同样适用 --master 来连接到集群使用

// 测试代码
sc.parallelize(Array(1,2,3,4,5)).map(x=> x + 1).collect()
2.2.6.3 bin/spark-submit (PI)
(base) [root@hadoop01 /bigdata/spark-3.2.4]# bin/spark-submit --master spark://hadoop01:7077 /bigdata/spark-3.2.4/examples/src/main/python/pi.py 10

# 同样使用 --master 来指定将任务提交到集群运行

2.2.7 查看历史服务器 WEB UI

        历史服务器的默认端口是: 18080，我们启动在node1上, 可以在浏览器打开：hadoop01:18080 来进入到历史服务器的 WEB UI上。

        由于每个程序运行完成后，4040 端口就被注销了。在以后想回看某个程序的运行状态就可以通过历史服务器查看，历史服务器长期稳定运行，可供随时查看被记录的程序的运行过程。

spark高可用集群部署,Spark,spark,大数据,分布式

三、Spark 环境搭建-Standalone HA

3.1 背景

        Spark Standalone 集群是 Master-Slaves 架构的集群模式，和大部分的 Master-Slaves 结构集群一样，存在着 Master 单点故障（SPOF）的问题。 

spark高可用集群部署,Spark,spark,大数据,分布式

3.2 高可用 HA

如何解决这个单点故障的问题，Spark 提供了两种方案：

  1. 基于文件系统的单点恢复(Single-Node Recovery with Local File System)--只能用于开发或测试环境。
  2. 基于 zookeeper 的 Standby Masters(Standby Masters with ZooKeeper)--可以用于生产环境。

        ZooKeeper 提供了一个 Leader Election 机制，利用这个机制可以保证虽然集群存在多个Master，但是只有一个是 Active 的，其他的都是 Standby。当 Active 的 Master 出现故障时，另外的一个 Standby Master 会被选举出来。由于集群的信息，包括 Worker，Driver 和 Application的信息都已经持久化到文件系统，因此在切换的过程中只会影响新 Job 的提交，对于正在进行的 Job 没有任何的影响。加入 ZooKeeper 的集群整体架构如下图所示。

3.3 基于 Zookeeper 实现 HA 

前提: 确保 Zookeeper 和 HDFS 集群均已经启动！

3.3.1 spark-env.sh

先在 spark-env.sh 中删除: SPARK_MASTER_HOST=hadoop01

原因: 配置文件中固定 master 是谁，那么就无法用到 zk 的动态切换 master 功能了。

在 spark-env.sh 中增加:

(base) [root@hadoop01 /bigdata/spark-3.2.4]# vim conf/spark-env.sh 
SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=hadoop01:2181,hadoop02:2181,hadoop03:2181 -Dspark.deploy.zookeeper.dir=/spark-ha"

# spark.deploy.recoveryMode 指定 HA 模式 基于 Zookeeper 实现
# 指定 Zookeeper 的连接地址
# 指定在 Zookeeper 中注册临时节点的路径

# 分发文件
(base) [root@hadoop01 /bigdata/spark-3.2.4]# cd conf/
(base) [root@hadoop01 /bigdata/spark-3.2.4/conf]# scp -r spark-env.sh hadoop02:$PWD  
(base) [root@hadoop01 /bigdata/spark-3.2.4/conf]# scp -r spark-env.sh hadoop03:$PWD

3.3.2 启动 HA 集群

# 停止当前 StandAlone 集群
(base) [root@hadoop01 /bigdata/spark-3.2.4]# sbin/stop-all.sh 

# 在 hadoop01 上启动一个 master 和全部 worker
(base) [root@hadoop01 /bigdata/spark-3.2.4]# sbin/start-all.sh 

# 注意, 下面命令在 hadoop02 上执行，在 hadoop02 上启动一个备用的 master 进程
(base) [root@hadoop02 /bigdata/spark-3.2.4]# sbin/start-master.sh 
starting org.apache.spark.deploy.master.Master, logging to /bigdata/spark-3.2.4/logs/spark-root-org.apache.spark.deploy.master.Master-1-hadoop02.out
(base) [root@hadoop02 /bigdata/spark-3.2.4]# jps
1570 QuorumPeerMain
1700 NameNode
3636 Jps
3498 Worker
3578 Master
1804 DataNode
1932 JournalNode
2204 ResourceManager
2094 DFSZKFailoverController
2318 NodeManager

默认情况下，先启动 Master 就为 Active Master，如下截图所示：

spark高可用集群部署,Spark,spark,大数据,分布式spark高可用集群部署,Spark,spark,大数据,分布式

3.3.3 master 主备切换

        如果将 hadoop01 的 Master 进程 Kill 掉前，在 hadoop02 上执行pyspark 程序，也就是在执行过程中，使用 jps 查看 Active Master 进程ID，将其 kill，观察 hadoop02 的 Master 是否自动切换与应用运行完成结束，standby 是否接管集群.。（需要等待1-2min） 

(base) [root@hadoop02 /bigdata/spark-3.2.4]# bin/spark-submit --master spark://hadoop01:7077 /bigdata/spark-3.2.4/examples/src/main/python/pi.py 100

(base) [root@hadoop01 /bigdata/spark-3.2.4]# jps
2352 DataNode
3537 NodeManager
2914 DFSZKFailoverController
5618 Worker
2645 JournalNode
5718 Jps
2167 NameNode
3341 ResourceManager
3773 HistoryServer
5517 Master
1854 QuorumPeerMain
(base) [root@hadoop01 /bigdata/spark-3.2.4]# kill -9 5517

结论：HA 模式下主备切换不会影响到正在运行的程序。最大的影响是会让它中断大约 30 秒左右。

上一篇文章：Spark 框架概述_Stars.Sky的博客-CSDN博客

下一篇文章：Spark on YARN 部署搭建详细图文教程_Stars.Sky的博客-CSDN博客文章来源地址https://www.toymoban.com/news/detail-726913.html

到了这里，关于Spark-3.2.4 高可用集群安装部署详细图文教程的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 基于Headless构建高可用spark+pyspark集群

    Headless 服务类型并不分配容器云虚拟 IP，而是直接暴露所属 Pod 的 DNS 记录。没有默认负载均衡器，可直接访问 Pod IP 地址。因此，当我们需要与集群内真实的 Pod IP 地址进行直接交互时，Headless 服务就很有用。 其中Service的关键配置如下： clusterIP: None ，不让其获取clusterIP ，

    2024年02月06日
    浏览(44)

  • Spark Standalone 模式的安装和部署 第1关： Standalone 分布式集群搭建

    我们已经掌握了 Spark 单机版安装，那么分布式集群怎么搭建呢？ 接下来我们学习 Standalone 分布式集群搭建。 课程视频 如果你需要在本地配置 Spark 完全分布式环境，可以通过查看课程视频来学习。 课程视频《Spark配置文件设置》 Spark分布式安装模式 Spark 分布式环境安装目前

    2024年02月03日
    浏览(45)
  • Spark环境搭建安装及配置详细步骤（保姆教程）

    Spark环境搭建安装及配置详细步骤（保姆教程）

    1 Spark-Local 模式  1.1 解压缩文件  将 spark-2.1.1-bin-hadoop3.2.tgz 文件上传到 Linux 并解压缩，放置在指定位置，路径中。  1.2 启动 Local 环境  1) 进入解压缩后的路径，执行如下指令   2) 启动成功后，可以输入网址进行 Web UI 监控页面访问   1.4 退出本地模式  按键 Ctrl+C 或输入

    2024年02月02日
    浏览(55)
  • 2023 年 IntelliJ IDEA 下载安装教程，超详细图文教程，亲测可用

    2023 年 IntelliJ IDEA 下载安装教程，超详细图文教程，亲测可用

    大家好，今天为大家带来的是 2023 年 IntelliJ IDEA 下载安装教程，超详细图文教程，亲测可用。 1、打开浏览器输入https://www.jetbrains.com/，进入 Jetbrains官网，点击 Developer Tools，再点击 Intellij IDEA 2、点击中间的 Download，进入IDEA下载界面 3、选择左边的 Ultimate 版本进行下载安装。

    2024年02月06日
    浏览(56)
  • Docker环境部署Hadoop并使用docker构建spark运行案列（全网最详细教程）

    Docker环境部署Hadoop并使用docker构建spark运行案列（全网最详细教程）

    Docker部署hadoop 和使用docker构建spark运行环境（全网最详细教程） 首先查看版本环境（docker中没有下载docker和docker-compose的可以看我上一篇博客 Linux 安装配置Docker 和Docker compose 并在docker中部署mysql和中文版portainer图形化管理界面） 查看docker和docker-compose版本： OK，环境没问题，

    2024年02月03日
    浏览(42)
  • 【大数据监控】Grafana、Spark、HDFS、YARN、Hbase指标性能监控安装部署详细文档

    【大数据监控】Grafana、Spark、HDFS、YARN、Hbase指标性能监控安装部署详细文档

    Grafana 是一款开源的数据可视化工具，使用 Grafana 可以非常轻松的将数据转成图表(如下图)的展现形式来做到数据监控以及数据统计。 解压 配置 mapping 文件 修改spark的metrics.properties配置文件，让其推送metrics到Graphite_exporter namenode.yaml datanode.yaml 配置 hadoop-env.sh yarn.yaml 配置 ya

    2023年04月21日
    浏览(58)
  • CDH-6.3.2从零到一的详细安装教程&hive on Spark性能测试教程

    CDH-6.3.2从零到一的详细安装教程&hive on Spark性能测试教程

    注意：需要使用官网提供的jdk。 1.1 在hadoop101的/opt目录下创建module 1.2 上传oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm并安装 1.3 分发 注意：分发脚本在附录里面的分发脚本 集群ssh脚本在附录里面的编写集群ssh脚本 执行sshall脚本结果如下 注意：一定要用root用户操作如下步骤；先卸载

    2024年02月16日
    浏览(54)
  • 物理机本地和集群部署Spark

    物理机本地和集群部署Spark

    1）官网地址：http://spark.apache.org/ 2）文档查看地址：https://spark.apache.org/docs/3.1.3/ 3）下载地址： https://spark.apache.org/downloads.html https://archive.apache.org/dist/spark/ 上传文件、解压缩、修改文件名 启动Spark spark-shell使用 入门案例： 注意：sc是SparkCore程序的入口；spark是SparkSQL程序入口

    2024年01月16日
    浏览(23)
  • Spark项目实战，详细操作图文详解（基于Spark MLlib的鸢尾花聚类项目实战、基于Spark GraphX的航班飞行网图分析）

    Spark项目实战，详细操作图文详解（基于Spark MLlib的鸢尾花聚类项目实战、基于Spark GraphX的航班飞行网图分析）

    目录 一、基于MLlib的鸢尾花聚类项目实战 1.1 项目背景 1.1.1 背景 1.1.2 数据 1.2 项目实战步骤（图文详解） 二、基于GraphX的航班飞行网图分析 2.1 项目背景 2.1.1 背景 2.1.2 数据 2.2 项目实战步骤（图文详解） 1.1.1 背景 数据iris.txt以鸢尾花的特征作为数据来源，（数据集包含150个

    2024年02月03日
    浏览(68)
  • 大数据学习06-Spark分布式集群部署

    大数据学习06-Spark分布式集群部署

    配置好IP vim /etc/sysconfig/network-scripts/ifcfg-ens33 修改主机名 vi /etc/hostname 做好IP映射 vim /etc/hosts 关闭防火墙 systemctl status firewalld systemctl stop firewalld systemctl disable firewalld 配置SSH免密登录 ssh-keygen -t rsa 下载Scala安装包 配置环境变量 添加如下配置 使环境生效 验证 Spark官网 解压 上

    2024年02月10日
    浏览(70)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包