在上篇进行单机的Standalone部署-Flink的Standalone部署实战,本篇介绍Flink的Standalone集群部署。
Flink集群为主从架构,主是JobManager,从为TaskManager,支持一主多从。
本次搭建环境为3台机器,信息如下表所示。
IP | 服务 | 描述 |
---|---|---|
192.168. 184.37 | JobManager、TaskManager | |
192.168. 184.30 | TaskManager | |
192.168. 184.41 | TaskManager |
一、Flink环境搭建安装
安装过程与上期介绍的一致,下载-解压-配置环境变量。
第一步、下载或直接从主服务器上拷贝或者命令复制
主要可通过两种方式
方式一、在从服务器,分别用 wget命令 直接下载并解压到指定的目录下;
方式二、scp命令,直接从主服务器上复制flink整个文件到从服务器指定目录。
注意: 加上 -r 参数,表示复制整个目录的文件。
// 方式一、wget下载
wget https://archive.apache.org/dist/flink/flink-1.14.3/flink-1.14.3-bin-scala_2.12.tgz
// opt下创建文件夹
mkdir /opt/flink
// 解压到opt下目录
tar -zxvf flink-1.14.3-bin-scala_2.12.tgz -C /opt/flink/
// 方式二、scp 服务器间复制文件,-r 复制文件目录
scp -r /opt/flink/* root@192.168.184.130:/opt/flink/
第二步、修改环境变量
进入环境变量配置文件profile, 即 vi /etc/profile,添加以下内容。
#flink
export Flink_HOME=/opt/flink/flink-1.14.3/
# 将flink路径添加到PATH路径下
export PATH=$PATH:$Flink_HOME/bin
:wq 保存配置信息,主要要刷新环境变量。
// 刷新环境变量
source /etc/profile
// 查看安装位置
which flink
// 进入到bin目录下,启动
start-cluster.sh
// 查看flink进程
ps -ef | grep flink
// 测试
jps
第三步、集群配置
修改三个文件
flink-conf.yaml
masters
works
1)修改 flink-conf.yaml 配置文件
执行 vi /opt/flink/flink-1.14.3/conf/flink-conf.yaml命令,编辑 flink-conf.yaml 配置文件。
jobmanager.rpc.address:192.168.184.137
// 端口
jobmanager.rpc.port: 6123
// 放开注释
rest.port:8081
rest.address:192.168.184.137
修改 JobManager
修改 rest
2)修改 masters 配置文件
执行 vi /opt/flink/flink-1.14.3/conf/masters,编辑masters配置文件。
// 设置主
192.168.184.137:8081
修改内容如下图所示。
3)修改 works 配置文件
执行 vi /opt/flink/flink-1.14.3/conf/masters,修改works 配置文件。
添加集群配置信息
192.168.184.137
192.168.184.130
192.168.184.141
添加结果如下所示。
分发到其他服务器
// 分发目录到第一台从服务器
scp -r /opt/flink/flink-1.14.3/ 192.168.184.130:/opt/
// 分发目录到第二台从服务器
scp -r /opt/flink/flink-1.14.3/ 192.168.184.141:/opt/
// 分发环境变量到第一台从服务器
scp -r /etc/profile 192.168.184.130:/etc/
// 分发环境变量到第二台从服务器
scp -r /etc/profile 192.168.184.141:/etc/
分别登录到两台从服务器,执行以下命令, 刷新环境变量
// 刷新环境变量
source /etc/profile
在主服务器上启动
// 进入bin目录下启动
start-clusert.sh
第四步、浏览器访问
在浏览器访问 http://192.168.184.137:8081/#/overview,即可访问。
文章来源:https://www.toymoban.com/news/detail-669374.html
异常处理
【1】启动报错
报错:-bash: start-cluster.sh: 未找到命令
处理方案:yum install bash
如还未解决,则执行 ./start-cluster.sh 来启动。文章来源地址https://www.toymoban.com/news/detail-669374.html
到了这里,关于Flink的Standalone集群部署的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!