Flink的Standalone集群部署

这篇具有很好参考价值的文章主要介绍了Flink的Standalone集群部署。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

在上篇进行单机的Standalone部署-Flink的Standalone部署实战,本篇介绍Flink的Standalone集群部署。
Flink集群为主从架构,主是JobManager,从为TaskManager,支持一主多从。
本次搭建环境为3台机器,信息如下表所示。

IP 服务 描述
192.168. 184.37 JobManager、TaskManager
192.168. 184.30 TaskManager
192.168. 184.41 TaskManager
一、Flink环境搭建安装

安装过程与上期介绍的一致,下载-解压-配置环境变量。

第一步、下载或直接从主服务器上拷贝或者命令复制

主要可通过两种方式
方式一、在从服务器,分别用 wget命令 直接下载并解压到指定的目录下;
方式二、scp命令,直接从主服务器上复制flink整个文件到从服务器指定目录。
注意: 加上 -r 参数,表示复制整个目录的文件。

// 方式一、wget下载
wget https://archive.apache.org/dist/flink/flink-1.14.3/flink-1.14.3-bin-scala_2.12.tgz
// opt下创建文件夹
mkdir /opt/flink
// 解压到opt下目录
tar -zxvf flink-1.14.3-bin-scala_2.12.tgz -C /opt/flink/
// 方式二、scp 服务器间复制文件,-r 复制文件目录
scp -r /opt/flink/* root@192.168.184.130:/opt/flink/
第二步、修改环境变量

进入环境变量配置文件profile, 即 vi /etc/profile,添加以下内容。

#flink
export Flink_HOME=/opt/flink/flink-1.14.3/
# 将flink路径添加到PATH路径下
export PATH=$PATH:$Flink_HOME/bin

:wq 保存配置信息,主要要刷新环境变量。

// 刷新环境变量
source /etc/profile
// 查看安装位置
which flink
// 进入到bin目录下,启动
start-cluster.sh
// 查看flink进程
ps -ef | grep flink
// 测试
jps
第三步、集群配置

修改三个文件
flink-conf.yaml
masters
works
1)修改 flink-conf.yaml 配置文件
执行 vi /opt/flink/flink-1.14.3/conf/flink-conf.yaml命令,编辑 flink-conf.yaml 配置文件。

jobmanager.rpc.address:192.168.184.137
// 端口
jobmanager.rpc.port: 6123

// 放开注释
rest.port:8081
rest.address:192.168.184.137

修改 JobManager
Flink的Standalone集群部署,flink,大数据
修改 rest
Flink的Standalone集群部署,flink,大数据
2)修改 masters 配置文件
执行 vi /opt/flink/flink-1.14.3/conf/masters,编辑masters配置文件。

// 设置主
192.168.184.137:8081

修改内容如下图所示。
Flink的Standalone集群部署,flink,大数据
3)修改 works 配置文件
执行 vi /opt/flink/flink-1.14.3/conf/masters,修改works 配置文件。
添加集群配置信息

192.168.184.137
192.168.184.130
192.168.184.141

添加结果如下所示。
Flink的Standalone集群部署,flink,大数据
分发到其他服务器

// 分发目录到第一台从服务器
scp -r /opt/flink/flink-1.14.3/ 192.168.184.130:/opt/
// 分发目录到第二台从服务器
scp -r /opt/flink/flink-1.14.3/ 192.168.184.141:/opt/
// 分发环境变量到第一台从服务器
scp -r /etc/profile 192.168.184.130:/etc/
// 分发环境变量到第二台从服务器
scp -r /etc/profile 192.168.184.141:/etc/

分别登录到两台从服务器,执行以下命令, 刷新环境变量

// 刷新环境变量
source /etc/profile

在主服务器上启动

// 进入bin目录下启动
start-clusert.sh
第四步、浏览器访问

在浏览器访问 http://192.168.184.137:8081/#/overview,即可访问。
Flink的Standalone集群部署,flink,大数据

异常处理

【1】启动报错
报错:-bash: start-cluster.sh: 未找到命令
处理方案:yum install bash
Flink的Standalone集群部署,flink,大数据
如还未解决,则执行 ./start-cluster.sh 来启动。文章来源地址https://www.toymoban.com/news/detail-669374.html

到了这里,关于Flink的Standalone集群部署的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Flink1.14 Standalone独立集群模式安装

    一、下载 在Flink 官网下载Flink 1.14,完整的安装包名是:flink-1.14.4-bin-scala_2.11.tgz。 二、master 配置 解压安装包,编辑conf/flink-conf.yaml文件: jobmanager.rpc.address 为master机器的IP,也可以是master的机器名;taskmanager.numberOfTaskSlots 为在master上运行几个taskslots,可以根据机器的配置来确

    2023年04月18日
    浏览(27)
  • Flink的Standalone部署实战

    在Flink是通用的框架,以混合和匹配的方式支持部署不同场景,而Standalone单机部署方便快速部署,记录本地部署过程,方便备查。 环境要求 1)JDK1.8及以上 2)flink-1.14.3 3)CentOS7 Flink相关信息可到 Flink官网下载和查看相关信息。 第一步、下载并解压 推荐使用 wget 方式,本次选

    2024年02月12日
    浏览(27)
  • 大数据Flink(五十六):Standalone伪分布环境(开发测试)

    文章目录 Standalone伪分布环境(开发测试) 一、架构图 二、环境准备

    2024年02月13日
    浏览(32)
  • Flink(二)1.13.5二种部署方式(Standalone、Standalone HA )、四种提交任务方式(前两种及session和per-job)验证详细步骤

    一、Flink 专栏 Flink 专栏系统介绍某一知识点,并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。 2、Flink基础系列 本部分介绍Flink 的基础部分,比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。 3、

    2024年02月16日
    浏览(32)
  • 2、Flink1.13.5二种部署方式(Standalone、Standalone HA )、四种提交任务方式(前两种及session和per-job)验证详细步骤

    一、Flink 专栏 Flink 专栏系统介绍某一知识点,并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。 2、Flink基础系列 本部分介绍Flink 的基础部分,比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。 3、

    2024年02月05日
    浏览(29)
  • 【Flink系列】部署篇(一):Flink集群部署

    主要回答以下问题: Flink集群是由哪些组件组成的?它们彼此之间如何协调工作的? 在Flink中job, task, slots,parallelism是什么意思?集群中的资源是如何调度和分配的? 如何搭建一个Flink集群?如何配置高可用服务?如何使用外部文件系统? Flink的核心组件包含客户端,jobmanag

    2023年04月09日
    浏览(34)
  • 【Flink】1.Flink集群部署

    Flink可以部署于各种各样的集群之中,比如Flink自己的standalone集群(不依赖于其他资源调度框架,是Flink自带的),flink on yarn集群等。而不管是standalone还是flink on yarn都属于集群,还有一种特殊的单机flink——local。 Flink真正用来做执行操作的叫做worker,进程在不同的环境模式

    2024年02月13日
    浏览(30)
  • 【Flink-1.17-教程】-【二】Flink 集群搭建、Flink 部署、Flink 运行模式

    集群规划: 具体安装部署步骤如下: 1、下载并解压安装包 (1)下载安装包 flink-1.17.0-bin-scala_2.12.tgz,将该 jar 包上传到 hadoop102 节点服务器的 /opt/software 路径上。 (2)在 /opt/software 路径上解压 flink-1.17.0-bin-scala_2.12.tgz 到 /opt/module 路径上。 2、修改集群配置 (1)进入 conf 路

    2024年01月18日
    浏览(50)
  • Flink-----Standalone会话模式作业提交流程

    1.Flink的Slot特点: 均分隔离内存,不隔离CPU 可以共享: 同一个job中,不同算子的子任务才可以共享同一个slot,同时在运行的前提是,属于同一个slot共享组,默认都是“default” 2.Slot的数量 与 并行度 的关系 slot 是一种静态的概念,表示最大的并发上线 并行度是个动态的概念

    2024年02月12日
    浏览(29)
  • Flink 集群部署模式

    Flink支持多种集群部署模式,以满足不同场景和需求。以下是Flink的主要集群部署模式: 会话模式(Session Mode) : 在会话模式下,用户首先启动一个长期运行的Flink集群,然后在这个会话中提交多个作业。 集群资源在启动时就已经确定,提交的作业会竞争集群中的资源,直到

    2024年03月19日
    浏览(30)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包