Flink 1.17.0集群搭建

这篇具有很好参考价值的文章主要介绍了Flink 1.17.0集群搭建。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

  • 集群角色分配
Hostname IP Role
hadoop01 192.168.126.132

JobManager

TaskManager

hadoop02 192.168.126.133 TaskManager
hadoop03 192.168.126.134 TaskManager
  • 下载flink安装包

https://archive.apache.org/dist/flink/flink-1.17.0/

Flink 1.17.0集群搭建,大数据之Flink,flink,大数据

 上传至hadoop01并解压:

Flink 1.17.0集群搭建,大数据之Flink,flink,大数据

Flink 1.17.0集群搭建,大数据之Flink,flink,大数据

 修改conf/flink-conf.yaml(从flink1.16版本开始,需要修改以下配置)

jobmanager.rpc.address: hadoop01
jobmanager.bind-host: 0.0.0.0
taskmanager.bind-host: 0.0.0.0
taskmanager.host: hadoop01
#用于Web UI,与JobManager保持一致
rest.address: hadoop01
rest.bind-address: 0.0.0.0

修改conf/workers(将三台TaskManager节点加进来)

Flink 1.17.0集群搭建,大数据之Flink,flink,大数据

 修改conf/masters(将JobManager节点加进来)

Flink 1.17.0集群搭建,大数据之Flink,flink,大数据

然后将hadoop01节点上的flink包分发至hadoop02和hadoop03。

[root@hadoop01 wyh]# pwd
/usr/local/wyh
[root@hadoop01 wyh]# scp -r flink-1.17.0/ hadoop02:$PWD
[root@hadoop01 wyh]# scp -r flink-1.17.0/ hadoop03:$PWD

 修改hadoop02和hadoop03的conf/flink-conf.yaml中的taskmanager.host,改为当前各自的主机名。

taskmanager.host: hadoop02
taskmanager.host: hadoop03

启动集群:

[root@hadoop01 bin]# pwd
/usr/local/wyh/flink-1.17.0/bin
[root@hadoop01 bin]# ./start-cluster.sh

Flink 1.17.0集群搭建,大数据之Flink,flink,大数据

查看进程:

Flink 1.17.0集群搭建,大数据之Flink,flink,大数据 

Flink 1.17.0集群搭建,大数据之Flink,flink,大数据 

 Flink 1.17.0集群搭建,大数据之Flink,flink,大数据

查看Web UI:

http://192.168.126.132:8081/

Flink 1.17.0集群搭建,大数据之Flink,flink,大数据

Flink 1.17.0集群搭建,大数据之Flink,flink,大数据

Flink 1.17.0集群搭建,大数据之Flink,flink,大数据

 至此,Flink1.17.0集群搭建完成。文章来源地址https://www.toymoban.com/news/detail-517221.html

到了这里,关于Flink 1.17.0集群搭建的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Flink高手之路2-Flink集群的搭建

    1.本地local模式 本地单机模式,一般用于测试环境是否搭建成功,很少使用 2.独立集群模式standalone Flink自带集群,开发测试使用 3.高可用的独立集群模式standalone HA Flink自带集群,用于开发测试 4.基于yarn模式Flink on yarn 计算资源统一交给hadoop的yarn进行管理,用于生产环境 虚拟

    2024年02月05日
    浏览(37)
  • Flink集群搭建

    ⚠申明: 未经许可,禁止以任何形式转载,若要引用,请标注链接地址。 全文共计3696字,阅读大概需要3分钟 🌈更多学习内容, 欢迎👏关注👀【文末】我的个人微信公众号:不懂开发的程序猿 个人网站:https://jerry-jy.co/ 掌握Flink集群搭建的过程。 掌握Flink集群的启动、停

    2024年02月08日
    浏览(28)
  • Flink 本地单机/Standalone集群/YARN模式集群搭建

    本文简述 Flink 在 Linux 中安装步骤,和示例程序的运行。需要安装 JDK1.8 及以上版本。 下载地址:下载 Flink 的二进制包 点进去后,选择如下链接: 解压 flink-1.10.1-bin-scala_2.12.tgz ,我这里解压到 soft 目录 解压后进入 Flink 的 bin 目录执行如下脚本即可 进入 Flink 页面看看,如果

    2024年02月05日
    浏览(32)
  • 基于Hadoop搭建Flink集群详细步骤

    目录 1.xftp上传flink压缩包至hadoop102的/opt/software/目录下 2.解压flink压缩包至/opt/module/目录下 3. 配置flink-conf.yaml 4.配置masters 5.配置workers 6.配置环境变量my_env.sh 7.重启环境变量 8.分发/opt/module/flink-1.13.0和/etc/profile.d/my_env.sh 9.另外两台重启环境变量 10.开启hadoop集群和flink集群 11.浏

    2024年02月09日
    浏览(55)
  • Flink三种模式介绍&集群的搭建

    目录 Flink是什么  Flink部署模式 会话模式(Session Mode ) 单作业模式(Per-Job Mode) 应用模式(Application Mode) Flink集群搭建 Standalone运行模式  会话模式 单作业模式部署 应用模式部署 YARN运行模式  会话模式部署 单作业模式部署 应用模式部署 Flink是“数据流上的有状态计算”

    2024年02月09日
    浏览(28)
  • 206.Flink(一):flink概述,flink集群搭建,flink中执行任务,单节点、yarn运行模式,三种部署模式的具体实现

    Flink官网地址:Apache Flink® — Stateful Computations over Data Streams | Apache Flink Flink是一个 框架 和 分布式处理引擎 ,用于对 无界 和 有界 数据流进行 有状态计算 。 无界流(流): 有定义流的开始,没有定义结束。会无休止产生数据 无界流数据必须持续处理 有界流(批): 有定

    2024年02月11日
    浏览(34)
  • 尚硅谷大数据Flink1.17实战教程-笔记01【Flink概述、Flink快速上手】

    尚硅谷大数据技术-教程-学习路线-笔记汇总表【课程资料下载】 视频地址:尚硅谷大数据Flink1.17实战教程从入门到精通_哔哩哔哩_bilibili 尚硅谷大数据Flink1.17实战教程-笔记01【Flink概述、Flink快速上手】 尚硅谷大数据Flink1.17实战教程-笔记02【Flink部署】 尚硅谷大数据Flink1.17实

    2024年02月09日
    浏览(37)
  • 尚硅谷大数据Flink1.17实战教程-笔记02【Flink部署】

    尚硅谷大数据技术-教程-学习路线-笔记汇总表【课程资料下载】 视频地址:尚硅谷大数据Flink1.17实战教程从入门到精通_哔哩哔哩_bilibili 尚硅谷大数据Flink1.17实战教程-笔记01【Flink概述、Flink快速上手】 尚硅谷大数据Flink1.17实战教程-笔记02【Flink部署】 尚硅谷大数据Flink1.17实

    2024年02月11日
    浏览(28)
  • 搭建单机版K8S运行Flink集群

    环境要求 操作系统: CentOS 7.x 64位 Kubernetes版本:v1.16.2 Docker版本:19.03.13-ce Flink版本:1.14.3 使用中国YUM及镜像源  1.安装Kubernetes: 1.1 创建文件:/etc/yum.repos.d/kubernetes.repo,内容如下: 1.2  执行安装命令:  1.3 启动kubelet服务并设置开机自启: 2.安装Docker: 2.1 创建文件:

    2023年04月26日
    浏览(34)
  • 尚硅谷大数据Flink1.17实战教程-笔记03【Flink运行时架构】

    尚硅谷大数据技术-教程-学习路线-笔记汇总表【课程资料下载】 视频地址:尚硅谷大数据Flink1.17实战教程从入门到精通_哔哩哔哩_bilibili 尚硅谷大数据Flink1.17实战教程-笔记01【Flink概述、Flink快速上手】 尚硅谷大数据Flink1.17实战教程-笔记02【Flink部署】 尚硅谷大数据Flink1.17实

    2024年02月16日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包