Flink1.14 Standalone独立集群模式安装

这篇具有很好参考价值的文章主要介绍了Flink1.14 Standalone独立集群模式安装。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、下载

在Flink 官网下载Flink 1.14,完整的安装包名是:flink-1.14.4-bin-scala_2.11.tgz。

二、master 配置

解压安装包,编辑conf/flink-conf.yaml文件:

vim conf/flink-conf.yaml 
jobmanager.rpc.address: 172.21.0.XX
taskmanager.numberOfTaskSlots: 2
web.submit.enable: true

jobmanager.rpc.address 为master机器的IP,也可以是master的机器名;taskmanager.numberOfTaskSlots 为在master上运行几个taskslots,可以根据机器的配置来确定此值;web.submit.enable 为是否允许在web上提交任务。

编辑conf/master

vim conf/master
172.21.0.XX:8081

其值是:master 的ip和端口号,也可以写master的机器名;

编辑conf/workers

vim con/wokers
172.21.0.3X
172.21.0.3X
172.21.0.3X

第一行是master 的ip,余下两行是slaver的ip。

slaver 配置

各slaver的配置同master,也是修改三个文件:conf/flink-conf.yaml、conf/master、conf/slaver。

启动集群

在master 上执行:

/data/soft/flink-1.14.0/bin/start-cluster.sh 

各slaver会自动启动 TaskManagerRunner 进程。

WEB 访问

打开浏览器,地址栏中输入:http://{master IP}:8081/#/job/running。
点击 task-manager,会有如下界面:
Flink1.14 Standalone独立集群模式安装
这里不会展示master。
Overvier 界面如下:
Flink1.14 Standalone独立集群模式安装

参考:
https://blog.csdn.net/wtl1992/article/details/121307695文章来源地址https://www.toymoban.com/news/detail-416851.html

到了这里,关于Flink1.14 Standalone独立集群模式安装的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 2、Flink1.13.5二种部署方式(Standalone、Standalone HA )、四种提交任务方式(前两种及session和per-job)验证详细步骤

    一、Flink 专栏 Flink 专栏系统介绍某一知识点,并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。 2、Flink基础系列 本部分介绍Flink 的基础部分,比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。 3、

    2024年02月05日
    浏览(41)
  • Flink的Standalone集群部署

    在上篇进行单机的Standalone部署-Flink的Standalone部署实战,本篇介绍Flink的Standalone集群部署。 Flink集群为 主从架构 ,主是JobManager,从为TaskManager,支持一主多从。 本次搭建环境为3台机器,信息如下表所示。 IP 服务 描述 192.168. 184.37 JobManager、TaskManager 192.168. 184.30 TaskManager 192

    2024年02月11日
    浏览(38)
  • 深入理解 Flink(五)Flink Standalone 集群启动源码剖析

    深入理解 Flink 系列文章已完结,总共八篇文章,直达链接: 深入理解 Flink (一)Flink 架构设计原理 深入理解 Flink (二)Flink StateBackend 和 Checkpoint 容错深入分析 深入理解 Flink (三)Flink 内核基础设施源码级原理详解 深入理解 Flink (四)Flink Time+WaterMark+Window 深入分析 深入

    2024年02月02日
    浏览(47)
  • flink1.14 sql基础语法(一) flink sql表查询详解

    语法示例: flink从1.13开始,提供了时间窗口聚合计算的TVF语法。 表值函数的使用约束: (1)在窗口上做 分组聚合 ,必须带上window_start 和 window_end 作为分组的key; (2)在窗口上做 topn计算 ,必须带上window_start 和 window_end 作为partition的key; (3)带条件的 join ,必须包含

    2024年02月06日
    浏览(42)
  • flink1.14 sql基础语法(二) flink sql表定义详解

    每一个表的标识由 3 部分组成: catalog name (常用于标识不同的“源”,比如 hive catalog,inner catalog 等) database name(通常语义中的“库”) table name (通常语义中的“表”) 1个flinksql程序在运行时,tableEnvironment 通过持有一个 map 结构来记录所注册的 catalog; Flinksql中的表,可以是 vi

    2024年02月14日
    浏览(40)
  • Flink-----Standalone会话模式作业提交流程

    1.Flink的Slot特点: 均分隔离内存,不隔离CPU 可以共享: 同一个job中,不同算子的子任务才可以共享同一个slot,同时在运行的前提是,属于同一个slot共享组,默认都是“default” 2.Slot的数量 与 并行度 的关系 slot 是一种静态的概念,表示最大的并发上线 并行度是个动态的概念

    2024年02月12日
    浏览(41)
  • flink1.14.5使用CDH6.3.2的yarn提交作业

    使用CDH6.3.2安装了hadoop集群,但是CDH不支持flink的安装,网上有CDH集成flink的文章,大都比较麻烦;但其实我们只需要把flink的作业提交到yarn集群即可,接下来以CDH yarn为基础,flink on yarn模式的配置步骤。 一、部署flink 1、下载解压 官方下载地址:Downloads | Apache Flink 注意:CD

    2024年01月16日
    浏览(45)
  • Flink1.14提交任务报错classloader.check-leaked-classloader问题解决

    我的hadoop版本是3.1.3,Flink版本是1.14。不知道是hadoop版本的原因还是Flink版本更新的原因。当我运行一个简单的Flink测试时,虽然结果出来了但是后面还跟着一段报错信息。 测试命令: flink run -m yarn-cluster -p 2 -yjm 2G -ytm 2G $FLINK_HOME/examples/batch/WordCount.jar 报错信息: Trying to acce

    2024年02月11日
    浏览(40)
  • flink1.17安装

    官网地址: https://nightlies.apache.org/flink/flink-docs-release-1.17/zh//docs/try-flink/local_installation/ ps:只能安装openjdk11,昨天安装的oracle jdk17,结果怎么也运行不起来。 创建安装的目录,我是安装在/opt/software下,可以自己选择 web地址 :http://localhost:8081/ 查看

    2024年02月07日
    浏览(41)
  • Flink1.14新版KafkaSource和KafkaSink实践使用(自定义反序列化器、Topic选择器、序列化器、分区器)

    在官方文档的描述中,API FlinkKafkaConsumer和FlinkKafkaProducer将在后续版本陆续弃用、移除,所以在未来生产中有版本升级的情况下,新API KafkaSource和KafkaSink还是有必要学会使用的。下面介绍下基于新API的一些自定义类以及主程序的简单实践。 官方文档地址: https://nightlies.apache.o

    2024年01月21日
    浏览(53)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包