Flink学习之旅：（一）Flink部署安装-Toy模板网

这篇具有很好参考价值的文章主要介绍了Flink学习之旅：（一）Flink部署安装。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1.本地搭建

1.1.下载Flink

进入Flink官网，点击Downloads

Flink学习之旅：（一）Flink部署安装,大数据学习之路,flink,大数据,实时大数据

往下滑动就可以看到 Flink 的所有版本了，看自己需要什么版本点击下载即可。

Flink学习之旅：（一）Flink部署安装,大数据学习之路,flink,大数据,实时大数据

1.2.上传解压

上传至服务器，进行解压

tar -zxvf flink-1.17.1-bin-scala_2.12.tgz -C ../module/

1.3.启动Flink

#进入flink安装目录
 cd /opt/module/flink-1.17.1/

#启动flink
 bin/start-cluster.sh

查看进程 jps,正常启动！

Flink学习之旅：（一）Flink部署安装,大数据学习之路,flink,大数据,实时大数据

1.4.查看 Web ui

启动成功后，访问http://[IP]:8081，可以对集群和任务进行监控管理。

Flink学习之旅：（一）Flink部署安装,大数据学习之路,flink,大数据,实时大数据

1.5.关闭Flink

bin/stop-cluster.sh

2.集群搭建

角色分配。Flink 是典型的 Master-Slave 架构的分布式数据处理框架，其中 Master 角色对应着 JobManager，Slave 角色则对应 TaskManager。

三台测试。

服务器	hadoop102	hadoop103	hadoop104
角色	JobManager	TaskManager	TaskManager

2.1.下载并解压安装包

与本地搭建一致

2.2.修改集群配置

2.2.1修改 flink-conf.yaml 文件

#进入Flink 安装目录
cd /opt/module/flink-1.17.1/

#修改文件
vim conf/flink-conf.yaml

修改JobManager 节点地址.将 jobmanager.rpc.address 参数的值改为 hadoop102 （根据自己的服务器名称），指定 hadoop 节点服务为 JobManager 节点。

Flink学习之旅：（一）Flink部署安装,大数据学习之路,flink,大数据,实时大数据

2.2.2修改workers文件

vim conf/workers


hadoop103
hadoop104

指定 hadoop103、hadoop104 服务器为 TaskManager 节点

2.3.分发安装目录

 scp -r /opt/module/flink-1.17.1/ hadoop103:/opt/module/
 scp -r /opt/module/flink-1.17.1/ hadoop104:/opt/module/

2.4.集群启动

在 hadoop102 服务器中启动

bin/start-cluster.sh

Flink学习之旅：（一）Flink部署安装,大数据学习之路,flink,大数据,实时大数据

查看各服务器节点进程是否正常

hadoop102

Flink学习之旅：（一）Flink部署安装,大数据学习之路,flink,大数据,实时大数据

hadoop103

Flink学习之旅：（一）Flink部署安装,大数据学习之路,flink,大数据,实时大数据

hadoop104

Flink学习之旅：（一）Flink部署安装,大数据学习之路,flink,大数据,实时大数据

2.5查看 Web ui

Flink学习之旅：（一）Flink部署安装,大数据学习之路,flink,大数据,实时大数据

Available Task Slots显示为0，需要重新配置下 TaskManager节点的服务器（2台）中的 flink-conf.yaml 文件，将 taskmanager.host 参数值改为服务器的 ip或主机名

Flink学习之旅：（一）Flink部署安装,大数据学习之路,flink,大数据,实时大数据

重新启动 flink 集群，显示正常。当前集群的 TaskManager 数量为 2；由于默认每个 TaskManager 的 Slot 数量为 1，所以总 Slot 数和可用 Slot 数都为 2。

Flink学习之旅：（一）Flink部署安装,大数据学习之路,flink,大数据,实时大数据

3.测试

Flink学习之旅：（二）构建Flink demo工程并提交到集群执行-CSDN博客在idea中创建一个名为 MyFlinkFirst 工程。https://blog.csdn.net/qq_35370485/article/details/133905729?spm=1001.2014.3001.5501文章来源地址https://www.toymoban.com/news/detail-723467.html

到了这里，关于Flink学习之旅：（一）Flink部署安装的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！