前言
flink安装部署有三种方式
-
local:单机模式，尽量不使用
-
standalone: flink自带集群，资源管理由flink集群管理，开发环境测试使用，不需要hadoop集群
-
flink on yarn: 把资源管理交给yarn实现，计算机资源统一由Haoop YARN管理，生产环境测试，需要先启动hadoop集群。（这里分为可以继续细分三种方式
1.session mode 长久启动一个flink集群接收job,main 方法在客户端执行
2.per-job mode 每个任务启动一个flink集群,main 方法在客户端执行
3.application mode Application 模式为每个提交的应用程序创建一个集群，该集群可以看作是在特定应用程序的作业之间共享的会话集群，并在应用程序完成时终止
）
一、flink包选择以及下载
下载地址在下面
https://www.apache.org/dyn/closer.lua/flink/flink-1.17.0/flink-1.17.0-bin-scala_2.12.tgz
看flink适配的版本可以去看flink的版本说明，上flink官网
看这里的部署，yarn模式部署，这里可以看到要求hadoop最小的版本是多少
这里版本要求是大于2.10.2版本包括3.0版本，我的hadoop版本是满足要求的，直接安装这个最新的flink版本。
二、安装flink集群
因为我前面已经安装了hadoop集群，这里直接选择flink on yarn的安装方式，模式选择了session-mode方式，实际生产中使用per-job和application的模式可能会比较多，但是操作基本差不太多，就直接使用这种方式安装了。以下的操作需要集群每台机器都操作下，我这里
只是测试在hadoop1：192.168.184.129、hadoop2:192.168.184.130、hadooop3:192.168.184.131三台机器上部署。
2.1.上传压缩包到linux上
解压到你需要安装的目录
我的安装目录为/root/tools，这个可以自己定，执行以下命令
tar -zxvf flink-1.17.0-bin-scala_2.12.tgz
解压完成后得到flink安装目录
/root/tools/flink-1.17.0
2.2 修改linux环境变量
修改 /etc/profile文件，在文件末尾加上
export HADOOP_CLASSPATH=`hadoop classpath`
export FLINK_HOME=/root/tools/flink-1.17.0
export PATH=$PATH:$FLINK_HOME/bin
刷新环境变量
进入hadoop安装目录执行脚本，这里的hadoop安装就不在这里说了
可以去文章看。hadoop集群安装
./hadoop.sh start
2.3 启动flink集群
进入
/root/tools/flink-1.17.0 目录执行以下指令
./bin/yarn-session.sh --detached
出现以下日志说明启动成功。
flink集群关闭可以使用指令
./bin/yarn-session.sh -id application_1684894883560_0001
如果上面的停不了使用指令，id在hadoop上有显示，copy下就行。
yarn application -kill application_1684894883560_0001
2.4 查看集群
http://hadoop2:8088/cluster/nodes
登录hadoop集群管理页面，可以看到启动的flink集群。
点击右边的flink集群管理界面
flink集群管理界面
三、测试
3.1 提交flink的测试job看看结果
选择到wordcount.jar看看执行结果
提交任务
查看任务执行情况。
这里可以看到任务已经执行完毕了，这里的例子没找到输出在哪看，下个博客自己弄一个jar去测试下。文章来源：https://www.toymoban.com/news/detail-581255.html
总结
实践了下，hadoop集成flink，操作不难，不对的可以指出，一起进步。文章来源地址https://www.toymoban.com/news/detail-581255.html
到了这里，关于hadoop3.2.4集成flink 1.17.0的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
