系统环境为 CentOS 7.5 版本。
-
安装 Java 8。
-
安装 Hadoop 集群，Hadoop 建议选择 Hadoop 2.7.5 以上版本。
-
配置集群节点服务器间时间同步以及免密登录，关闭防火墙。
-
flink版本flink-1.14.0。
-
Scala版本scala_2.12。
flink安装包:flink-1.14.0-bin-scala_2.12.tgz
安装包位置:/opt/software/flink-1.14.0-bin-scala_2.12.tgz
解压位置:/opt/module/
单节点模式(不推荐)
解压压缩包
tar -zxvf /opt/software/flink-1.14.0-bin-scala_2.12.tgz -C /opt/module/进入解压目录
cd /opt/module/flink-1.14.0/启动/关闭集群
启动Hadoop集群
dfs-start.sh
yarn-start.sh启动/停止flink集群
./bin/start-cluster.sh
./bin/stop-cluster.sh查看集群运行结果:
[root@bigdata1 flink-1.14.0]# jps
1992 StandaloneSessionClusterEntrypoint
2269 TaskManagerRunner
2381 Jps
访问web页面
https://bigdata1:8081
节点位于bigdata1
默认端口号为8081
集群模式(不推荐)
Flink 是典型的 Master-Slave 架构的分布式数据处理框架，其中 Master 角色对应着JobManager，Slave 角色则对应 TaskManager
集群角色分配:
| 节点服务器 | bigdata1 | bigdata2 | bigdata3 |
|---|---|---|---|
| 角色 | JobManager | TaskManager | TaskManager |
解压压缩包
tar -zxvf /opt/software/flink-1.14.0-bin-scala_2.12.tgz -C /opt/module/进入解压目录
cd /opt/module/flink-1.14.0/修改配置文件
flink-conf.yaml
vim /flink-1.14.0/conf/flink-conf.yaml
33行修改为主节点
jobmanager.rpc.address: bigdata1workers
vim /flink-1.14.0/conf/workers
删除原有内容
bigdata2
bigdata3masters
vim /flink-1.14.0/conf/masters
bigdata1:8081分发安装目录
退回到flink-1.14.0/的上级目录
scp -r flink-1.14.0/ bigdata2:/opt/module/
scp -r flink-1.14.0/ bigdata3:/opt/module/启动集群
[root@bigdata1 flink-1.14.0]# ./bin/start-cluster.sh看看各节点启动状态
============ bigdata1 ===========
3477 StandaloneSessionClusterEntrypoint
============ bigdata2 ===========
1865 TaskManagerRunner
============ bigdata3 ===========
1868 TaskManagerRunner
访问web页面
https://bigdata1:8081
Flink on Yarn模式(生产推荐)
解压压缩包
tar -zxvf /opt/software/flink-1.14.0-bin-scala_2.12.tgz -C /opt/module/进入解压目录
cd /opt/module/flink-1.14.0/配置环境变量
vim /etc/profile.d/my_env.sh
#FLINK_YARN
HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_CLASSPATH=`hadoop classpath`分发配置
分发环境变量
scp /etc/profile.d/my_env.sh bigdata2:/etc/profile.d/my_env.sh
scp /etc/profile.d/my_env.sh bigdata3:/etc/profile.d/my_env.sh分发解压包
scp -r /opt/module/flink-1.14.0/ bigdata2:/opt/module/
scp -r /opt/module/flink-1.14.0/ bigdata3:/opt/module/使用环境变量
所有节点刷新变量
source /etc/profile启动 Hadoop 集群
包括 HDFS 和 YARN
start-dfs.sh
start-yarn.sh启动Flink集群
执行脚本命令向 YARN 集群申请资源，开启一个 YARN 会话，启动 Flink 集群。
bin/yarn-session.sh -nm test -d-
-d：分离模式，如果你不想让 Flink YARN 客户端一直前台运行，可以使用这个参数，
即使关掉当前对话窗口，YARN session 也可以后台运行。
-
-jm(--jobManagerMemory)：配置 JobManager 所需内存，默认单位 MB。
-
-nm(--name)：配置在 YARN UI 界面上显示的任务名。
-
-qu(--queue)：指定 YARN 队列名。
-
-tm(--taskManager)：配置每个 TaskManager 所使用内存。
运行结果:
访问web页面
复制启动后生成的web链接这里是 http://bigdata2:37096
conf文件夹中配置文件解读
vim flink-conf.yaml
#flink-1.14.0/conf/flink-conf.yaml 文章来源：https://www.toymoban.com/news/detail-767965.html
#flink-1.14.0/conf/flink-conf.yaml
jobmanager.rpc.address: localhost #jobmanager通用配置(主机名)
jobmanager.rpc.port: 6123 #jobmanager通用配置(端口号)
jobmanager.memory.process.size: 1600m #jobmanager内存分配
taskmanager.memory.process.size: 1728m #taskmanager内存分配
taskmanager.memory.flink.size: 1280m #可选taskmanager内存分配(不包括进程)不推荐与上面同时配置
taskmanager.numberOfTaskSlots: 1 #taskmanager任务槽数量(并行执行的数量能力)
parallelism.default: 1 #并行度(真正运行数量)vim masters
#flink-1.14.0/conf/masters
localhost:8081 #jobmanager运行端:端口号vim workers
#flink-1.14.0/conf/workers文章来源地址https://www.toymoban.com/news/detail-767965.html
localhost #taskmanager运行端到了这里，关于大数据组件配置--Flink的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
