Flink1.18.1在CentOS7下的安装和部署

这篇具有很好参考价值的文章主要介绍了Flink1.18.1在CentOS7下的安装和部署。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本文是Flink1.18.1在CenOS7下的安装和部署的学习笔记,记录了基本的安装步骤及参数配置,给初学者避坑用。

一,安装JDK11

Flink在1.13及其之前的版本,推荐用JDK8。从Flink 1.14开始,官方推荐使用的Java版本是JDK 11,并且从Flink 1.17开始,部分依赖于Flink的第三方库已经弃用了对JDK 8的支持。我们今天计划安装的是1.18,所以要先安装JDK11。

JDK的安装各位应该不是问题了,快速带过吧。所有的JDK安装都是三部曲:

1,下载、解压、安装

sudo rpm -ivh jdk-11-*.rpm

2,环境变量 

sudo vi /etc/profile

在文件的末尾添加以下行,将JAVA_HOME设置为JDK 11的安装路径(通常rpm安装会自动设置到/usr/java/jdk-11

export JAVA_HOME=/usr/java/jdk-11  
export PATH=$JAVA_HOME/bin:$PATH

保存后编译新环境变量,使生效

source /etc/profile

3,验证

java -version

如果成功安装并配置了JDK 11,你应该能看到类似于“openjdk version "11.0.x"”的输出。 

二,下载和安装Flink

Flink官网下载地址是https://flink.apache.org/downloads/

下载好 flink-1.18.1-bin-scala_2.12.tgz 文件后,下一步通常是进行解压和配置 Flink 环境。以下是一般的步骤:

1,解压

你可以使用 tar 命令来解压下载的 .tgz 文件。假设你已经将文件下载到了 /opt 目录下,你可以执行以下命令来解压:

cd /opt  
tar -zxvf flink-1.18.1-bin-scala_2.12.tgz

 解压后,你会得到一个名为 flink-1.18.1 的目录。

2,配置环境变量

为了方便使用 Flink 的命令行工具,你可以将 Flink 的 bin 目录添加到你的 PATH 环境变量中。编辑你的 shell 配置文件(如 .bashrc 或 .bash_profile),并添加以下行:

export PATH=$PATH:/opt/flink-1.18.1/bin

 和jdk一样,修改了环境变量需要重编译。

然后,执行 source ~/.bashrc 或 source ~/.bash_profile 来使配置生效。

3. 检查 Flink 是否安装成功

打开一个新的终端窗口,并运行以下命令来检查 Flink 是否正确安装:

flink -v

如果一切正常,你应该能看到 Flink 的版本号。

若提示找不到flink命令什么的,很显然是上一步的环境变量没配置正确。两个注意点,1个是若是root目录下,最好路径写全,比如/root/flink-1.18.1/bin;第2个是文件修改保存后务必要使用source命令重编译下。

三,flink的参数配置

1. 配置 Flink 集群
如果你打算在集群模式下运行 Flink(例如,在多个节点上),你需要进行以下配置:

配置 flink-conf.yaml:这个文件包含了 Flink 的主要配置。你可以设置 JVM 参数、内存分配、并行度等。
配置 masters 文件:如果你使用高可用性(HA)模式,这个文件包含了 Flink master(JobManager)的地址列表。
配置 slaves 文件:这个文件包含了所有 TaskManager 节点的地址列表。
配置网络和安全:根据你的网络环境和安全需求,配置 Flink 的网络和安全设置。


2. 调整 JVM 参数
在 flink-conf.yaml 文件中,你可以调整 JVM 的堆大小和其他相关参数。例如:

env.java.opts: "-Xms1024m -Xmx1024m"

这将设置 JVM 的初始堆大小为 1024MB,最大堆大小为 1024MB。根据你的集群大小和作业需求,你可能需要调整这些值。

3. 配置并行度
并行度决定了 Flink 作业中并行任务的数量。你可以在作业级别或全局级别设置并行度。例如,在提交作业时,你可以使用 -p 参数来设置并行度:

flink run -p 10 my-flink-job.jar

这将在作业中使用 10 个并行任务。

4. 高级配置
状态后端和检查点:对于需要状态管理的作业(例如流处理作业),配置状态后端和检查点间隔是非常重要的。
资源管理器:如果你打算使用 YARN、Kubernetes 或 Mesos 作为资源管理器来动态分配资源,你需要配置相应的资源管理器集成。
SSL/TLS:为了增强安全性,你可以配置 Flink 使用 SSL/TLS 进行通信。

四,Flink  Web UI

Flink 提供了一个 Web UI,你可以用它来监控作业的状态、性能指标和资源使用情况。

1,启动Flink

由于我们已经做了环境变量的配置,所以直接根目录通过start-cluster.sh即可启动:

[root@localhost ~]# start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host localhost.localdomain.
Starting taskexecutor daemon on host localhost.localdomain.

对应的停止flink的命令也能猜的到:

stop-cluster.sh

2,开放防火墙

Web UI的端口是8081,防火墙默认不开放,需要打开。

firewall-cmd --add-port=8081/tcp --permanent
firewall-cmd --reload

3,修改flink-conf.yaml

在安装目录flink-1.18.1/conf下,有flink的配置文件flink-conf.yaml。针对web ui的端口部分,默认仅限localhost访问,若想远程访问就需要修改:

rest.bind-address: 0.0.0.0

此时我们再次检查下8081端口的权限

[root@localhost ~]# netstat -antp |grep 8081
tcp6       0      0 :::8081

前面三个冒号,说明已经面向所有IP开放8081啦

4,访问8081

当我们访问http://你的ip:8081,就可以发现flink的web ui啦

至此flink的安装和部署完成。下次我们再动手做下第一个flink项目。文章来源地址https://www.toymoban.com/news/detail-853051.html

到了这里,关于Flink1.18.1在CentOS7下的安装和部署的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 云原生|kubernetes|centos7下的kubeadm部署的集群内在线部署kubesphere(外部etcd)

    本文将主要就在centos7操作系统下已有的一个利用kubeadm部署的集群内在线安装kubesphere做一个介绍,该kubernetes集群是使用的etcd外部集群。 kubernetes集群的搭建本文不做过多介绍,具体的搭建流程见我的博客: 云原生|kubernetes|kubeadm部署高可用集群(一)使用外部etcd集群_kubeadm

    2024年02月11日
    浏览(31)
  • 云原生|kubernetes|kubernetes集群部署神器kubekey的初步使用(centos7下的kubekey使用)

    kubernetes集群的安装部署是学习kubernetes所需要面对的第一个难关,确实是非常不好部署的,尤其是二进制方式,虽然有minikube,kubeadm大大的简化了kubernetes的部署难度,那么,针对我们的学习环境或者测试环境,我们应该如何能够快速的,简单的,非常优雅的部署一个学习或者

    2024年02月16日
    浏览(31)
  • Centos7下的DNS服务器部署(每一步图文结合超详细,适用于初学者)

    关于DNS服务,网上都有很多很详细很专业的讲解,但是对于大部分初学者可能看的比较懵懂,用白话来说就是起初人们因为对大量用于访问服务器的IP地址难以记住,所以就逐渐出现了域名的形式(诸如:www.baidu.com 之类的),但是计算机本身只能识别出像192.168.10.112之类的

    2024年02月07日
    浏览(55)
  • flink1.18.0 macos sql-client.sh启动报错

    2024年01月23日
    浏览(35)
  • 【FPGA】Quartus18.1的安装以及使用

    https://www.intel.com/content/www/us/en/software-kit/665990/intel-quartus-prime-lite-edition-design-software-version-18-1-for-windows.html 一路next 建立一个 全英文 的文件夹,修改安装路径,点击next即可 软件在此 把license_all.bat复制到安装路径下的 quartusbin64 中,以我的安装路径为例。 安装路径: D:SoftW

    2024年02月04日
    浏览(40)
  • 【Quartus】Quartus18.1的安装以及使用

    https://www.intel.com/content/www/us/en/software-kit/665990/intel-quartus-prime-lite-edition-design-software-version-18-1-for-windows.html 一路next 建立一个 全英文 的文件夹,修改安装路径,点击next即可 软件在此 把license_all.bat复制到安装路径下的 quartusbin64 中,以我的安装路径为例。 安装路径: D:SoftW

    2024年02月04日
    浏览(32)
  • Quartus Prime Standard 18.1下载 安装流程

    注意:安装过程退出杀毒软件,安装路径不能有中文字符,尽量不要放在C盘 1、打开网盘,下载. 2、右键管理员启动QuartusSetup-18.1.0.625-windows.exe 3、之后稍等几秒钟,会出现安装界面 4、 5、 6、 7、 8、后面就一直下一步到结束就行了 自此,安装完成 启动 Quartus Prime Standard 软件

    2024年02月07日
    浏览(39)
  • Quartus II 18.1的下载安装和注册

    本文章主要教学Quartus II 18.1安装教学以及使用方法的介绍说明。 进入Quartus官网: 点击下载Windows版: 选择所需要的软件版本:(推荐使用18.1版本的) 下载Quartus软件包和ModelSim组件包: 下载器件库文件:(一般选择Cyclone4、5) 完成上述下载操作后点击如下图所示的运行文件: 点

    2024年02月02日
    浏览(32)
  • 尚硅谷大数据Flink1.17实战教程-笔记02【Flink部署】

    尚硅谷大数据技术-教程-学习路线-笔记汇总表【课程资料下载】 视频地址:尚硅谷大数据Flink1.17实战教程从入门到精通_哔哩哔哩_bilibili 尚硅谷大数据Flink1.17实战教程-笔记01【Flink概述、Flink快速上手】 尚硅谷大数据Flink1.17实战教程-笔记02【Flink部署】 尚硅谷大数据Flink1.17实

    2024年02月11日
    浏览(28)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包