基于Hadoop搭建Flink集群详细步骤

这篇具有很好参考价值的文章主要介绍了基于Hadoop搭建Flink集群详细步骤。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

1.xftp上传flink压缩包至hadoop102的/opt/software/目录下

2.解压flink压缩包至/opt/module/目录下

3. 配置flink-conf.yaml

4.配置masters

5.配置workers

6.配置环境变量my_env.sh

7.重启环境变量

8.分发/opt/module/flink-1.13.0和/etc/profile.d/my_env.sh

9.另外两台重启环境变量

10.开启hadoop集群和flink集群

11.浏览器输入网址查验flink集群是否开启

12. 关闭flink集群命令


Hadoop集群搭建请参考博文《Hadoop集群搭建详细步骤》

1.xftp上传flink压缩包至hadoop102的/opt/software/目录下

基于Hadoop搭建Flink集群详细步骤

2.解压flink压缩包至/opt/module/目录下

[lxm@hadoop102 software]$ tar -zxvf ./flink-1.13.0-bin-scala_2.12.tgz -C /opt/module/

基于Hadoop搭建Flink集群详细步骤

3. 配置flink-conf.yaml

基于Hadoop搭建Flink集群详细步骤

4.配置masters

基于Hadoop搭建Flink集群详细步骤

5.配置workers

基于Hadoop搭建Flink集群详细步骤

6.配置环境变量my_env.sh

基于Hadoop搭建Flink集群详细步骤

7.重启环境变量

[lxm@hadoop102 software]$ source /etc/profile

8.分发/opt/module/flink-1.13.0和/etc/profile.d/my_env.sh

[lxm@hadoop102 flink-1.13.0]$ xsync /opt/module/flink-1.13.0/

[lxm@hadoop102 ~]$ sudo ./bin/xsync /etc/profile.d/my_env.sh 

9.另外两台重启环境变量

重启环境变量之前也可以查看是否分发成功

[lxm@hadoop103 ~]$ source /etc/profile

[lxm@hadoop104 ~]$ source /etc/profile

10.开启hadoop集群和flink集群

[lxm@hadoop102 ~]$ myhadoop.sh start

[lxm@hadoop102 ~]$ start-cluster.sh

[lxm@hadoop102 ~]$ jpsall

基于Hadoop搭建Flink集群详细步骤 

11.浏览器输入网址查验flink集群是否开启

http://hadoop102:8081

基于Hadoop搭建Flink集群详细步骤文章来源地址https://www.toymoban.com/news/detail-488579.html

12. 关闭flink集群命令

[lxm@hadoop102 ~]$ stop-cluster.sh 

到了这里,关于基于Hadoop搭建Flink集群详细步骤的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包赞助服务器费用

相关文章

  • hadoop伪分布模式搭建(详细步骤)

    hadoop伪分布模式搭建(详细步骤)

    一、前期准备 1. 关闭防火墙 2. 安装好JDK 3. 准备hadoop安装包 二、安装hadoop伪分布模式 1. 在home/hadoop/software/路径下创建hadooptmp目录 2. 解压hadoop-3.3.0.tar.gz 3.  进入hadoop-3.3.0/etc/hadoop 4.  编辑hadoop运行是的环境 5.  配置NameNode所在的主机或者通讯地址及NameNode格式化后的目录的路径

    2023年04月08日
    浏览(6)
  • Hadoop集群环境搭建(超详细)

    Hadoop集群环境搭建(超详细)

    Oracle Linux 7.4 JDK 1.8 Hadoop 2.7.4 1.实验准备三台机器分别为master,slave1,slave2 2.单击master机器桌面中的konsole图标 1.编辑/etc/hosts文件,出现如下界面 [Command 001]: 2.按i键,如下图 3.第一行前面添加#,如下图 4.按键ESC,按键:wq回车,保存退出。如下图 5.切换到slave1机器,重复1~4步骤 6

    2024年02月07日
    浏览(25)
  • hadoop完全分布式集群搭建(超详细)-大数据集群搭建

    hadoop完全分布式集群搭建(超详细)-大数据集群搭建

    本次搭建完全分布式集群用到的环境有: jdk1.8.0 hadoop-2.7.7 本次搭建集群所需环境也给大家准备了,下载链接地址:https://share.weiyun.com/dk7WgaVk 密码:553ubk 本次完全分布式集群搭建需要提前建立好三台虚拟机,我分别把它们的主机名命名为:master,slave1,slave2 一.配置免密登陆 首先

    2024年02月10日
    浏览(16)
  • Hadoop大数据平台搭建(超详细步骤)

    Hadoop大数据平台搭建(超详细步骤)

    相关软件下载链接: Xshell:家庭/学校免费 - NetSarang Website Xftp:家庭/学校免费 - NetSarang Website Xshell与Xftp官网:XSHELL - NetSarang Website Jdk:百度网盘 请输入提取码  提取码:jdhp Hadoop:百度网盘 请输入提取码   提取码:jdhp 需要配置好的虚拟机与相关环境的,可以点击我的这篇

    2023年04月12日
    浏览(7)
  • Hadoop简介以及集群搭建详细过程

    Hadoop简介以及集群搭建详细过程

    hadoop加群包括两个集群:hdfs集群,yarn集群 两个集群逻辑上分离,通常物理上在一起 两个集群都是标准的主从架构集群 逻辑上分离:两个集群相互之间没有依赖,互不影响 物理上在一起:某些角色今晚往往部署在同一台物理服务器上 MapReduce集群呢? MapReduce是计算框架、代

    2024年02月16日
    浏览(8)
  • Hadoop集群搭建安装教程(详细完整)

    Hadoop集群搭建安装教程(详细完整)

    大数据 :最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,大数据是当前很热的一个词。这几年来,云计算、继而大数据,成了整个社会的热点,大数据究竟是什么东西?有哪些相关技术? Hadoop是Apache旗下的一个用java语言实现开源软件框架,是一个开发和运行处理

    2024年02月08日
    浏览(9)
  • Hadoop 3.2.4 集群搭建详细图文教程

    Hadoop 3.2.4 集群搭建详细图文教程

    目录 一、集群简介 二、Hadoop 集群部署方式  三、集群安装 3.1 集群角色规划  3.2 服务器基础环境准备  3.2.1 环境初始化  3.2.2 ssh 免密登录(在 hadoop01 上执行) 3.2.3 各个节点上安装 JDK 1.8 环境 3.3 安装 Hadoop 3.4 Hadoop 安装包目录结构 ​3.5 编辑 Hadoop 配置文件  3.5.1 hado

    2024年02月09日
    浏览(16)
  • Hadoop系统应用之安装---Hadoop集群安装配置和详细搭建过程

    Hadoop系统应用之安装---Hadoop集群安装配置和详细搭建过程

    实训课题 Hadoop集群安装 配置 和 详细 搭建 过程 实验步骤 : 一、虚拟机的安装部署 二、Linux系统安装部署 1.环境准备 2.系统安装 三、Centos系统安装 四、静态网络配置 五、虚拟机完整克隆配置 六、配置hosts文件和ssh免密登录 七、Hadoop集群配置 八、Hadoop集群测试 虚拟机的安装

    2024年02月06日
    浏览(8)
  • hadoop伪分布式环境搭建,完整的详细步骤

    hadoop伪分布式环境搭建,完整的详细步骤

    1、VMware14 2、一台ubtuntu 18 64位 3、主机名位master 4、ip 地址:192.168.136.31 5、本次实验需要的安装包 1、 查看id 地址 2、 关闭防火墙 命令来关闭防火墙 命令查看当前防火墙状态 3、 修改主机名、 添加主机映射 修改虚拟机hosts文件,将ip地址添加进来 使用 :wq 保存 测试是否修改

    2024年02月08日
    浏览(7)
  • 大数据Hadoop集群之超级详细的HBase搭建

    大数据Hadoop集群之超级详细的HBase搭建

    Hbase是基于Hadoop集群之上来搭建的 Hadoop有一些局限性: 做一些批量的数据处理,吞吐量比较高,但是它对随机查询、实时操作性能是不行的 HBase是NoSQL数据库的一种,它跟传统的RDBMS有很大的差别 不支持JOIN的,摒弃了关系型模型,而且在HBase中只有一种数据类型:byte[] HBase可

    2023年04月13日
    浏览(13)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包