CDH 6.3.2下安装Flink

这篇具有很好参考价值的文章主要介绍了CDH 6.3.2下安装Flink。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、上传镜像

(1)在/var/www/html/下新建flink-cdh文件夹

将编译好的镜像上传到flink-cdh下,主要有下面三个文件

FLINK-1.13.2-BIN-SCALA_2.11-el7.parcel

FLINK-1.13.2-BIN-SCALA_2.11-el7.parcel.sha

manifest.json

(2)将FLINK_ON_YARN-1.13.2.jar上传到/opt/cloudera/csd文件夹下

二、parcel配置

cdh6 安装flink,flink,大数据,Powered by 金山文档

点击配置,添加httpd中的cdh镜像路径

cdh6 安装flink,flink,大数据,Powered by 金山文档

三、重启cdh agent、server服务

(1)systemctl restart cloudera-scm-agent

(2)systemctl restart cloudera-scm-server

(3)重新进行parcel页面,看到FLINK下已经有了parcel的包,如果提示哈希验证失败,则先去排查

FLINK-1.13.2-BIN-SCALA_2.11-el7.parcel.sha 和 manifest.json两个文件中的哈希值是否一致,如果一致,则是httpd服务导致,需要进行httpd配置文件的修改。

vim /etc/httpd/conf/httpd.conf ,在如图AddType 行添加.parcel,注意tgz前面的空格

cdh6 安装flink,flink,大数据,Powered by 金山文档

重启httpd

systemctl restart httpd

重启cdh agent、server服务

systemctl restart cloudera-scm-agent

systemctl restart cloudera-scm-server

四、配置镜像

(1)重新进入parcel页面,点击下载,完成下载

(2)点击分配,完成分配

cdh6 安装flink,flink,大数据,Powered by 金山文档

(3)点击激活

cdh6 安装flink,flink,大数据,Powered by 金山文档

五、下载依赖jar包flink-shaded-hadoop,并上传到需要安装flink集群节点的服务器

(1)https://repo.maven.apache.org/maven2/org/apache/flink/flink-shaded-hadoop-2-uber/

cdh6 安装flink,flink,大数据,Powered by 金山文档

(2)存放路径:

work1:/opt/cloudera/parcels/FLINK/lib/flink/lib

work2:/opt/cloudera/parcels/FLINK/lib/flink/lib

work3:/opt/cloudera/parcels/FLINK/lib/flink/lib

work4:/opt/cloudera/parcels/FLINK/lib/flink/lib

export HADOOP_CLASSPATH=/opt/cloudera/parcels/FLINK/lib/flink/lib

没有这个包,各节点上的flink会无法启动

六、安装

(1)点击添加服务,选择flink-yarn

cdh6 安装flink,flink,大数据,Powered by 金山文档

(2)选择主机,分配节点

注意将页面中kerberos两项置为空

security.kerberos.login.keytab

security.kerberos.login.principal

(3)完成安装

cdh6 安装flink,flink,大数据,Powered by 金山文档

(4)完成安装

cdh6 安装flink,flink,大数据,Powered by 金山文档

(5)访问flink页面

http://10.13.8.88:8081/(节点IP+8081)文章来源地址https://www.toymoban.com/news/detail-595331.html

cdh6 安装flink,flink,大数据,Powered by 金山文档

到了这里,关于CDH 6.3.2下安装Flink的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • CDH-CM大数据管理平台详解 附CDH离线安装包

    1、大数据时代的数据特点  一般认为,大数据主要具有 四方面的典型特征——规模性(Volume)、多样性(Variety)、高速性(Velocity)和价值性(Value), 即所谓的\\\"4V“。 volume(大量):目前处理的数据量基本为PB、EB级别 velocity(高速):在极短的一段时间内能产出大量数据(秒杀

    2024年02月08日
    浏览(52)
  • 基于数据湖的流批一体:flink1.15.3与Hudi0.12.1集成,并配置基于CDH6.3.2的hive catalog

    前言:为实现基于数据湖的流批一体,采用业内主流技术栈hudi、flink、CDH(hive、spark)。flink使用sql client与hive的catalog打通,可以与hive共享元数据,使用sql client可操作hive中的表,实现批流一体;flink与hudi集成可以实现数据实时入湖;hudi与hive集成可以实现湖仓一体,用flink实

    2024年02月12日
    浏览(57)
  • CDH6.3.2 集成 Flink 1.17.0 失败过程

    目录 一:下载Flink,并制作parcel包 1.相关资源下载 2. 修改配置 准备工作一: 准备工作二: 3. 开始build 二:开始在CDH页面分发激活  三:CDH添加Flink-yarn 服务  四:启动不起来的问题解决 五:CDH6.3.2集群集成zookeeper3.6.3 六:重新适配Flink服务 环境说明: cdh版本:cdh6.3.2 组件版本信

    2024年01月17日
    浏览(36)
  • CDH 6.3.2集成flink 1.18 zookeeper版本不匹配Flink-yarn启动失败

    CDH 6.3.2集成flink 1.18 zookeeper版本不匹配Flink-yarn不能正常启动,而在CHD Web页面,flink日志报错提示不明确,不能定位具体错误。CM WEB启动失败错误日志如下图所示: CM查看完成错误日志 CM管理页面查看异常日志,始终不能定位启动异常原因,此时查看flink详情启动日志,日志文

    2024年02月03日
    浏览(53)
  • flink1.14.5使用CDH6.3.2的yarn提交作业

    使用CDH6.3.2安装了hadoop集群,但是CDH不支持flink的安装,网上有CDH集成flink的文章,大都比较麻烦;但其实我们只需要把flink的作业提交到yarn集群即可,接下来以CDH yarn为基础,flink on yarn模式的配置步骤。 一、部署flink 1、下载解压 官方下载地址:Downloads | Apache Flink 注意:CD

    2024年01月16日
    浏览(47)
  • CDH大数据平台 14Cloudera Manager Console之flume安装和配置(markdown新版)

    💖个人主页:@与自己作战 💯作者简介: CSDN@博客专家 、 CSDN@大数据领域优质创作者 、 CSDN@内容合伙人 、 阿里云@专家博主 🆘希望大佬们多多支持,携手共进 📝 如果文章对你有帮助的话,欢迎评论💬点赞👍收藏📂加关注 ⛔ 如需要支持请私信我 , 💯 必支持

    2024年02月02日
    浏览(47)
  • CDH大数据平台 28Cloudera Manager Console之superset相关包安装(markdown新版二)

    💖个人主页:@与自己作战 💯作者简介: CSDN@博客专家 、 CSDN@大数据领域优质创作者 、 CSDN@内容合伙人 、 阿里云@专家博主 🆘希望大佬们多多支持,携手共进 📝 如果文章对你有帮助的话,欢迎评论💬点赞👍收藏📂加关注 ⛔ 如需要支持请私信我 , 💯 必支持

    2024年02月02日
    浏览(40)
  • cdh6.3.2 Flink On Yarn taskmanager任务分配倾斜问题的解决办法

    Flink On Yarn任务启动 CDH:6.3.2 Flink:1.13.2 Hadoop:3.0.0 在使用FLink on Yarn调度过程中,发现taskmanager总是分配在集中的几个节点上,集群有11个节点,但每个任务启动,只用到两三个节点,导致这几台服务器负载过高,其他节点又比较空闲。 1、yarn.scheduler.fair.assignmultiple 2、yarn.s

    2024年02月12日
    浏览(44)
  • 金山云:基于 JuiceFS 的 Elasticsearch 温冷热数据管理实践

    Elasticsearch(下文简称“ES”)是一个分布式的搜索引擎,还可作为分布式数据库来使用,常用于日志处理、分析和搜索等场景;在运维排障层面,ES 组成的 ELK(Elasticsearch+ Logstash+ Kibana)解决方案,简单易用、响应速度快,并且提供了丰富的报表;高可用方面, ES 提供了分布

    2023年04月15日
    浏览(31)
  • CDH6.3.2-组件安装&安全认证

    1.选择自定义。 2.选择HDFS ZK YARN然后点继续。    3.选择安装的主机。 4.审核更改默认就行,点继续。  5.配置HDFS的HA。    安装好以后点击hdfs进入实例就能够看到启动了高可用。 6.启动YARN的高可用。         更具需求修改资源    一直点继续就行了                 在/

    2024年02月16日
    浏览(53)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包