【DataSophon】大数据服务组件之Flink升级

这篇具有很好参考价值的文章主要介绍了【DataSophon】大数据服务组件之Flink升级。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

【DataSophon】大数据服务组件之Flink升级,大数据运维,hadoop,flink,大数据平台,大数据底座,大数据运维,组件升级,DataSophon

🦄 个人主页——🎐开着拖拉机回家_Linux,大数据运维-CSDN博客 🎐✨🍁

🪁🍁🪁🍁🪁🍁🪁🍁 🪁🍁🪁🍁🪁🍁🪁 🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁🪁🍁

感谢点赞和关注 ,每天进步一点点!加油!

目录

一、DataSophon是什么

1.1 DataSophon概述

1.2 架构概览

1.3 设计思想

二、解压新旧组件安装包

三、 修改安装包中文件和目录

四、重新生成安装包

3.1 重新打包

3.2 生成加密码

3.3 生成md5加密文件

五、 删除已装的组件包flink(ALL)

六、修改service_ddl.json

七、修改env环境变量(ALL)

7.1修改环境变量配置参数(ALL)

7.2 重启manager服务

八、重新安装服务

九、测试验证


一、DataSophon是什么


1.1 DataSophon概述


DataSophon也是个类似的管理平台,只不过与智子不同的是,智子的目的是锁死人类的基础科学阻碍人类技术爆炸,而DataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的,帮助您快速构建起稳定,高效的大数据集群服务。

主要特性有:

  • 快速部署,可快速完成300个节点的大数据集群部署
  • 兼容复杂环境,极少的依赖使其很容易适配各种复杂环境
  • 监控指标全面丰富,基于生产实践展示用户最关心的监控指标
  • 灵活便捷的告警服务,可实现用户自定义告警组和告警指标
  • 可扩展性强,用户可通过配置的方式集成或升级大数据组件

【DataSophon】大数据服务组件之Flink升级,大数据运维,hadoop,flink,大数据平台,大数据底座,大数据运维,组件升级,DataSophon

官方地址:DataSophon | DataSophon

GITHUB地址:datasophon/README_CN.md at dev · datavane/datasophon

1.2 架构概览


【DataSophon】大数据服务组件之Flink升级,大数据运维,hadoop,flink,大数据平台,大数据底座,大数据运维,组件升级,DataSophon

1.3 设计思想


为设计出轻量级,高性能,高可扩的,可满足国产化环境要求的大数据集群管理平台。需满足以下设计要求:

(1)一次编译,处处运行,项目部署仅依赖java环境,无其他系统环境依赖。

(2)DataSophon工作端占用资源少,不占用大数据计算节点资源。

(3)可扩展性高,可通过配置的方式集成托管第三方组件。


二、解压新旧组件安装包


flink-1.6.2升级到flink-1.6.3,安装包下载

https://mirrors.tuna.tsinghua.edu.cn/apache/
https://archive.apache.org/dist/flink/flink-1.6.3/

【DataSophon】大数据服务组件之Flink升级,大数据运维,hadoop,flink,大数据平台,大数据底座,大数据运维,组件升级,DataSophon

解压

tar  -zxvf  flink-1.16.3-bin-scala_2.12.tgz  -C  /opt/datasophon/DDP/packages

三、 修改安装包中文件和目录


cd  /opt/datasophon/DDP/packages
chown  -R root:root  flink-1.16.3

四、重新生成安装包


4.1 重新打包

cd  /opt/datasophon/DDP/packages
tar -zcvf flink-1.16.3.tar.gz flink-1.16.3

4.2 生成加密码

md5sum flink-1.16.3.tar.gz

4.3 生成md5加密文件

echo '4d292114646f220e43ec56b75c53dfdb' > flink-1.16.3.tar.gz.md5

【DataSophon】大数据服务组件之Flink升级,大数据运维,hadoop,flink,大数据平台,大数据底座,大数据运维,组件升级,DataSophon

五、 删除已装的组件包flink(ALL)


从DataSophon上把flink停止并删除

【DataSophon】大数据服务组件之Flink升级,大数据运维,hadoop,flink,大数据平台,大数据底座,大数据运维,组件升级,DataSophon

删除已装的组件包,所有安装的服务器都要执行

rm -rf  /opt/datasophon/flink*

六、修改service_ddl.json


vim /opt/datasophon/DDP/packages/datasophon-manager-1.2.1/conf/meta/DDP-1.2.1/FLINK/service_ddl.json

*datasophon-manager-1.2.1 为当前的datasohon安装版本,可能多处地方需要修改

【DataSophon】大数据服务组件之Flink升级,大数据运维,hadoop,flink,大数据平台,大数据底座,大数据运维,组件升级,DataSophon

七、修改env环境变量(ALL)


7.1修改环境变量配置参数(ALL)


[root@ddp01 packages]# cat   /etc/profile.d/datasophon-env.sh
export FLINK_HOME=/opt/datasophon/flink-1.16.3


[root@ddp01 packages]#  source  /etc/profile.d/datasophon-env.sh

7.2 重启manager服务

rm -rf   /opt/datasophon/DDP/packages/datasophon-manager-1.2.1/logs/*
/opt/datasophon/DDP/packages/datasophon-manager-1.2.1/bin/datasophon-api.sh restart api
cd /opt/datasophon/DDP/packages/datasophon-manager-1.2.1/logs
  

查看相应的表配置数据

   select * from t_ddh_frame_service;
   select * from t_ddh_frame_service_role;

【DataSophon】大数据服务组件之Flink升级,大数据运维,hadoop,flink,大数据平台,大数据底座,大数据运维,组件升级,DataSophon

八、重新安装服务


选择Flink服务

【DataSophon】大数据服务组件之Flink升级,大数据运维,hadoop,flink,大数据平台,大数据底座,大数据运维,组件升级,DataSophon

选择 FlinkClient 安装

【DataSophon】大数据服务组件之Flink升级,大数据运维,hadoop,flink,大数据平台,大数据底座,大数据运维,组件升级,DataSophon

配置根据实际情况调整

【DataSophon】大数据服务组件之Flink升级,大数据运维,hadoop,flink,大数据平台,大数据底座,大数据运维,组件升级,DataSophon

安装成功,如若失败可查看失败原因再重新安装

【DataSophon】大数据服务组件之Flink升级,大数据运维,hadoop,flink,大数据平台,大数据底座,大数据运维,组件升级,DataSophon

客户端查看版本

【DataSophon】大数据服务组件之Flink升级,大数据运维,hadoop,flink,大数据平台,大数据底座,大数据运维,组件升级,DataSophon

九、测试验证


运行WordCount测试程序

export HADOOP_CLASSPATH=`hadoop classpath`
flink run -m yarn-cluster /opt/datasophon/flink/examples/batch/WordCount.jar

集群提交,日志需要在yarn上查看

【DataSophon】大数据服务组件之Flink升级,大数据运维,hadoop,flink,大数据平台,大数据底座,大数据运维,组件升级,DataSophon

执行成功

【DataSophon】大数据服务组件之Flink升级,大数据运维,hadoop,flink,大数据平台,大数据底座,大数据运维,组件升级,DataSophon文章来源地址https://www.toymoban.com/news/detail-760648.html

到了这里,关于【DataSophon】大数据服务组件之Flink升级的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大数据学习之Flink、10分钟了解Flink的核心组件以及它们的工作原理

     第一章、Flink的容错机制 第二章、Flink核心组件和工作原理 第三章、Flink的恢复策略 第四章、Flink容错机制的注意事项 第五章、Flink的容错机制与其他框架的容错机制相比较 目录 第二章、Flink核心组件和工作原理 Ⅰ、核心组件 1. Checkpoint组件: 2. Savepoint组件: 3. Barrier组件

    2024年01月23日
    浏览(41)
  • 处理大数据的基础架构,OLTP和OLAP的区别,数据库与Hadoop、Spark、Hive和Flink大数据技术

    2022找工作是学历、能力和运气的超强结合体,遇到寒冬,大厂不招人,可能很多算法学生都得去找开发,测开 测开的话,你就得学数据库,sql,oracle,尤其sql要学,当然,像很多金融企业、安全机构啥的,他们必须要用oracle数据库 这oracle比sql安全,强大多了,所以你需要学

    2024年02月08日
    浏览(61)
  • 大数据_面试_ETL组件常见问题_spark&flink

    问题列表 回答 spark与flink的主要区别 flink cdc如何确保幂等与一致性 Flink SQL CDC 实践以及一致性分析-阿里云开发者社区 spark 3.0 AQE动态优化 hbase memorystore blockcache sparksql如何调优 通过webui定位那个表以及jobid,jobid找对应的执行计划 hdfs的常见的压缩算法 hbase的数据倾斜 spark数据处

    2024年02月16日
    浏览(45)
  • Flink CDC 2.4 正式发布,新增 Vitess 数据源,更多连接器支持增量快照,升级 Debezium 版本

    Flink CDC [1] 是基于数据库的日志 CDC 技术,实现了全增量一体化读取的数据集成框架。配合 Flink 优秀的管道能力和丰富的上下游生态,Flink CDC 可以高效实现海量数据的实时集成。 作为新一代的实时数据集成框架,Flink CDC 具有全增量一体化、无锁读取、并行读取、表结构变更

    2024年02月12日
    浏览(44)
  • 【flink进阶】-- Flink kubernetes operator 版本升级

    目录 1、检查当前 flink kubernetes operator 版本  2、停止生产上正在运行的 flink job 3、升级 CRD

    2024年02月07日
    浏览(37)
  • 【天衍系列 05】Flink集成KafkaSink组件:实现流式数据的可靠传输 & 高效协同

    Flink版本: 本文主要是基于Flink1.14.4 版本 导言: Apache Flink 作为流式处理领域的先锋,为实时数据处理提供了强大而灵活的解决方案。其中,KafkaSink 是 Flink 生态系统中的关键组件之一,扮演着将 Flink 处理的数据可靠地发送到 Kafka 主题的角色。本文将深入探讨 KafkaSink 的工作

    2024年02月20日
    浏览(63)
  • 【天衍系列 01】深入理解Flink的 FileSource 组件:实现大规模数据文件处理

    Apache Flink 是一个流式处理框架,被广泛应用于大数据领域的实时数据处理和分析任务中。在 Flink 中,FileSource 是一个重要的组件,用于从文件系统中读取数据并将其转换为 Flink 的数据流。本文将深入探讨 FileSource 的工作原理、用法以及与其他数据源的比较。 FileSource 是 Fli

    2024年02月21日
    浏览(53)
  • 联通 Flink 实时计算平台化运维实践

    摘要:本文整理自联通数科实时计算团队负责人、Apache StreamPark Committer 穆纯进在 Flink Forward Asia 2022 平台建设专场的分享,本篇内容主要分为四个部分: 实时计算平台背景介绍 Flink 实时作业运维挑战 基于 StreamPark 一体化管理 未来规划与演进 点击查看原文视频 演讲PPT 上图是

    2024年02月16日
    浏览(41)
  • 大数据平台组件日常运维操作说明(Hadoop/Zookeeper/Kafa/ES/Mysql/Spark/Flume/Logstash/Tomcat)

    hdfs 生产环境hadoop为30台服务器组成的集群,统一安装配置,版本号为2.7.7 部署路径:/opt/hadoop 启动用户:hadoop 配置文件: /opt/hadoop/config/hdfs-site.xml /opt/hadoop/config/core-site.xml hadoopy运行环境变量配置文件: hadoop-env.sh journalnode.env datanode.env namenode.env hadoop系统服务配置文件: z

    2024年02月03日
    浏览(49)
  • Flink 在新能源场站运维的应用

    摘要:本文整理自中南电力设计院工程师、注册测绘师姚远,在 Flink Forward Asia 2022 行业案例专场的分享。本篇内容主要分为四个部分: 建设背景 技术架构 应用落地 后续及其他 点击查看原文视频 演讲PPT 建设背景主要分为宏观背景和场站侧的需求。 上图引用的是 2022 年我国

    2024年02月16日
    浏览(32)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包