新年快乐—数睿通2.0数据中台全新功能模块发布

这篇具有很好参考价值的文章主要介绍了新年快乐—数睿通2.0数据中台全新功能模块发布。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

引言

离上次发文已经有接近三个月了,这三个月主要在开发数睿通的数据生产模块,同时优化了一下数据集成,目前已经基本开发完毕了,集成了 Flink,Hadoop,可以在线开发 FlinkSql 作业任务,同时支持 Sql 任务开发,使平台初步具备了拉数,造数的能力,正值新年,在这里给大家拜年了,祝大家新年快乐!

平台截止到现在的功能都是我一个人开发的,包括前后台,测试等,其他小伙伴年底了工作都忙,顾不上。不得不说,一个人做起来没有那么简单,因为我是后端出身,所以前端做的比较吃力,不过现在也逐渐适应了,平台前端使用的是 VUE3,后台使用的是 SpringCloud Alibaba,都是当前比较流行的技术架构,关于平台的具体使用,我会录一个视频讲解,下面我们来一起看下平台目前所具备的功能模块吧。

数据集成

数据库管理

数据库管理模块可以自己新增和管理数据源,目前支持的数据源多达十几种,主要是常用的关系型数据库,日后考虑扩展 NoSql 数据库:
小螺旋丸 螺旋编程极客,大数据,springcloud,java,数据库,大数据,云计算
小螺旋丸 螺旋编程极客,大数据,springcloud,java,数据库,大数据,云计算

文件管理

文件管理模块可以上传下载文件:
小螺旋丸 螺旋编程极客,大数据,springcloud,java,数据库,大数据,云计算

数据接入

数据接入模块可以自定义 ETL 任务,支持表名和字段映射,同步数据源数据到指定数据库或中台库,支持调度执行:
小螺旋丸 螺旋编程极客,大数据,springcloud,java,数据库,大数据,云计算
小螺旋丸 螺旋编程极客,大数据,springcloud,java,数据库,大数据,云计算
小螺旋丸 螺旋编程极客,大数据,springcloud,java,数据库,大数据,云计算
小螺旋丸 螺旋编程极客,大数据,springcloud,java,数据库,大数据,云计算

贴源数据

贴源数据可以查看通过数据接入同步的数据表,数据以及接入日志
小螺旋丸 螺旋编程极客,大数据,springcloud,java,数据库,大数据,云计算

数据开发

数据生产

数据生产模块可以进行 Sql 和 FlinkSql 的代码化开发,支持联系上下文的 sql 校验,并且全面接管 FlinkSql 的历史任务,日志监控等,让 FlinkSql 开发纵享丝滑。

sql 作业开发

sql 作业开发可以自行编写 sql 语句,数据源可以选择自己维护的数据源或者中台库。
小螺旋丸 螺旋编程极客,大数据,springcloud,java,数据库,大数据,云计算
小螺旋丸 螺旋编程极客,大数据,springcloud,java,数据库,大数据,云计算

FlinkSql 作业开发

FlinkSql 作业支持 sql-client 所具备的全部功能,同时加强了语法,可以使用 := 来定义全局变量,通过 ADD JAR 添加本地 jar 包,防止依赖包过多导致依赖冲突,支持 local(本地),standalone(flink实例集群),yarn-session,yarn-per-job 和 yarn-application 模式执行 job 任务。

若想要实时同步数据,可以使用 flink-cdc 来进行数据的实时同步操作,FlinkSql 作业开发会在视频中详细讲解。
小螺旋丸 螺旋编程极客,大数据,springcloud,java,数据库,大数据,云计算小螺旋丸 螺旋编程极客,大数据,springcloud,java,数据库,大数据,云计算
小螺旋丸 螺旋编程极客,大数据,springcloud,java,数据库,大数据,云计算

调度中心

调度中心可以对作业任务进行拖拽流程设计,同时支持设置节点权重,支持定时执行流程,流程图中可以根据实际业务结合 Sql 和 FlinkSql 作业,更加灵活的操作处理数据。

小螺旋丸 螺旋编程极客,大数据,springcloud,java,数据库,大数据,云计算
小螺旋丸 螺旋编程极客,大数据,springcloud,java,数据库,大数据,云计算
调度记录可以查看调度日志,可以查看总体和每个节点的执行情况。
小螺旋丸 螺旋编程极客,大数据,springcloud,java,数据库,大数据,云计算

运维中心

运维中心可以查看作业的执行记录,如果是 FlinkSql 作业,会实时更新 FlinkSql 实例的状态,并且支持对作业进行 savepoint,实现断点续传,查看执行结果,错误日志等。
小螺旋丸 螺旋编程极客,大数据,springcloud,java,数据库,大数据,云计算
小螺旋丸 螺旋编程极客,大数据,springcloud,java,数据库,大数据,云计算

资源中心

资源中心主要用于管理 Flink 实例 和 Hadoop 集群,平台本身不依赖 Flink 或 Hadoop 就可以正常启动,但如果要运行 FlinkSql 任务,则需要配置 Flink 集群,Yarn 模式下则需要配置 Hadoop 集群。
小螺旋丸 螺旋编程极客,大数据,springcloud,java,数据库,大数据,云计算
小螺旋丸 螺旋编程极客,大数据,springcloud,java,数据库,大数据,云计算

配置中心

配置中心主要用于配置 FlinkSql 执行所需的参数,视频中会讲解,在此不做赘述。

其他模块

其他模块就不再一一介绍了,这两个多月主要是完成了数据集成和数据生产两个大的模块,同时也实现了多租户管理,不同的租户之间实现了数据隔离,互不影响。

结语

本次中台的新功能介绍就到此结束了,现在平台更像一个数据开发平台,这也是数据中台的一个重要组成部分,其实数据中台主要是三个核心:数据集成抽取数据,数据开发加工数据,数据服务提供数据,除此之外,用户可以根据自身需求,自行扩展功能模块,结合业务,打破数据壁垒,实现数据赋能,让数据产生价值。

想要了解更多的朋友请关注公众号 螺旋编程极客 发送 数据中台咨询 获取 最新源码,快速部署指南,部署包,使用讲解视频,源码讲解视频 等,平台在不断更新,不断完善之中,感谢您的支持与关注。文章来源地址https://www.toymoban.com/news/detail-782743.html

到了这里,关于新年快乐—数睿通2.0数据中台全新功能模块发布的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大数据Doris(六十五):基于Apache Doris的数据中台2.0

    文章目录 基于Apache Doris的数据中台2.0 一、​​​​​​​架构升级

    2024年02月20日
    浏览(66)
  • 新年快乐!学习Java第84天,Maven工程继承和聚合关系

    1. Maven工程继承关系 继承概念 Maven 继承是指在 Maven 的项目中,让一个项目从另一个项目中继承配置信息的机制。继承可以让我们在多个项目中共享同一配置信息,简化项目的管理和维护工作。 继承作用 在父工程中统一管理项目中的依赖信息。 它的背景是: 对一个比较大型

    2024年02月03日
    浏览(38)
  • 用python写的新年快乐的代码,python节日祝福源代码

    这篇文章主要介绍了用python写的新年快乐的代码,具有一定借鉴价值,需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获,下面让小编带着大家一起了解一下。 import os import time import random import pygame import colorama ‘‘‘一些变量‘‘‘ BGMPATH = ‘bgm.mp3‘ colorama.init

    2024年02月03日
    浏览(52)
  • CNStack 2.0:云原生的技术中台

    在进入千禧年后,随着计算机技术的发展和业务创新的不断涌现,许多大公司内的 IT 计算中心也在酝酿着变革。一方面,各部门相对独立的 IT 管理平台已经难以满足日益增长和不断变化的计算管理需求;另一方面,IT 计算中心也越来越多的成为业务创新的发源地,从一个成

    2024年02月13日
    浏览(44)
  • Flink 2.0 启航,开启全新篇章

    我们已经在开发者邮件列表上发起了关于 Flink 2.0 版本计划的讨论。我们相信现在是时候启动这个计划了,以便在明年作为 Apache Flink 的十周年庆典推出这个版本。欢迎大家参加关于 Flink 2.0 的愿景、功能、时间表、流程、路线图等方面的讨论! 开发者邮件列表讨论地址:ht

    2024年02月01日
    浏览(31)
  • Appium 全新 2.0 全新跨平台生态,版本特性抢鲜体验!

    关于Appium V2 Appium V2 beta版本在2021年发布,从2022年1月1号开始,Appium核心团队不会再维护Appium 1.x版本了,所有近期官方发布的平台驱动(如Android平台的UIAutomator,IOS平台的XCUITest)不再兼容Appium 1.x,需要基于Appium V2版本。 让我们一起看看Appium V2相比Appium 1.x发生了哪些变化 将

    2024年02月07日
    浏览(59)
  • 【数据中台建设系列之二】数据中台-数据采集

    ​ 【数据中台建设系列之二】数据中台-数据采集 上篇文章介绍了数据中台的元数据管理,相信大家对元数据模块的设计和开发有了一定的了解,本编文章将介绍数据中台另一个重要的模块—数据采集。 一、什么是数据采集 数据采集简单来说就是从各种数据源中抓取、捕获

    2024年02月08日
    浏览(44)
  • 数据中台实战(00)-大数据的尽头是数据中台吗?

    除了支撑集团的大数据建设,团队还提供To B服务,因此我也有机会接触到一些正在做数字化转型的传统企业。从2018年末开始,原先市场上各种关于大数据平台的招标突然不见了,取而代之的是数据中台项目,建设数据中台俨然成为传统企业数字化转型的首选,甚至不少大数

    2024年02月06日
    浏览(49)
  • 【数据中台商业化】数据中台微前端实践

    作者:京东科技 陈云飞 在以往的业务场景中,用户进入五花八门的菜单体系中,往往会产生迷茫情绪,难以理解平台名称及具体作用,导致数据开发与管理学习成本较高,降低工作效率。为此我们整合从数据接入,数据开发,数据管理的全链路流程,期望让用户体验一站式

    2023年04月21日
    浏览(54)
  • 数据中台选型必读(三):什么企业适合上数据中台?

    数据中台虽然已经在口碑上跌下神坛,甚至一些企业开始拆中台。但是,笔者在客户咨询过程中经常遇到一种情况,企业仍然喜欢打着“数据中台”的名义沟通项目需求,但背后的需求很多时候都是数据统一管理和统一服务。   可能数据中台给企业留下的印象太深了,感觉像

    2024年02月02日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包