数睿通2.0数据中台数据治理—元数据功能发布

这篇具有很好参考价值的文章主要介绍了数睿通2.0数据中台数据治理—元数据功能发布。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

引言

数睿通 2.0 目前基本完成了数据集成,数据开发,数据服务三大模块,初步具备了拉数,造数,供数的能力。因为平台相关人员都是兼职开发,并非全职,所以进度没有那么快,这点希望大家可以理解。3 月份主要是完善了一下数据集成,添加了实时日志的展示,同时开发了数据治理模块 — 元数据的相关功能,主要包括元模型,元数据采集,元数据管理,数据治理模块还有数据血缘,数据质量,数据标准,数据清洗处于开发之中,四月中下旬应该可以再出一版,元数据是底层基础,地基打好了,剩下的功能开发起来会顺手很多。之前的功能就不做赘述了,首次了解的朋友可以查看我的往期文章,下面我们来看一下本次主要更新的功能吧。

数据集成 - 实时日志

之前的数据集成任务执行之后,无法实时获取任务的执行日志,不方便排查问题,所以本地更新添加了查看实时日志的功能,具体功能如下所示:
数睿通2.0数据中台数据治理—元数据功能发布
数睿通2.0数据中台数据治理—元数据功能发布

数据治理 - 元模型

元模型可以理解为是描述元数据的数据,元模型分为内置元模型和自定义元模型,目前内置的元模型有数据库,数据表和表字段,内置元模型是固定的,不可更改,而自定义元模型则可以灵活扩展,达到自定义元数据的效果。
数睿通2.0数据中台数据治理—元数据功能发布
数睿通2.0数据中台数据治理—元数据功能发布

数据治理 - 元数据采集

通过元数据采集功能,我们可以指定需要采集的数据源,一次性或者定时采集目标数据源的元数据信息,支持全量和增量采集,全量则会保持元数据跟目标数据源完全一致,多余的数据会进行删除,增量则只会新增和更新数据,不会做删除操作。采集的时候会根据定义的元模型的属性信息进行采集。

元数据采集执行时会生成执行记录,通过执行记录可以查看采集的实时日志信息,帮助排查解决问题。
数睿通2.0数据中台数据治理—元数据功能发布
数睿通2.0数据中台数据治理—元数据功能发布

数睿通2.0数据中台数据治理—元数据功能发布
数睿通2.0数据中台数据治理—元数据功能发布

数据治理 - 元数据管理

元数据采集之后,可以在元数据管理模块查看采集的元数据信息,帮助我们直观的了解元数据信息,目前开发中的数据血缘,数据质量等都依赖于元数据管理模块,它是整个中台的基盘,对数据治理起着至关重要的作用。
数睿通2.0数据中台数据治理—元数据功能发布

结语

这就是本次更新的主要内容了,看起来功能不多,但代码量却一点不少,数据治理在数据中台中至关重要,企业能不能管理好数据,用好数据,构建好自己的数据资产目录,都很大程度上依赖于数据治理,所以这块不能急于求成,慢工出细活,需要好好设计一下,数睿通从启动至今,得到了不少朋友的鼓励和认可,在这里由衷的表示感谢,这也是我们开发的动力源泉所在。

想要获取系统目前最新源码,部署指南等资料的朋友可以关注公众号 螺旋编程极客 加入我的知识星球,星球内可以获取到数睿通 2.0 的最新源码资料等,新功能发布之后也会第一时间分享,期待你的加入。文章来源地址https://www.toymoban.com/news/detail-480178.html

到了这里,关于数睿通2.0数据中台数据治理—元数据功能发布的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【数据架构系列-02】从《数据中台能力成熟度模型》的发布,聊聊火了的中台

    热点之所以会“热起来”,是由于万众瞩目的那份炽烈,也是因为无数双“手”的奋力炒作。所以,要穿过那“缭绕烟雾”看到本质,便需要冷静的头脑。 2023年1月4日,信通院发布了《数据中台能力成熟度模型》框架,不由让我浮想联翩,之后是不是还会出现业务中台、技术中台

    2024年02月16日
    浏览(51)
  • CNStack 2.0:云原生的技术中台

    在进入千禧年后,随着计算机技术的发展和业务创新的不断涌现,许多大公司内的 IT 计算中心也在酝酿着变革。一方面,各部门相对独立的 IT 管理平台已经难以满足日益增长和不断变化的计算管理需求;另一方面,IT 计算中心也越来越多的成为业务创新的发源地,从一个成

    2024年02月13日
    浏览(39)
  • 《金融数据保护治理白皮书》发布(137页)

    温馨提示:文末附完整PDF下载链接 导读   目前业界已出台数据保护方面的治理模型,但围绕金融数据保护治理的实践指导等尚不成熟,本课题围绕数据保护治理的金融实践、发展现状,探索和标准化相关能力要求,归纳总结相关建设范式,推进数据保护、治理在金融领域的

    2024年02月14日
    浏览(47)
  • 中国信通院&腾讯安全发布《2023数据安全治理与实践白皮书》

    导读 nbsp; 腾讯科技(深圳)有限公司和中国信息通信研究院云计算与大数据研究所共同编制了本报告。本报告提出了覆盖组织保障、管理流程、技术体系的以风险为核心的数据安全治理体系,并选取了云场景、互娱、社交等场景,介绍相应场景下数据安全治理实践路线及主要亮

    2024年02月14日
    浏览(44)
  • 中国信通院联合腾讯安全发布《数据安全治理与实践白皮书》

    6月26日,由中国通信标准化协会和中国信息通信研究院联合主办的“2023大数据产业发展大会”在北京启幕,大会发布了多项中国信息通信研究院及相关机构在数智化领域最新研究和实践成果。 腾讯云安全总经理李滨出席了数据安全高质量发展论坛,分享了腾讯云自身数据安

    2024年02月12日
    浏览(38)
  • 模板管理支持批量操作,DataEase开源数据可视化分析平台v2.2.0发布

    2024年1月8日,DataEase开源数据可视化分析平台正式发布v2.2.0版本。 这一版本的功能升级包括:在“模板管理”页面中,用户可以通过模板管理的批量操作功能,对已有模板进行快速重新分类、删除等维护操作;数据大屏中,支持多个组件构成的分组中某一组件的快速重新定位

    2024年01月20日
    浏览(43)
  • 开源免费用|Apache Doris 2.0 推出跨集群数据复制功能

    随着企业业务的发展,系统架构趋于复杂、数据规模不断增大,数据分布存储在不同的地域、数据中心或云平台上的现象越发普遍,如何保证数据的可靠性和在线服务的连续性成为人们关注的重点。在此基础上,跨集群复制(Cross-Cluster Replication,CCR)应运而生,并逐渐成为数

    2024年02月14日
    浏览(41)
  • 云原生技术中台 CNStack2.0 正式发布

    作者:奥陌 11 月 5 日,在 2022 杭州 · 云栖大会上,云原生技术中台 CNStack2.0 正式发布。 阿里巴巴资深技术专家 谢吉宝介绍 CNStack2.0 企业在数字化转型的过程中,一部分问题得到了解决,但随着 IT 水平的不断提升,新问题也在逐渐显现。业务系统越加复杂,所需的计算、存

    2024年02月06日
    浏览(34)
  • python一点通:数据处理顶流Pandas 2.0有什么新功能?

    Pandas 2.0及其后续版本的发布引入了各种功能和增强,标志着在使用Pandas进行数据操作和分析方面的显著演进。这里是对一些新功能的深入解析: 可选依赖的安装: 在Pandas 2.0中,通过pip安装pandas时,可以通过指定extras来安装一组可选的依赖项,例如:pip install “pandas[performan

    2024年02月08日
    浏览(38)
  • PythonStock(37)股票系统:Python股票系统发布V2.0版本,改个名字吧,叫Python全栈股票系统2.0,可以实现数据的抓取(akshare),统计分析,数据报表展示。

    使用Python开发一个web股票项目。 【github项目地址】: https://github.com/pythonstock/stock 【知乎专栏地址】: https://zhuanlan.zhihu.com/pythonstock 【docker hub地址下载】: https://hub.docker.com/r/pythonstock/pythonstock 【相关stock资料分类】: http://blog.csdn.net/freewebsys/article/category/7076584 主要使用开发

    2023年04月08日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包