云原生时代数据治理的变革与创新

这篇具有很好参考价值的文章主要介绍了云原生时代数据治理的变革与创新。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

随着数字化进程的深入,企业对数据的依赖日益加深,数据资源的重要性愈发凸显。如何管好、用好数据,做好数据治理工作,发挥数据资源价值,成为企业提质增效过程中的重要议题。

在本次直播中,我们介绍了数据治理体系、技术框架及云原生数据平台在数据治理领域的优势。以下内容根据直播文字整理成稿。

传统数据治理体系及框架

在数字化转型中,战略驱动是根本,数据治理是基础,数据智能是方向。

数据治理就是从组织、管理、技术的角度持续改变数据使用行为的过程,贯穿整个数据生命周期。数据治理的根本目标是确保数据安全,提升数据价值。

同时,数据治理更是一个体系,其关注于信息系统的执行层面,以整合信息科技部门与业务部门的知识和意见为目的,通过数据治理组织对企业的信息化建设进行全方位的监管,从而迭代数据资产价值,赋能业务发展,达成业务战略,保障数据安全,降低隐私泄露的风险。

数据治理体系涉及企业的组织、管理、技术等多个层面,和业务部门关系紧密。通常,企业的数据治理工作都是由业务部门牵头,IT部门辅助执行。 

云原生时代数据治理的变革与创新

图1 数据治理体系架构图 

如上图所示,数据治理体系分为三个层级,分别是数据治理对象、数据治理任务和数据治理支撑。

  • 数据治理的对象围绕主题进行划分,不同企业的数据主题不尽相同,与企业自身组织和部门设置密切相关,这里不再展开描述。
  • 数据治理支撑包括企业的组织架构、在数据治理过程中的角色、企业内部基于数据治理相关的制度与流程以及IT 技术架构与平台。
  • 数据治理任务,主要包含主数据管理、数据标准管理、数据质量管理、数据资产管理、数据安全管理、数据生命周期等。其中,主数据管理、元数据管理和数据质量管理是重点所在。

主数据管理

主数据是指描述核心业务实体的数据,如客户、产品、员工、账户等,具有高业务价值的、可在跨越各个业务部门被重复使用的数据,并且存在于多个异构的应用系统中。

主数据管理将从企业多个业务系统中整合最核心、最需要共享的数据(即主数据)集中进行清洗和丰富,并以服务的方式把主数据分发给企业范围内的操作型和分析型应用。

主数据管理的目的是为了保证在跨系统和跨平台使用数据的时候,主数据能够保持一致。

数据质量管理

数据质量管理体系包括数据质量的判断以及所有对数据质量起到保证提升作用的活动、流程,力求实现全方位数据质量管理。

其中,数据质量优化提升是面向存量数据,按业务系统或者主题分批对数据进行分析、清洗,提高既有数据质量的数据质量管理活动。

数据质量管理的管控,首先需要企业内部制订相关的规章制度,并将数据按照不同的主题域指定相应的归口部门,确保数据质量是的持续提升。

云原生时代数据治理的变革与创新

图2 数据质量问题归因溯源 

通过上方的鱼骨图可以看出,数据质量问题产生的原因有很多,其中人员、流程、业务系统前段录入属于原生数据质量问题;业务系统后端数据库设计、数据抽取、数据加载等属于次生数据质量问题。

针对原生数据质量问题,可以通过提高录入的自动化和易用性等手段,降低前端输入时出错的机率。

对于次生数据质量问题,通过在数据流转过程中加入一些埋点校验,进行数据比对,避免数据出错。

元数据管理

元数据用来描述数据的数据,相当于书籍的目录,是数据的解释说明信息,使数据的使用者可以了解数据的特征、内容、作用,以及获取方式等信息,并对数据是否能满足使用需求做出适当的评价。

在数据治理体系中,元数据可分为业务元数据、技术元数据、操作元数据和管理元数据四种类型。

元数据管理分为采集、管理、分类、服务四个层面,涉及标准制订、补充维护、管理分类、血缘分析、查询统计等诸多环节。

对于大型企业,元数据的规模比较庞大,要实现元数据管理需要投入大量的人力和时间,工程周期往往以年为单位。

此外,企业数据治理还涉及数据标准、数据安全、数据生命周期等,这里不再展开赘述。

 数据治理面临的难题

随着新技术的不断涌现和数据量的极速增长,传统数据治理体系在实施时面临着以下挑战:

  • 元数据管理成本高:业务元数据的实施需要业务人员的介入与识别,每个数据平台都要录入,数据流转的操作元数据也需要进行录入,导致记录成本高。
  • 数据质量难以保障:数据在平台间流转的过程中会产生次生数据质量问题,需要进行大量的埋点校验工作。
  • 数据标准落标复杂:每个数据平台都要进行数据标准的检查,跨平台的数据标准一致性难以保障。
  • 数据同步策略复杂:主数据平台必须向多个数据平台同步主数据,需要复杂的同步策略,否则可能面临主数据的版本不一致问题。
  • 敏感数据难以集中治理:需要定期对每个数据平台的敏感数据进行识别,数据跨平台流转还需要加密解密,维护困难。
  • 数据服务响应周期长:数据服务要经过多个数据平台进行加工和etl,拉长了数据服务的响应时间。

云原生数据平台下的数据治理

当前,云计算对企业IT架构产生了深刻影响和变革,云原生平台能够在很大程度减轻上述数据管理与治理负担,缩短响应周期,基于云原生平台的数据治理应运而生。

云原生时代数据治理的变革与创新

 图3 云原生平台体系与数据治理 

如上图所示,与传统数据体系相比,云原生数据平台体系具有以下特点:

  • 一站式敏捷数据服务:通过一站式的数据门户,快速检索数据资产,敏捷开发新的数据服务与产品,快速发布上线,和用户互动迭代更新,滚动沉淀企业的数据资产价值。
  • 云原生数据平台:采用存算分离架构,原生支持OneData,保证企业核心数据的一致性,降低数据治理的复杂度;根据业务形态,实现资源弹性伸缩、动态调度与高并发,满足各种业务场景的灵活要求。同时具备自愈能力,提高系统可用性。
  • 云原生大数据支撑平台:为云原生化的数据平台提供稳定支撑,实现存算分离、弹性调度、更好的资源隔离等能力,同时也支持混合云等多种异构环境部署,保障业务的灵活性,帮助企业快速实现业务目标。

随着新技术的不断成熟,应用场景不断增加,业务模式不断复杂化,全域数据治理的理念日益受到企业的重视。全域数据涵盖了企业相关的内外部数据,与企业的业务和商业性质息息相关。

云原生数据平台的“存算分离”,实现了企业内的全域数据融合,整合了分散的数据平台,彻底消除了数据孤岛现象,并且可以集中进行数据安全管理,减少安全漏洞产生环节,同时也减少了次生数据质量问题;针对全域数据一站式地管理主、元数据、数据标准、数据架构与模型,大幅降低数据治理的复杂度;同时,云原生的数据资产服务也使业务变得更加敏捷,适应市场的瞬息万变,不断迭代数据资产,从而达成数字化转型。

目前,HashData作为国内领先的云原生数据平台,已在金融、电信、政务、能源、交通等众多领域实现大规模商用,帮助企业高效、便捷地开展全域数据治理工作。

云原生时代数据治理的变革与创新

图4 HashData在国有大行生产落地实例

以某国有大行为例,使用HashData云原生数据平台整合了所有P9分析平台,将全域数据按照主题域进行划分,实现了数据集中管控,数据架构融合统一。

同时,上收所有分公司的数据平台,统一提供全域数据与计算资源。基于共享存储管理着全行统一的、面向分析的企业级数据视图,按应用场景的不同建立多个计算集群,任意计算集群在授权后均可访问共享存储中的任意数据,以完成业务加工计算或在线查询分析。

由于数据平台统一,可以在全行内使用统一的数据模型最佳实践,避免不同技术栈产生的模型差异,减少了次生数据质量问题和元数据操作,大幅降低了数据管理成本。

未来我们期待为各行各业带来最新的云原生技术实践,赋能企业实现OneData,轻装上阵释放数据价值!文章来源地址https://www.toymoban.com/news/detail-513429.html

到了这里,关于云原生时代数据治理的变革与创新的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 大模型时代下向量数据库的创新与变革

    前言: 在当今信息时代,数据库扮演着关键的角色,用于存储和管理各种类型的数据。向量数据库是一种专门设计用于高维数据存储和快速检索的数据库系统。在不断创新和变革后,腾讯云不久前发布了AI原生(AI Native)向量数据库。 向量数据库 作为一种创新的解决方案应

    2024年02月02日
    浏览(46)
  • 大宗商品贸易集团数据治理实践,夯实数字基座 | 数字化标杆

    某大型央企是首批全国供应链创新与应用示范企业,在“十四五”规划期内以聚焦供应链管理核心主业作为主要战略发展方向。供应链运营管理以大宗商品贸易为主,其交易往往具有交易量巨大、交易环节复杂、风险交易难识别、风险客商难管控等痛点。 随着集团数字化转型

    2024年02月05日
    浏览(53)
  • 车企数据治理实践案例,实现数据生产、消费的闭环链路 | 数字化标杆

    随着业务飞速发展,某汽车制造企业业务系统数量、复杂度和数据量都在呈几何级数的上涨,这就对于企业IT能力和IT架构模式的要求越来越高。加之企业大力发展数字化营销、新能源车等业务,希望通过持续优化客户体验,创造可持续发展的数字化转型之路。 为更好应对数

    2024年02月05日
    浏览(76)
  • 券商数字化创新场景数据中台实践

    时下,众多金融机构在积极推行数字化改革,以适应时代高速革新。为回应市场对信息即时生效的迫切需求,各家券商机构都需要更具竞争力的信息服务。 本次方案结合券商场景与业务实践,围绕客户实际面临的业务和数据问题,输出整体建设方案,方案包括业务背景、业务

    2024年02月11日
    浏览(41)
  • 800份智慧城市数字化转型智慧能源人工智能数据治理综合解决方案(专栏内下载)

    61页工业互联网零碳园区建设方案PPT 企业数字化转型大数据湖一体化平台项目建设方案PPT 50页数字化转型数据架构规划设计--方法论及案例 算网一体技术创新与实践 2023工业互联网数字化中台解决方案PPT 937页39万字智能矿山项目建设整体解决方案(煤矿) word资料 18万字XX市应急

    2024年02月04日
    浏览(74)
  • 数字化时代,企业的数据指标体系

    在社会节奏越来越快,处理的信息量越来越大的今天,传统的经营管理模式已经适应不了当下的环境。而由经验、情感组成的业务调整以及决策能力不再能正确指导企业走在正确的方向上,所以数据就成为了企业新的业务优化调整和支撑企业高层管理进行决策的重要工具。

    2024年02月13日
    浏览(49)
  • 苏光牛:全面数字化时代,金融核心业务系统数据库如何选型?

    在新一轮科技革命和产业变革的背景下,全球企业进入数字化时代,全球的营商环境发生了很大的变化,金融业需要加速进入智能化升级时代。此外,由于金融是国家经济的基础,结合营商环境,需要跟上产业的变革转型,增强金融产品的核心竞争力。 金融业的信息化建设思

    2024年02月06日
    浏览(50)
  • 数字化时代,在一系列数据技术中浅谈商业智能BI

    BI,Business Intelligence的简称,顾名思义,也叫做商业智能。其主要价值,在于通过一系列的数据技术,从数据中挖掘隐藏的客观规律,总结这些规律背后的原因,并用于指导公司业务的发展。 大多数情况下,BI分析师的工作,就是通过SQL、Python等语言,将已经统计好的数据,

    2024年02月08日
    浏览(60)
  • 2023大中型企业数字化运营:互联网时代数据中台价值与应用-亿发

    在数字化时代背景下,大中型企业通过构建数据中台以提升业务价值的趋势日益明显。作为企业的战略制定者和高层领导,不仅需要认识到数据的价值,还要深入了解实现数据价值化业务的核心技术,即数据中台。 市场环境的变化带来了数字化转型路径的变革,执行方法论同

    2024年02月08日
    浏览(69)
  • 数字化时代,数据仓库和商业智能BI系统演进的五个阶段

    数字化在逐渐成熟的同时,社会上也对数字化的性质有了进一步认识。当下,数字化除了前边提到的将复杂的信息、知识转化为可以度量的数字、数据,在将其转化为二进制代码,引入计算机内部,建立数据模型,统一进行处理、分析、应用,还有了新的定义。 当下数字化指

    2024年02月11日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包