数据治理三大模式详解,治理新范式释放数据潜能

这篇具有很好参考价值的文章主要介绍了数据治理三大模式详解,治理新范式释放数据潜能。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

随着世界经济由工业经济向数字经济转型,数据逐步成为关键的生产要素,企业开始将数据作为一种战略资产进行管理。数据从业务中产生,在IT系统中承载,要对数据进行有效治理,需要业务充分参与,IT系统确保遵从,这是一个非常复杂的系统工程。

数据治理架构

实践证明,企业只有构筑一套企业级的数据治理综合体系,明确关键数据资产的业务管理责任,依赖规范的制度流程机制,构建有效的管理平台及工具,数据的价值才能真正发挥出来。数据治理架构如下图所示。

数据治理三大模式详解,治理新范式释放数据潜能

构筑数据治理体系的过程,即以数据应用为核心打造“良性循环的闭环数据治理管理体系”的过程。各IT系统获取业务活动产生的各类数据后,经过系统的数据治理、管理,不断挖掘、变现数据价值,拓展、深入数据应用场景,指导业务决策,同时在不断应用数据过程中基于发现的数据问题,通过数据治理、管理的过程不断修订,推动业务系统全面升级,真正优化业务流程管理机制及规范,最终构建数据“获取→管理→变现→发现→应对→修正”的闭环管理机制。

以数据应用核心,数据治理平台工具为支撑,在数据治理组织/制度保障下,不断通过数据治理手段,推动实现数据标准化及业务标准化,实现业务、技术、管理、平台的有效联动。

在数据治理综合体系内,数据治理核心模块包括数据治理规划、数据治理职能及数据治理平台工具。

数据治理规划是指数据治理体系与规划、数据治理组织与职责、数据治理制度及流程,是数据治理规范化管理的核心模块;

数据治理职能包括数据标准管理、数据质量管理、数据架构及模型管理、数据开发、元数据管理、主数据管理、数据生命周期管理、数据安全管理八大职能,实际过程中,企业通常会合并管理;

数据治理平台工具包括数据开发平台、数据资产管理平台、数据质量管理平台、数据服务平台,通常数据治理平台工具基于数据治理的阶段功能并不完全一致,实践中平台工具通常综合多方面功能,而不是单平台功能。

三大模块互为动力,数据治理规划指导数据治理职能的全面发挥,数据治理各项职能通过数据治理平台工具协助管理,数据治理平台工具支撑数据治理规划的落地及优化,数据治理规划各层面逐步固化在数据治理平台上,数据治理平台辅助数据治理各项职能的管理,通过数据治理各项职能不断落实和完善数据治理规划,实现组织数字化转型,固化管理机制及流程体系。

未来企业通过构筑数据治理综合体系,逐步建立数据治理机制,完成组织转型,数据治理职能将成为企业管理的重要组成部分,良性循环的管理体系将推动企业实现更广、更深层次的数据应用,数据决策将成为企业人思考的习惯,企业决策将更加科学、有效。

未来企业数据治理蓝图架构如下图所示,业务系统、数据治理及数据应用互为动力,共同推动企业数字化转型的实现。
数据治理三大模式详解,治理新范式释放数据潜能

数据治理模式

数据治理模式是指企业基于不同的数据治理目标,根据企业组织、系统、数据应用的现状,以何种数据治理策略开展数据治理活动。根据袋鼠云8年的实践证明,通常数据治理模式包括三种基本模式。

模式一:自下而上,以数据架构为重,开展数据治理

这种模式重在数据架构,层层向上治理数据,至数据应用层。这种模式从底层数据切入,基于现有数据基础,盘点、建设、治理、应用层层展开,对企业整体的数据思维、数据治理水平要求较高,通常适用于数据量重、业务应用轻大型技术型企业,或政府机构,或新建、自研系统较多的企业。

模式二:自上而下,以明确的数据应用为重,开展数据治理

这种模式即单点应用式,通常以现有应用需求为核心开展数据治理。聚焦各个业务领域的数据应用、数据治理需求,在有需求、有资源、有驱动力的前提下,按需组织推进数据治理工作。只有业务部门的深入参与才能做好数据治理,只有针对业务自身需求进行的治理,才能得到业务部门的认可和支持。

模式二通常围绕数据应用的需求进行数据治理,比如升级架构、更换平台等涉及数据应用迁移时,或聚焦监管、上报类等明确数据应用时,围绕数据应用进行数据治理。

模式二通常适用于数据应用较强、业务部门较为强势、但整体数据认知较弱的企业。这种模式的数据治理切入相对较为简单,实践证明,大部分企业数字化转型初期会这种模式,慢慢探索企业的数据治理道路,这种模式有助于拉齐数据部门、业务部门的认知,提升企业整体数据认知,为未来数据治理的开展提供基石。

模式三:大规划模式,从数据应用规划入手,治理现状,规划未来,基于数据资产的未来开展数据治理

这种模式需要企业全面梳理业务的现状痛点及业务未来畅想,盘现状、规划未来,基于业务现在及未来的需求规划分析应用场景,在应用场景蓝图规划的范围内,全面的梳理数据的现状、规划数据的未来,针对蓝图规划中的数据需求,制定全方位策略。例如哪些新建系统、新购数据源?哪些需要现有数据系统升级,细化、标准化现有数据?哪些数据需求落地可行性较高?

制定全面的规划体系,划分优先级,有节奏、有步骤地实现全面的数据治理。这种模式通常是企业的战略项目,由高层推进开展,对数据、业务协同性要求较高,整个过程涉及系统改造升级、业务流程优化再造,是企业全面升级的过程。
数据治理三大模式详解,治理新范式释放数据潜能

组合模式一:模式一&模式二组合,即全域数据治理+明确应用场景规划。这种模式兼顾底层数据与上层应用,可对冲底层数仓重建的部分风险,同时可有效地阐述数据价值,整体可行性较高。

组合模式二:模式一&模式三组合,即全域数据治理+全面应用场景规划。这种模式从现在、未来的角度全面开展数据治理,业务、数据全面覆盖,返工重建风险小,同时有助于推动业务系统、数据全面升级,业务价值较高,但对组织协同要求高,且成本投入高、耗时久,对执行团队要求高,复合型人才需求大,属于高风险高收益模式,需要企业高战略、高执行的推进落地。
数据治理三大模式详解,治理新范式释放数据潜能

数据治理模式对比

三大数据治理模式开展方式、适用场景、优劣势、资源投入各不相同。

模式一,自下而上,切入方便,成本可控,重架构,但脱离应用,对执行团队架构能力要求较高,成效慢;

模式二,自上而下,目的明确,切入方便,成本可控,重应用,但轻治理,容易造成面子工程,出现重复治理的风险;

模式三,大规划模式,规划的眼光,覆盖业务、数据双层面,重建风险小,聚焦业务,有利于充分挖掘数据价值,但对组织的协同性要求较高,同时需要高质量复合型人才配合团队执行,整体落地风险较大,成本较大。

数据治理三大模式对比如下表所示:
数据治理三大模式详解,治理新范式释放数据潜能

三大数据治理模式各有优劣,而组合模式在某种程度上对冲单一模式的风险,可以更好地满足企业数据治理的需求和目的。企业应基于面临的现状,选择适合的自己的治理模式。

数据治理模式选择

不同的数据治理模式,对企业的数据治理水平、组织协同程度要求不同。

自下而上的模式一是基于底层数据治理的,对数据治理水平要求较高,数据治理水平包括数据基础(数据量、数据质量等)以及数据治理能力,数据治理能力主要体现在数据治理团队专业度以及数据治理体系(组织、制度及流程)完善度。这种模式对组织协同度要求相对较低,主要靠数据治理团队推动进行。

自上而下的模式二是基于明确数据应用进行数据治理的,相较于自下而上的模式一,组织的协同性要求会更高,需要业务部门、数据部门配合实现,但整体以需求为主,对数据治理的水平要求一般。

大规划的模式三既治理现状,又规划未来,对组织协同性及数据治理水平均有极高要求。该模式需要动员企业的业务部门、技术部门、数据部门,同时需要企业各阶层(高层、中层、基层员工)的人员共同配合,全面盘点业务的痛点及未来规划,同时梳理数据现状,规划数据未来,通常为战略项目、高层领导共同将企业数据治理水平推向一个新水平,同时完成数字化组织的转型。

组合模式在组织协同性、数据治理水平上会叠加单一模式的要求,如模式一&模式三的组合模式对组织协同性、数据治理水平要求最高。

各模式对企业的组织协同性、数据治理水平的要求见下图所示,基于各模式对企业组织协同、数据治理水平的要求不同,企业应充分盘点企业的组织现状、数据现状、应用现状,初步评估企业数据治理水平、组织协同度,结合数据治理的目标,评估可行性,选择最佳模式。

数据治理三大模式详解,治理新范式释放数据潜能

企业数据治理是个复杂而漫长的过程,通常在不同的发展阶段,企业选择数据治理模式并不同,基于面对的组织、数据、应用现状,企业需要均衡目标与现状,选择当下最合适的数据治理模式。

企业数据治理并不是一蹴而就的,它需要企业不断地进行规划、治理、监测、优化,通过数据治理不断完善企业的组织、制度、流程管理体系,同时不断提升企业数据治理管理水平,包括数据标准、数据质量、数据架构及模型、数据应用等模块的管理水平提升。

数据治理是一个持续循环的过程,需通过不断地改进提升及完善。PDCA循环不是在同一水平上循环,而是呈阶梯式推动上升,每次循环将推进企业的数据治理水平及组织协同性向新的、更高的层级进阶,最终实现企业数字化转型。
数据治理三大模式详解,治理新范式释放数据潜能

数据治理实施路径

企业数据治理实施路径通常包含三个阶段。

第一阶段:起步阶段,业务运营数字化阶段。

这个阶段主要是梳理企业面临的现状,响应痛点,探索业务场景化。企业逐步开始由信息化向数字化转型,这个阶段企业会重新审视原有的数据治理策略,重构数据治理战略及实现路径,逐步开始搭建数据治理框架、数据治理体系框架,升级原有的数据处理、应用模式,搭建大数据平台,构建大数据采集、汇集、存储、计算、服务的基础能力,逐步整合各系统的数据,打破数据孤岛,沉淀数据资产,探索业务场景化。

第二阶段:深入拓展阶段,数据赋能常态化阶段。

这个阶段数据应用成为重点,企业开始深挖数据价值,提高数据应用覆盖。数据应用的范围,由核心KPI指标的实现,逐步覆盖全部核心业务,搭建完善的分析框架和洞察体系,不断地提升业务决策质量。

大数据平台持续发挥大数据处理的能力,企业纳入更多、更广的数据内容,不断扩大数据应用的广度及深度,初步形成企业的数据资产地图,数据标准体系逐步搭建,数据应用的效率大大提升,初步完成由“经验主义”向“数据主义”的转型,数据决策成为企业决策主要决策方式。

这个阶段,企业开始全面建立数据管理权限体系,完善数据治理机制,优化数据治理流程及制度体系,由原有的“粗放式”管理升级为“精细化”管理,数据质量不断提升,企业数据管理能力升级,逐步通过数据质量平台、数据资产平台、数据治理平台工具等实现智能管理,企业数据思维认知全面提升。

第三阶段:智能应用阶段,运营决策智慧化阶段。
这个阶段企业实现洞策合一,智慧场景应用成为常态,全面完成数字化转型,探索数字业务,开启新篇章。这个阶段以智能应用为主,AI赋能成为常态,企业不断地挖掘数据的价值、激发创新,开始为企业战略性分析提供准确的数据依赖,在这个阶段,有些企业甚至在原有商业模式上,激发新的业务模式。

数据管理层面,由数据治理体系建设逐步向数据治理体系优化进阶,完善机制、流程,进一步细化数据管理职责;
数据资产层面,完成全域数据资产建设,构建强壮的数据模型体系,完成企业数据标准建设,不断完善数据资产体系;
平台工具层面,大数据平台能力逐步向算法能力转移,智能推荐算法模型开发成为常态化的需求,数据治理平台逐步完善功能,协助企业智能化数据质量、数据标准、数据资产及主数据等模块,企业真正进入运营决策智慧化阶段。
数据治理三大模式详解,治理新范式释放数据潜能

《数栈产品白皮书》:https://www.dtstack.com/resources/1004?src=szsm

《数据治理行业实践白皮书》下载地址:https://www.dtstack.com/resources/1001?src=szsm

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szbky

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术qun」,交流最新开源技术信息,qun号码:30537511,项目地址:https://github.com/DTStack文章来源地址https://www.toymoban.com/news/detail-439017.html

到了这里,关于数据治理三大模式详解,治理新范式释放数据潜能的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 数据库设计(三大范式,设计工具)

    1 数据库设计PowerDesigner三大范式 2 命名风格、主键选择、外键、存储过程 3 数据库事务和数据库锁 4 触发器、游标、视图、自定义函数、 5 字段类型、字段可空、统计字段、逻辑删除 1. 数据库设计的重要性 要谈数据库性能—直接和数据库设计挂钩; 如果不合理-----后续的开

    2024年02月15日
    浏览(47)
  • 数据库三大范式是什么,又为什么要反范式?

    🏆作者简介,黑夜开发者,CSDN领军人物,全栈领域优质创作者✌,CSDN博客专家,阿里云社区专家博主,2023年6月CSDN上海赛道top4。 🏆数年电商行业从业经验,历任核心研发工程师,项目技术负责人。 🏆本文已收录于PHP专栏:MySQL的100个知识点。 🎉欢迎 👍点赞✍评论⭐收

    2024年02月11日
    浏览(48)
  • 【数据库基础】数据库介绍和三大范式

           数据库 (DataBase,DB):指长期保存在计算机的存储设备上,按照一定规则组织起来,可以被各种用户或应用共享的数据集合。        数据库管理系统 (DataBase Management System,DBMS):指一种操作和管理数据库的大型软件,用于建立、使用和维护数据库,对数据库

    2024年02月07日
    浏览(66)
  • 设计模式学习笔记 - 开源实战三(下):借助Google Guava学习三大编程范式中的函数式编程

    现在主流的编程范式主要有三种,面向过程、面向对象和函数式编程。在理论部分,已经介绍了前面两种编程范式。本章再讲讲剩下的编程范式,函数式编程。 函数式编程并非是一个很新的东西,早在 50 年前就已经出现。近几年,函数式编程越来越被人关注,出现了很多新

    2024年04月22日
    浏览(55)
  • 数据库的三大设计范式和BCNF

    第一范式(1NF):确保数据表中的每个列都是原子的,即每个列都包含不可再分的数据项。这意味着在每个列中不能有重复的数据,也不能包含多个值。每个数据项应该是独立的,以便能够对其进行有效的排序、搜索和过滤。 第二范式(2NF):在满足第一范式的基础上,要求

    2024年02月06日
    浏览(44)
  • 数据库三大范式的学习与数据库表设计的了解

    内容简单介绍 对于数据库三大范式的理解以及一些设计表示要注意的方面 本章内容梳理图 数据库的三大范式(Normal Forms)是关系数据库设计中用于确保数据结构化、减少数据冗余、并提高数据完整性的指导和规则。 以下是三大范式的简述: 第一范式(1NF) 定义 :如果关系

    2024年03月27日
    浏览(65)
  • 软信天成:数据治理三大核心要素是什么?

    近年来,信息技术的快速发展和深入应用让数据获得了前所未有的增长,著名研究机构IDC预测:到2025年,全球数据预计增长至175ZB。随着数据价值的日益凸显,无数企业开始布局数字化战略转型,如何从庞杂的企业数据体现出业务价值已经被越来越多的企业所重视。 企业数据

    2024年02月05日
    浏览(52)
  • MySQL:事务、索引、用户管理、备份、数据库设计(三大范式)

    事务 (transaction):要么都成功,要么都失败。 核心 :将一组 SQL 放在一个批次中去执行。 原则 ACID :原子性(atomicity)、一致性(consistency)、隔离性(isolation)、持久性(durability)。 原子性 :一个事务中的所有步骤 要么都 成功, 要么都 失败,不能只成功一个步骤。 一致性 :包括

    2023年04月26日
    浏览(81)
  • 联手英特尔,释放星飞分布式全闪存储潜能

    近日,英特尔官网发布了与 XSKY 星辰天合联手打造的解决方案,即 XSKY 的新一代全闪分布式存储系统 XINFINI,该存储系统采用英特尔 QAT 加速数据压缩/解压缩,从而大幅度提升存储系统性能。 全闪存储系统面临的解压缩挑战 在存储系统的数据服务层中,通常需要进行一定的压

    2024年02月01日
    浏览(53)
  • 【操作宝典】VSCode解锁指南:释放潜能的详细教程!

    目录 📖前言 🚀 1 配置node.js 🚀2. 使用脚本测试vue项目 🚀3. VSCode运行vue 🚀4. VSCode引入elementUI 🌟4.1 显示OPENSSL错误 Visual Studio Code(简称VSCode)是由Microsoft开发的一款免费、轻量级、开源的代码编辑器。以下是VSCode的一些主要特点: 跨平台性: VSCode支持Windows、macOS和Linux操

    2024年02月04日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包