【数据网格架构】数据网格架构模式

这篇具有很好参考价值的文章主要介绍了【数据网格架构】数据网格架构模式。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

企业数据网格正在彻底改变企业管理数据的方式。什么是基础数据网格模式?

数据网格模式


企业数据网格正在成为一种独特且引人注目的方式来管理企业内的数据。它将“产品思维”引入企业数据管理,同时在企业中实现更高水平的敏捷性和数据治理。它创造了一种“自助服务”能力,具有近乎实时的数据同步,从而为实时数字企业奠定了基础。
但是,唉,没有单一的产品可以为您带来数据网格。相反,企业的数据网格由许多常用组件组成(请参阅下一节数据网格架构回顾)。
但成功的关键是了解这些组件如何相互作用。在本文中,我将使用架构模式来描述这些交互。

数据网格架构回顾


企业数据网格由许多组件组成(更多详细信息可在此处、此处和此处获得)。数据产品是数据网格中的主要构建块,包含使用企业的数据网格在整个组织中同步的运营、分析和/或参与数据。API 用于访问数据产品中的数据。为了支持联合治理,每个数据产品都包含一个记录数据更改的审计日志和一个它管理的数据目录。
一个企业的数据网格有很多数据产品。数据产品订阅彼此的数据,这样当一个数据产品更改其数据时,此更改会使用更改数据捕获和事件流主干传达给其他数据产品。
最后,企业数据目录(所有数据产品目录和数据更改的同步聚合)用于使任何用户或开发人员轻松查找、使用和管理整个企业的任何数据,同时也为理解提供了基础整个企业的数据沿袭。

【数据网格架构】数据网格架构模式

  • Figure 1, Enterprise Data Mesh Architecture

我们将在本文中描述以下架构模式:

  • 变更数据捕获 (CDC)

  • 事件流主干(Event Streaming Backbone) 

  • 数据产品目录 (Data Product Catalog )

  • 企业数据产品目录 (Enterprise Data Product Catalog )

  • 不可变的变更/审计日志 (Immutable Change / Audit Log )

数据网格模式:变更数据捕获 

如今,很难在服务和应用程序边界之间安全、可靠和一致地交付数据。有两种方法可以应对这一挑战。首先,可以使用“两阶段提交”(2PC) 等协议跨多个数据库同步更新数据,但这种方法通常复杂且成本高,并且通常保留用于保持多个数据源同步绝对关键的情况.
第二种方法是立即更新主数据库,同时在将来更新辅助数据库(但不在事务范围内)。当更新主数据库和辅助数据库之间的时间跨度超过预期时,就会出现问题。
变更数据捕获 (CDC) 是企业数据网格用来应对这一挑战的基础组件。CDC 通过在数据库的事务日志中捕获和发布条目来工作,但最重要的是,它在原始事务之外不显眼地执行此操作。这意味着 CDC 透明地捕获操作(或分析)数据的变化,而不会影响原始应用程序或事务流。
(注意:这里有更多详细信息供那些寻找有关 CDC 如何在企业中工作的详细信息的人使用)

【数据网格架构】数据网格架构模式

  • Figure 2, Data Mesh Pattern: Change Data Capture

但是 CDC 对捕获的“事件”做了什么。在 Enterprise Data Mesh 中,它将事件发布到 Event Streaming Backbone(下一个模式),以便在整个企业中分发。

数据网格模式:事件流主干


Event Streaming Backbone 在企业数据网格中分发事件。事件通常来自应用程序、API,在我们的例子中,也来自 CDC。然而,特别重要的是,任何已发布的事件都可以被任何其他订阅实体安全、可靠且近乎实时地使用。

【数据网格架构】数据网格架构模式

  • Figure 3, Data Mesh Pattern: Event Streaming Backbone

Event Streaming Backbone 中有几个核心托管实体:
由 JSON 模式定义的事件分布在企业数据网格中。

  • 主题用于在整个企业中排队和分发事件;企业数据网格通过允许许多实体发布和使用事件来使用类似于队列的众所周知的主题。

  • 生产者将事件发布到主题;企业数据网格中的生产者可能是 API、应用程序或 CDC。

  • 消费者消费来自主题的事件。企业数据网格中的消费者可以是订阅主题并在事件可用于处理时收到通知的任何实体或应用程序。

  • 事件流处理器可以按事件处理事件,也可以按时间窗口聚合事件,从而在企业数据网格中实现非常复杂和强大的分析技术。

  • 经纪人管理上述组件,以确保整个企业数据网格中安全可靠的事件通信。

数据网格模式:数据产品目录


他们说,数据是新的黄金和采矿,它将带来巨大的洞察力和财富。但在当今的大多数企业中,数据散布在组织中的许多组中。销售拥有客户数据,分销拥有供应链,财务拥有交易和账户。
不幸的是,这使得查找数据变得非常困难,而且一旦找到,就更难以将它们整合在一起以做出全面的业务决策。结果是:决策缓慢、代价高昂且不知情。
数据产品目录 (DPC) 包含有关数据产品的数据(“元数据”)的信息。DPC 提供的信息使任何授权人员或应用程序都可以轻松地在企业数据网格中查找、查看和使用数据产品。DPC 提供了几个好处:

  • 通过启用本地所有权和问责制,易于管理。

  • 通过允许本地化和更快的决策制定,易于更改和发展。

  • 易于查找、查看和使用数据,使任何(授权)实体都可以轻松查找、查看和使用数据(即“自助服务”)。

【数据网格架构】数据网格架构模式

  • Figure 4, Data Mesh Pattern: Data Product Catalog

数据网格模式:企业数据产品目录


企业数据产品目录 (EDPC) 是一个从所有本地数据产品目录 (DPC) 聚合元数据的存储库。企业数据目录用于存储有关在企业数据网格中维护的所有数据的信息和统计数据(元数据),从而可以轻松查找、查看、使用和管理数据:

  • 数据科学家使用 EDPC 来查找企业中可用于训练模型的数据位置。

  • 业务用户使用 EDPC 来查找业务决策所需的信息。

  • 开发人员使用 EDPC 来了解其应用程序所需的数据结构。

  • Governance Professionals 使用 EDPC 来理解和监控整个企业的数据,从而在企业数据网格内实现联合计算治理。

【数据网格架构】数据网格架构模式

Figure 5, Data Mesh Pattern: Enterprise Data Product Catalog

数据网格模式:不可变变更/审计日志


了解数据的沿袭——定义为数据经历的变化的汇总列表——对于治理和监管目的至关重要。为什么这很重要?考虑今天的一个常见情况:人工智能/机器学习的出现现在是企业必备的能力。数据科学家使用复杂的模型来支持和做出关键的业务决策。
然而,在许多企业中,尤其是医疗保健和金融企业,这些模型的实际可行性取决于满足监管机构对可重复性和可追溯性要求的能力(更多信息可在此处和此处获得)。不幸的是,大多数企业没有能力以审计人员或监管机构要求的方式跟踪数据沿袭。
企业数据网格的不可变变更/审计日志通过在企业数据网格中保留历史数据更改以供未来审计和治理之用,从而满足了这一需求。本地数据 产品更改/审核日志会在数据发生任何数据更改时自动更新。然后将这些日志传播到企业数据产品目录 (EDPC),以便整合企业中数据更改的历史记录。
换句话说,EDPC 包含企业数据网格中所有元素的数据沿袭。EDPC 使用此数据提供元数据的可搜索索引——其中明确包括对每个数据产品的不可变更改/审计日志的引用——允许轻松找到和确认数据沿袭。

【数据网格架构】数据网格架构模式

  • Figure 6, Data Mesh Pattern: Immutable Change/Audit Log

结论性想法


企业数据网格正在成为实时数字企业的基础推动者。架构模式提供了一种既定的方式来描述数据网格交互。虽然没有现成的可用工具,但构建您自己的组织数据网格的第一步是了解启用数据网格的基础模式。
希望本文为您提供必要的洞察力来启动您自己的企业数据网格!

本文 :https://architect.pub/data-mesh-architecture-patterns
讨论:知识星球【首席架构师圈】或者加微信小号【ca_cto】或者加QQ群【792862318】
公众号
 
【jiagoushipro】
【超级架构师】
精彩图文详解架构方法论,架构实践,技术原理,技术趋势。
我们在等你,赶快扫描关注吧。
微信小号
 
【ca_cea】
50000人社区,讨论:企业架构,云计算,大数据,数据科学,物联网,人工智能,安全,全栈开发,DevOps,数字化.
 
QQ群
 
【285069459】深度交流企业架构,业务架构,应用架构,数据架构,技术架构,集成架构,安全架构。以及大数据,云计算,物联网,人工智能等各种新兴技术。
加QQ群,有珍贵的报告和干货资料分享。
视频号 【超级架构师】
1分钟快速了解架构相关的基本概念,模型,方法,经验。
每天1分钟,架构心中熟。
知识星球 【首席架构师圈】向大咖提问,近距离接触,或者获得私密资料分享。  
喜马拉雅 【超级架构师】路上或者车上了解最新黑科技资讯,架构心得。 【智能时刻,架构君和你聊黑科技】
知识星球 认识更多朋友,职场和技术闲聊。 知识星球【职场和技术】
领英 Harry https://www.linkedin.com/in/architect-harry/
领英群组 领英架构群组 https://www.linkedin.com/groups/14209750/
微博‍‍ 【超级架构师】 智能时刻‍
哔哩哔哩 【超级架构师】
抖音 【cea_cio】超级架构师
快手 【cea_cio_cto】超级架构师
小红书 【cea_csa_cto】超级架构师  
网站 CIO(首席信息官) https://cio.ceo
网站 CIO,CTO和CDO https://cioctocdo.com
网站 架构师实战分享 https://architect.pub   
网站 程序员云开发分享 https://pgmr.cloud
网站 首席架构师社区 https://jiagoushi.pro
网站 应用开发和开发平台 https://apaas.dev
网站 开发信息网 https://xinxi.dev
网站 超级架构师 https://jiagou.dev
网站 企业技术培训 https://peixun.dev
网站 程序员宝典 https://pgmr.pub    
网站 开发者闲谈 https://blog.developer.chat
网站 CPO宝典 https://cpo.work
网站 首席安全官 https://cso.pub    ‍
网站 CIO酷 https://cio.cool
网站 CDO信息 https://cdo.fyi
网站 CXO信息 https://cxo.pub

谢谢大家关注,转发,点赞和点在看。文章来源地址https://www.toymoban.com/news/detail-501237.html

到了这里,关于【数据网格架构】数据网格架构模式的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 数据治理-数据架构-企业架构类型

            数据架构的设计及实施与其他架构紧密相关,企业架构包括业务架构、数据架构、应用架构和技术架构。该四类架构的具体描述和比较,如表格所示,不同类型的架构师除了致力于自己所属的架构设计和实施工作外,还必须了解与其紧密关联的架构需求,因为每个架

    2024年02月09日
    浏览(32)
  • 有哪些企业正在探索人工智能相关的业务?

    作者:禅与计算机程序设计艺术 近年来,随着互联网、计算机科学技术等领域的快速发展,越来越多的人们逐渐认识到人工智能将对社会产生深远的影响。人工智能可以帮助我们解决很多实际问题,比如智能电视、智能音箱、自动驾驶、疫情防控等,但同时也面临着很多挑战

    2024年02月06日
    浏览(43)
  • 架构设计内容分享(二百零一):什么是数据仓库的架构?企业数据仓库架构如何建设?

    目录 企业数据仓库架构 单层架构(直连) 两层数据架构(数据集市层) 三层架构(OLAP) 数据仓库数据库 1、采用传统关系型数据库,或经过功能扩展的MPP数据库 2、大数据平台架构:Hadoop+Hive 采集、收集、清洗和转换工具(ETL) 1、抽取 2、清洗 3、转化和加载 前端应用工具

    2024年02月21日
    浏览(34)
  • 企业架构NOSQL数据库之MongoDB

    目录 一、背景描述及其方案设计 (一)业务背景描述 (二)模拟运维设计方案 二、Mongodb介绍 (一)nosql介绍 (二)产品特点 1、存储性 2、 效率性 3、结构  三、安装和配置 (一)安装方式介绍 (二)二进制可执行安装 1、上传安装包到服务器目录 2、 解压到安装目录 并移

    2024年02月14日
    浏览(43)
  • 企业级大数据安全架构(四)Ranger安装

    作者:楼高 Ranger是支持审计功能的,安装时可以选择审计数据保存的位置,默认支持Solr和HDFS。HDFS的配置比较简单,这里就不赘述了,我们这里使用Ambari默认自带的Solr保存审计日志,下面部署Solr: 选择Infra Solr add service 在ambari中solr是Infra Solr 可以导出配置信息 更多技术信息

    2024年01月20日
    浏览(30)
  • 数据仓库、数据集市、数据湖,你的企业更适合哪种数据管理架构?

    建设企业级数据平台,首先需要了解企业数据,确认管理需求,并选择一个数据管理架构。那么面对纷繁复杂的数据来源,多元化的数据结构,以及他们的管理使用需求,企业数据平台建设该从何处入手呢?哪个数据管理架构适合自己的企业呢?本篇将介绍数据仓库、数据集

    2023年04月09日
    浏览(27)
  • 企业级大数据安全架构(三)修改集群节点hostname

    作者:楼高 在后续安装FreeIPA的过程中,要求机器名必须包含完整的域名信息。如果之前在Ambari集群节点上的机器名不符合这个要求,可以按照以下步骤在Ambari上修改所有节点的机器名: 1.部署节点说明 本次测试是三台 ambari 节点,主机名分别是 jz001,jz002,jz003 。 其中 amb

    2024年01月23日
    浏览(38)
  • 服务网格:Istio 架构

    服务网格(Service Mesh)这个术语通常用于描述构成这些应用程序的微服务网络以及应用之间的交互。随着规模和复杂性的增长,服务网格越来越难以理解和管理。 它的需求包括服务发现、负载均衡、故障恢复、指标收集和监控以及通常更加复杂的运维需求,例如A/B测试、金丝雀

    2024年02月11日
    浏览(41)
  • [架构之路-250/创业之路-81]:目标系统 - 纵向分层 - 企业信息化的呈现形态:常见企业信息化软件系统 - 企业内的数据与数据库

    目录 一、数据概述 1.1 数据 1.2 企业信息系统的数据 1.3 大数据 1.4 数据与程序的分离思想 1.5 数据与程序的分离做法 1.6 数据库的基本概念 1.7 企业数据来源 1.8 企业数据架构 二、常见的数据库类型 2.1 数据库分类 2.1 数据库类型 2.2 常见的数据库类型、应用场合和案例 三、数据

    2024年02月06日
    浏览(59)
  • 【大数据&AI人工智能】企业级大数据产品体系技术架构白皮书

    目录 以 One Data 为内核,“快”、“准”、“全”、“统”、“通”的智能大数据体系  DataWorks 产品架构

    2023年04月08日
    浏览(77)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包