【数据架构】Data Fabric 架构是实现数据管理和集成现代化的关键

这篇具有很好参考价值的文章主要介绍了【数据架构】Data Fabric 架构是实现数据管理和集成现代化的关键。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

D&A 领导者应该了解数据编织架构的关键支柱,以实现机器支持的数据集成。

在日益多样化、分布式和复杂的环境中,数据管理敏捷性已成为组织的任务关键优先事项。为了减少人为错误和总体成本,数据和分析 (D&A) 领导者需要超越传统的数据管理实践,转向现代解决方案,例如支持人工智能的数据集成

“被称为“数据编织”的新兴设计概念可以成为应对一直存在的数据管理挑战的强大解决方案,例如高成本和低价值的数据集成周期、早期集成的频繁维护、对实时性不断增长的需求和事件驱动的数据共享等等,”Gartner 杰出副总裁分析师 Mark Beyer 说。

什么是数据编织?


Gartner 将数据编织定义为一种设计概念,它充当数据和连接过程的集成层(结构)。数据编织利用对现有、可发现和推断的元数据资产的持续分析,以支持跨所有环境(包括混合云和多云平台)设计、部署和利用集成和可重用数据。

Data Fabric 利用人和机器的能力来访问数据或在适当的情况下支持其整合。它不断地识别和连接来自不同应用程序的数据,以发现可用数据点之间独特的、与业务相关的关系。该洞察支持重新设计的决策制定,通过快速访问和理解提供比传统数据管理实践更多的价值。

例如,使用数据编织的供应链领导者可以更快地将新遇到的数据资产添加到供应商延迟和生产延迟之间的已知关系中,并使用新数据(或为新供应商或新客户)改进决策。

将数据编织视为自动驾驶汽车


考虑两种情况。首先,驾驶员积极主动并全神贯注于路线,汽车的自主元素干预最少或没有干预。第二,司机稍显懒惰,注意力不集中,汽车立即切换到半自动模式并进行必要的路线修正。

这两种情况都总结了 Data Fabric 的工作原理。它首先以被动观察者的身份监控数据管道,并开始提出更有成效的替代方案。当数据“驱动程序”和机器学习都对重复的场景感到满意时,它们会通过自动化即兴任务(耗费太多人工时间)来相互补充,同时让领导层可以自由地专注于创新。

D&A 领导者需要了解的有关数据编织的知识

  • Data Fabric 不仅仅是传统和现代技术的结合,而是一种改变人类和机器工作负载重点的设计理念。

  • 实现数据编织设计需要新的和即将到来的技术,例如语义知识图、主动元数据管理和嵌入式机器学习 (ML)。

  • 该设计通过自动执行重复性任务(例如分析数据集、发现模式并将其与新数据源对齐)以及最先进的修复失败的数据集成作业来优化数据管理。

  • 没有现有的独立解决方案可以促进成熟的数据编织架构。D&A 领导者可以通过混合构建和购买的解决方案来确保强大的数据编织架构。例如,他们可以选择一个有前景的数据管理平台,该平台具有将数据编织拼接在一起所需的 65-70% 的功能。缺少的功能可以通过本土解决方案来实现。

D&A 领导者如何确保数据编织架构能够提供业务价值?


为了通过数据编织设计提供业务价值,D&A 领导者应确保坚实的技术基础,确定所需的核心能力,并评估现有的数据管理工具。

以下是 D&A 领导者必须了解的数据编织架构的关键支柱。

No 1. Data Fabric 必须收集和分析所有形式的元数据


上下文信息为动态数据编织设计奠定了基础。应该有一种机制(如连接良好的元数据池),使 Data Fabric 能够识别、连接和分析各种元数据,例如技术、业务、运营和社交。

【数据架构】Data Fabric 架构是实现数据管理和集成现代化的关键,架构,fabric,运维,数据架构,数据编织架构

No 2. Data Fabric 必须将被动元数据转换为主动元数据


对于数据的无摩擦共享,企业激活元数据非常重要。为此,Data Fabric 应该:

持续分析关键指标和统计数据的可用元数据,然后构建图形模型。
基于元数据的独特和业务相关关系,以易于理解的方式以图形方式描述元数据。
利用关键元数据指标启用 AI/ML 算法,随着时间的推移学习并产生有关数据管理和集成的高级预测。
下载电子书:决策的未来

No 3. Data Fabric 必须创建和管理知识图谱


知识图谱使数据和分析领导者能够通过语义丰富数据来获得业务价值。

知识图谱的语义层使其更加直观和易于解释,使 D&A 领导者的分析变得容易。它为数据使用和内容图增加了深度和意义,允许 AI/ML 算法将信息用于分析和其他操作用例。

数据集成专家和数据工程师经常使用的集成标准和工具可以确保轻松访问和交付知识图。D&A 领导者应该利用这一点;否则,Data Fabric 的采用可能会面临许多中断。

No 4. Data Fabric 必须具有强大的数据集成主干


Data Fabric 应兼容各种数据交付方式(包括但不限于 ETL、流式传输、复制、消息传递和数据虚拟化或数据微服务)。它应该支持所有类型的数据用户——包括 IT 用户(用于复杂的集成需求)和业务用户(用于自助数据准备)。

本文 :https://architect.pub/data-fabric-architecture-key-modernizing-data-management-and-integration
讨论:知识星球【首席架构师圈】或者加微信小号【ca_cto】或者加QQ群【792862318】
公众号
 
【jiagoushipro】
【超级架构师】
精彩图文详解架构方法论,架构实践,技术原理,技术趋势。
我们在等你,赶快扫描关注吧。
微信小号
 
【ca_cea】
50000人社区,讨论:企业架构,云计算,大数据,数据科学,物联网,人工智能,安全,全栈开发,DevOps,数字化.
 
QQ群
 
【285069459】深度交流企业架构,业务架构,应用架构,数据架构,技术架构,集成架构,安全架构。以及大数据,云计算,物联网,人工智能等各种新兴技术。
加QQ群,有珍贵的报告和干货资料分享。
视频号 【超级架构师】
1分钟快速了解架构相关的基本概念,模型,方法,经验。
每天1分钟,架构心中熟。
知识星球 【首席架构师圈】向大咖提问,近距离接触,或者获得私密资料分享。  
喜马拉雅 【超级架构师】路上或者车上了解最新黑科技资讯,架构心得。 【智能时刻,架构君和你聊黑科技】
知识星球 认识更多朋友,职场和技术闲聊。 知识星球【职场和技术】
领英 Harry https://www.linkedin.com/in/architect-harry/
网站 CIO(首席信息官) https://cio.ceo
网站 CIO,CTO和CDO https://cioctocdo.com
网站 架构师实战分享 https://architect.pub   
网站 程序员云开发分享 https://pgmr.cloud
网站 首席架构师社区 https://jiagoushi.pro
网站 应用开发和开发平台 https://apaas.dev
网站 开发信息网 https://xinxi.dev
网站 超级架构师 https://jiagou.dev
网站 企业技术培训 https://peixun.dev
网站 程序员宝典 https://pgmr.pub    
网站 开发者闲谈 https://blog.developer.chat
网站 CPO宝典 https://cpo.work
网站 首席安全官 https://cso.pub    ‍
网站 CIO酷 https://cio.cool
网站 CDO信息 https://cdo.fyi
网站 CXO信息 https://cxo.pub

谢谢大家关注,转发,点赞和点在看。文章来源地址https://www.toymoban.com/news/detail-601683.html

到了这里,关于【数据架构】Data Fabric 架构是实现数据管理和集成现代化的关键的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Java项目:基于SSM框架实现同城蔬菜配送管理系统(SSM+B/S架构+源码+数据库+毕业论文)

    本项目是一套ssm825基于SSM框架实现同城蔬菜配送管理系统,主要针对计算机相关专业的正在做毕设的学生与需要项目实战练习的Java学习者。 包含:项目源码、数据库脚本等,该项目附带全部源码可作为毕设使用。 项目都经过严格调试,eclipse或idea 确保可以运行! 该系统功能

    2024年01月25日
    浏览(58)
  • Docker数据管理之三种方式- 数据卷(Volumes)- 挂载主机目录(Bind mounts)- 数据卷容器(Data Volume Containers)

    文章主人公:帅哥BUG😎 文章路人: 路人  🤨   路人  😛 😎: docker在容器中管理数据主要有三种方式哦~ 🤨:  啊!,我记得docker在容器中管理数据主要方式是这两种吧  - 数据卷(Volumes) - 挂载主机目录(Bind mounts)      😛:  额,主要的方式是这两种?我怎么记得是这

    2024年02月05日
    浏览(76)
  • 【参天引擎】华为参天引擎内核架构源码架构,多线程服务,数据节点管理,多节点间元数据管理

    ​ 专栏内容 : 参天引擎内核架构 本专栏一起来聊聊参天引擎内核架构,以及如何实现多机的数据库节点的多读多写,与传统主备,MPP的区别,技术难点的分析,数据元数据同步,多主节点的情况下对故障容灾的支持。 手写数据库toadb 本专栏主要介绍如何从零开发,开发的

    2024年02月03日
    浏览(38)
  • 【数据管理架构】什么是 OLAP?

    作为数据仓库实施的核心组件,OLAP 为商业智能 (BI) 和决策支持应用程序提供快速、灵活的多维数据分析。 OLAP(用于在线分析处理)是一种软件,用于对来自数据仓库、数据集市或其他一些统一的集中式数据存储的大量数据进行高速多维分析。 大多数业务数据都有多个维度

    2024年02月09日
    浏览(47)
  • 【大数据】Flink 架构(四):状态管理

    《 Flink 架构 》系列(已完结),共包含以下 6 篇文章: Flink 架构(一):系统架构 Flink 架构(二):数据传输 Flink 架构(三):事件时间处理 Flink 架构(四):状态管理 Flink 架构(五):检查点 Checkpoint(看完即懂) Flink 架构(六):保存点 Savepoint 😊 如果您觉得这篇

    2024年02月19日
    浏览(44)
  • 第四单元 管理数据库架构

    EF Core 提供两种主要方法来保持 EF Core 模型和数据库架构同步。至于我们应该选用哪个方法,请确定你是希望以 EF Core 模型为准还是以数据库为准。 如果希望以 EF Core 模型为准,请使用 迁移 。 对 EF Core 模型进行更改时,此方法会以增量方式将相应架构更改应用到数据库,以

    2024年02月05日
    浏览(60)
  • 数据仓库、数据集市、数据湖,你的企业更适合哪种数据管理架构?

    建设企业级数据平台,首先需要了解企业数据,确认管理需求,并选择一个数据管理架构。那么面对纷繁复杂的数据来源,多元化的数据结构,以及他们的管理使用需求,企业数据平台建设该从何处入手呢?哪个数据管理架构适合自己的企业呢?本篇将介绍数据仓库、数据集

    2023年04月09日
    浏览(35)
  • 数据中台开源技术栈:一图看懂全面的数据管理与应用架构

          随着数字化时代的到来,数据管理和应用架构变得越来越重要。数据平台作为一个集中管理和利用数据的架构,为组织提供了促进数据驱动决策和业务创新的能力。本文通过一幅图表,将数据平台技术栈的组成部分清晰呈现,助您深入了解数据中台的全面数据管理与应

    2024年04月10日
    浏览(49)
  • Java项目:ssm框架基于spring+springmvc+mybatis框架的民宿预订管理系统设计与实现(ssm+B/S架构+源码+数据库+毕业论文)

    本项目是一套ssm827基于SSM框架的民宿预订管理系统设计与实现,主要针对计算机相关专业的正在做毕设的学生与需要项目实战练习的Java学习者。 包含:项目源码、数据库脚本等,该项目附带全部源码可作为毕设使用。 项目都经过严格调试,eclipse 确保可以运行! 该系统功能

    2024年01月22日
    浏览(84)
  • 【Microsoft Azure 的1024种玩法】三十. 使用Azure Data Studio之快速上手连接管理Azure SQL 数据库(一)

    Azure Data Studio 是一种跨平台的数据库工具,适合在 Windows、macOS 和 Linux 上使用本地和云数据平台的数据专业人员,Azure Data Studio 利用 IntelliSense、代码片段、源代码管理集成和集成终端提供新式编辑器体验,在本文中将会介绍到如何通过Azure Data Studio 随时随地的来在本地计算机

    2024年02月04日
    浏览(53)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包