DataWorks概述

这篇具有很好参考价值的文章主要介绍了DataWorks概述。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、DataWorks概况

1.1 定义

DataWorks 是基于MaxCompute计算引擎的一站式开发工场,帮助企业快速完成数据集成、开发、治理、质量、安全等全套数据研发工作。

1.2 功能

1.数据集成

能够支持多种异构数据源之间数据高速稳定的数据移动及数据同步。

2.可视化数据开发

帮助用户获得更加清晰的开发逻辑,SQL智能编辑器能够带来更人性化的开发体验,可视化开发界面,简单易上手。

3.强大调度功能

支持根据时间、依赖关系,进行任务触发的机制;

支持每日千万级别的任务,根据DAG关系准确、准时地运行;

支持分钟、小时、天、周和月多种调度周期配置。

4.数据服务

帮助用户实现数据API快速生成和注册服务。

5.可视化运维

提供上下游关系梳理、运行日志、补数据等完善的任务运维。

6.数据资产管理

包括元数据管理、数据血缘、数据资产大图等。

7.数据质量

数据质量探查、监控、校验和评分体系。

8.数据安全

数据权限管理,数据的分级达标、脱敏、以及数据的审计。

1.3 与MaxCompute的关系

DataWorks就是基于MaxCompute的PaaS平台,可以简单理解为DataWorks是一个web形式的开发管理工具,而MaxCompute作为存储计算引擎,扮演了IaaS层支撑的角色。我们可以通过DataWorks来用MaxCompute。

MaxCompute 和DataWorks一起向用户提供完善的ETL和数仓管理能力,以及SQL、MR、Graph等多种经典的分布式计算模型,能够更快速地解决用户海量数据计算问题,有效降低企业成本,保障数据安全。

DataWorks概述

Maxcompute中的盘古就相当于Hadoop中的HDFS;

Maxcompute中伏羲就相当于Hadoop中的Yarn;

Maxcompute中MaxCompute Engine 就相当于Hadoop中的MapReduce。

二、基于DataWorks与MaxCompute构建云数仓

DataWorks概述

数据采集:DataX、DataHub、RDS

数据存储与计算:MaxCompute、DataWorks

数据可视化: QuickBI

一站式大数据开发治理DataWorks学习

大数据开发治理平台 DataWorks产品文档
大数据开发治理平台 DataWorks体验馆
一站式大数据开发治理DataWorks使用宝典
一站式大数据开发治理DataWorks学习路径
实验:全链路数据治理
实践:基于DataWorks的大数据一站式开发及数据治理


DataWorks概述

DataWorks 是什么?

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。从2009年起,DataWorks不断沉淀阿里巴巴大数据建设方法论,支撑数据中台建设,同时与数万名政务、央国企、金融、零售、互联网、能源、制造、工业等行业的客户携手,不断提升数据应用效率,助力产业数字化升级。

DataWorks概述

DataWorks 业务构架

产品定位

DataWorks致力于为数据开发者、数据分析师、数据资产管理者,打造一个具备开放自主开发与全栈数据研发能力的一站式、标准化、可视化、透明化的智能大数据全生命周期云研发平台。DataWorks赋予用户仅通过单一平台,即可实现数据传输、数据计算、数据治理、数据分享的各类复杂组合场景的能力。

同时,DataWorks持续打造符合企业级数仓、数据中台构建要求的功能模块,为企业业务的数字化转型提供支持。

产品受众

从事数据开发、算法开发等岗位的技术人员
从事销售运营、商业智能分析等岗位的业务人员
从事数据安全与合规工作的管理人员
从事数据应用开发的开发人员
把控公司核心数据资产的管理人员

核心能力

基于DataWorks,您可以获得如下能力:

  • 数据集成:复杂网络环境、丰富数据源之间的数据传输与上云。
  • 数据开发:在线批处理、流处理和机器学习等多引擎任务开发,构建复杂的调度依赖,提供开发、生产环境隔离的研发模式。
  • 实时分析(仅公共云):提供基于电子表格的快速、灵活的即时查询。
  • 数据服务:零代码快速生成Serverless化的API。
  • 数据质量:通过表级别、字段级别监控规则定义,第一时间感知脏数据。
  • 智能监控:一键实现复杂工作流的全链路监控报警配置。
  • 数据地图(公共云)/数据管理(专有云):提供强大的数据搜索、数据类目、数据血缘等能力。
  • 数据资产管理(仅专有云):统一管理整个平台的数据表、API等各类数据资产。
  • 数据安全:数据审计、数据脱敏、权限控制等能力。
    应用开发(仅公共云):基于Web端的组件拖拉拽轻松构建数据应用。
  • 工作空间管理(公共云)/平台管理(专有云):从系统层面,为管理者提供对使用DataWorks的用户(成员)权限、DataWorks底层计算引擎配置的管理能力。

总之,使用DataWorks,您不仅可以进行海量数据的离线加工分析,还能完成数据的汇聚集成、开发、生产调度与运维、离线与实时分析、数据质量治理与资产管理、安全审计、数据共享与服务、机器学习、应用搭建等覆盖大数据全生命周期的最佳实践。让数据从采集到展现、从分析到驱动应用得以一站式解决,真正实现数据业务化、业务数据化。


数据治理的概念、需求层次和目标

对于数据治理概念的一些基本理解

当我们在谈论数据治理时,经常会跟数据管理这一概念一起讨论。DataWorks设计数据治理产品功能时,参考的主要也是数据管理领域内的三大理论依据:第一个是数据管理协会知识体系,也就是大家熟知的DAMA、DMBOK2;第二个是DCMM数据管理能力成熟度评估;第三个是信通院的数据资产管理实践白皮书。

DataWorks概述

数据治理概念

从左右这两张图对比可以看出,DMBOK和DCMM对于数据管理和数据治理的范围和定义是略微有区别的。DMBOK将数据管理划分为十大职能领域,数据治理位于最中间的位置,用于串联其十大职能领域。而DCMM将数据管理定成八大过程域,数据治理是和数据质量、数据安全并列的过程域之一。显然,业界不同的组织和群体对于数据管理和数据治理概念的理解会存在一些出入。

数据治理的需求层次

DAMS有这样的一个描述:在数据管理过程中,要保证一个组织已经将数据转换成有用的信息,这项工作所需要的流程和工具就是数据治理的工作。这里强调两个概念:第一,数据治理是数据管理的一部分;第二,数据治理的核心是流程和与之配套的工具的保障。DataWorks也是参考了这个定义,聚焦于保障与数据资产化配套的数据治理方面的需求来设计产品能力。当然产品能力建设也是一个逐步的过程,DataWorks的功能也在持续扩展中。
根据数据治理的需求,结合在阿里巴巴内部数据治理的实践过程,以及跟外部许多客户和同行的交流,我们发现企业的数字化转型阶段不同,数据治理方面的核心需求是存在差异的。抽象来看,数据治理的需求可以分为五个层次:第一层是时效性,指的是数据产出的及时性要求; 第二层是质量,数据的质量管控,治理覆盖数据的完备性,正确性,准确性等; 第三层是数据的可用,这里主要强调的是数据的共享使用,易查找,好理解,或可复用;第四层是数据安全方面的要求,比如说数据权限的申请和审批,流程的管控,敏感数据的识别和保护,以及合规性要求;第五层是数据的生产、存储和使用的成本优化控制。

DataWorks概述

五个层次

这五个层次的需求,越下面的需求相对来说越基础,需要优先满足。但随着企业数字化转型过程的加深,上层的需求就会逐步地体现出来。阿里内部也是这样的过程,在十多年前最开始的阶段,阿里优先关注的是数据任务的运行稳定,数据能及时产出,数据是正确的、可用的。当这些需求被很好地满足和保障之后,现阶段阿里内部数据治理最关注的是金字塔顶端的需求,也就是成本的考量。
当然,这五个需求层次,并不是必须逐层演进的。在一个阶段,企业很大可能会同时有不同层次的需求,只是相对而言,它关注的需求重点会有所不同。
这五个需求层级实际上也就定义出了数据治理的一个核心目标,就是企业数字化转型要最大程度地将数据资产化,来挖掘出数据的价值。在这个过程中,要满足产出的及时性,质量可靠,数据易找易用,数据安全可控以及生产经济这五个方面的要求。

数据治理的目标

在数据治理的实施策略上来说,有自下而上和自上而下两种方式。这两种方式相结合的方式在阿里内部实践验证后更行之有效。顶层用来解决全局的数据规划和组织建设,以及制度制定这些问题,为治理提供上层的赋权;而下层聚焦于核心业务流程的梳理、平台工具和运营体系的构建,为数据治理落地提供支撑。

DataWorks概述

数据治理的目标

通过自上而下和自下而上密切的结合,随后循环的演进,来进行数据治理的推动。而数据治理的需求分层,也为数据治理给出了一个启示,我们可以整体去规划数据治理的蓝图,但是需要分阶段去实施。在特定阶段,企业数据治理的诉求重点是有所区别的,建议结合企业的实际情况,关注重点层次的诉求,逐步迭代演进。

数据治理概要总结

一、数据治理是数据管理的一个核心组成部分,是数据管理过程中的流程和工具的一个支撑。
二、企业在数字化转型的不同阶段,对数据治理的需求层次是有区别的,共有五个需求层次。
三、需要一个统一的开发和治理平台来减少重复工作,提高扩展性。
四、数据治理治理的对象是数据和产出数据的任务,DataWorks的核心理念是基于数据来进行数据治理工作,用工具和平台能力服务好使用者,来推动数据治理的落地。
五、平台和引擎的技术演进,尤其是MaxCompute这个底层引擎技术的演进,是数据治理落地的一个催化剂,底层引擎的优化工作,对于成本优化是有着关键性的影响。
六、DataWorks提供了极好的开放性,如果大家有自定义数据治理方面的需求,可以通过DataWorks 的开放API、开放数据和开放消息来获取相应的数据进行自定义治理。文章来源地址https://www.toymoban.com/news/detail-406558.html

到了这里,关于DataWorks概述的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【深入MaxCompute】人力家:用MaxCompute 事务表2.0主键模型去重数据持续降本增效

    简介:  MaxCompute新增Transaction Table2.0(下文简称事务表2.0)表类型在2023年6月27日开始邀测,支持基于事务表2.0实现近实时的增全量一体的数据存储、计算解决方案。 作者: 石玉阳 人力家 高级数据研发工程师 人力家是由阿里钉钉和人力窝共同投资成立,帮助客户进入人力资源

    2024年02月10日
    浏览(38)
  • MaxCompute功能与应用

    MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库,以 Serverless 架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效的分析处理海量数据。数以万计的企业正基于 MaxCompute 进行数据计算

    2024年04月17日
    浏览(34)
  • 2023-DataWorks数仓开发手册收藏版

      1.1 数据仓库架构    目前,本数据仓库主要分为 ods,dim,dwd,dws,ads五层,按照数据流入流出的过程,数据仓库架构可分为:源数据, 数据仓库, 数据应用,具体架构如下: 源数据 :该部分数据主要是从生产数据库,线下手工数据和日志数据,集成到dataworks中,形成了数仓的

    2024年02月11日
    浏览(38)
  • MaxCompute+Dataphin企业数据中台的利器

    Dataphin是 阿里巴巴数据中台团队研发的数据中台产品 ,它用于阿里集团(含蚂蚁科技)内部的数据中台建设,即它是阿里巴巴集团自己使用的数据中台产品。。 Dataphin遵循阿里巴巴集团多年实战沉淀的大数据建设体系(OneData、OneEntity、OneService),集产品、技术、方法论于一

    2024年02月09日
    浏览(40)
  • 阿里:DataWorks一站式大数据开发治理平台

    官网: 大数据开发治理平台 DataWorks - 帮助中心 - 阿里云

    2024年02月07日
    浏览(55)
  • 区块链基础知识1:定义、原理及概述

    随着数字经济的快速发展,区块链技术逐渐崭露头角,成为推动各行各业数字化转型的重要力量。本文旨在介绍区块链的基础知识,包括其定义、原理以及应用领域,以期为读者提供一个全面而深入的了解。 区块链是一种基于去中心化、分布式、不可篡改的数据存储结构。它

    2024年04月27日
    浏览(46)
  • 阿里云原生大数据计算服务maxcompute学习体验

    这两天有兴趣学习了下阿里的maxcompute大数据,随便谈谈自己的感受。 阿里云相关的产品线太多了,热门产品一页已经放不下了。正因为东西太多给人一种杂乱的感觉,也可能这是给技术人员用的,所以不用太讲客户体验,反正给我的体验就不太好。其中还有一些名字起的不

    2024年02月16日
    浏览(37)
  • 深入MaxCompute -第十弹 -IF ELSE分支语句

    简介: MaxCompute通过脚本模式支持IF ELSE分支语句,让程序根据条件自动选择执行逻辑,支持更好的处理因数据不同而需要采用不同策略的业务场景产生的复杂SQL,提高开发者编程的灵活性! MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤

    2024年02月10日
    浏览(35)
  • 阿里云ascm账号创建及dataworks/oss授权操作

    云平台管理员fsdc_admin登录ascm 企业—角色管理-创建自定义角色 2.1名称及管理权限设置 查看用户、查看用户AccessKey 2.2应用权限设置 查看Bucket 查看MaxCompute项目 2.3菜单权限设置 对象存储OSS 大数据计算MaxComputer 点击创建角色 企业—用户管理-创建 查看初始密码: dw授权范围:

    2024年02月05日
    浏览(43)
  • ETLCloud+MaxCompute实现云数据仓库的高效实时同步

    MaxCompute是适用于数据分析场景的企业级SaaS(Software as a Service)模式云数据仓库,以Serverless架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效地分析处理海量数据。 MaxCompute提供离线

    2024年02月13日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包