阿里云-数据仓库-全链路大数据开发治理平台-DataWorks的数字世界

这篇具有很好参考价值的文章主要介绍了阿里云-数据仓库-全链路大数据开发治理平台-DataWorks的数字世界。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、前言

上文我讲到 阿里云-数据仓库-数据分析开发神器-ODPS ,今天我带领大家一起走进神器的成长环境及它的数据世界。

二、 DataWorks是什么

DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎,为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。
它是数据工场,集成提供对ODPS数据进行加工处理,主要提供了:数据集成、数据开发、数据管理、数据治理、数据分享等功能。

三、产品架构

通过智能数据建模、全域数据集成、高效数据生产、主动数据治理、全面数据安全、数据分析服务六大全链路数据治理的能力,帮助企业治理内部不断上涨的“数据悬河”,释放企业的数据生产力。
datawoks 技术架构,云平台实战,大数据,数据仓库,阿里云,云计算,数据分析

3.1 、智能数据建模

智能数据建模 是 依托阿里巴巴十多年来数仓建模方法论的最佳实践凝聚形成 ,里面包含数仓规划、数据标准、维度建模及数据指标四大模块,可以帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的能力,并通过数据建模快速构建企业数据资产。

datawoks 技术架构,云平台实战,大数据,数据仓库,阿里云,云计算,数据分析
DataWorks智能建模 引入后带来的好处:
1、海量数据的标准化管理;
2、业务数据互联互通,打破信息壁垒;
可以打破 公司内部各业务、各部门之间信息孤岛,快速地了解公司各类数据情况,动态及时的数据为 企业决策层 做业务决策提供数据参考。
3、数据统一标准化整合,统一灵活对接;
4、 在最大程度上用好企业各类数据,使企业数据价值最大化,为企业提供更高效的数据服务。

3.2 全域数据集成

DataWorks数据集成提供稳定高效、弹性伸缩的数据同步平台,实现数据自由离线或实时流动,致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。
1、丰富的异构数据源
支持关系型数据库、文件存储、大数据存储、消息队列等50种数据源
不限制链路,读写插件都支持
2、离线、实时同步全场景覆盖
全增量一体化实时同步,全量增量数据自动合并
支持分库分表离线实时同步
3、齐备的网络解决方案
提供所有网络场景下的同步解决方案
支持跨产品、跨账号、跨云、数据同步

datawoks 技术架构,云平台实战,大数据,数据仓库,阿里云,云计算,数据分析

3.3、 高效数据开发

DataWorks数据开发(DataStudio)与运维中心面向各引擎(MaxCompute/Hologres/EMR/CDP等)提供可视化开发的主界面,赋予用户智能代码开发、多引擎混编工作流、规范化任务发布的强大能力,让用户轻松构建离线数仓、实时数仓与即席分析系统,保证数据生产的高效与稳定。

1、DataStudio支持MaxCompute、EMR、CDH、Hologres、AnalyticDB、Clickhouse等多种计算引擎,支持在统一的平台上进行各类引擎任务的开发、测试、发布和运维等操作。
2、DataStudio支持智能编辑器、可视化依赖编排,调度能力经过阿里集团内调度任务、复杂业务依赖的反复验证。
3、DataStudio提供隔离的开发和生产环境,结合版本管理、代码评审、冒烟测试、发布管控、操作审计等配套功能,帮助企业规范地完成数据开发。
4、运维中心支持数据时效性保障、任务诊断、影响分析、自动运维、移动运维等功能。datawoks 技术架构,云平台实战,大数据,数据仓库,阿里云,云计算,数据分析

3.4 、 主动数据治理

DataWorks数据治理包含数据治理中心、数据质量、数据地图等多个产品,覆盖事前、事中、事后的数据生命周期,通过数据治理健康分、质量规则、数据大血缘等能力,将书面的数据治理规范落地成平台化的产品能力,让数据治理不再一个 “阶段性项目”,而是一个“可持续的运营项目”。
datawoks 技术架构,云平台实战,大数据,数据仓库,阿里云,云计算,数据分析

3.5 、快速分析服务

DataWorks数据分析与服务旨在为企业提供全面的数据分析与服务共享能力。
数据分析基于“人人都是数据分析师”的产品目标,旨在为更多非专业数据开发人员,如数据分析、产品、运营等工作人员提供更加简洁高效的取数、用数工具,提升大家日常取数分析效率。

1、简单快速的数据分析
支持MaxCompute、Hologres、EMR等多种数据源自助SQL查询,支持电子表格直接进行快速预览,数据的上传与下载。
2、零代码快速构建API数据服务
支持通过可视化的向导模式生成API,也支持通过SQL脚本模式编写复杂查询逻辑生成API
3、高效的服务编排
提供拖拽式的工作流编排能力,以串、并行和分支等结构编排多个API及函数服务为工作流,创建复杂API
datawoks 技术架构,云平台实战,大数据,数据仓库,阿里云,云计算,数据分析

四、DataWorks开发模式及其它功能区说明

DataWorks 目前提供简单模式标准模式二种。
二种 工作空间模式中 简单模式可以升级标准模式,但标准模式无法升级简单模式,具体原因 阅读完下面内容大家自会明白。

简单模式
简单模式不区分开发与生产环境,开发的代码可以直接进入运维中心上线调度自动运行。
datawoks 技术架构,云平台实战,大数据,数据仓库,阿里云,云计算,数据分析
标准模式
标准模式工作空间,可隔离开发环境与生产环境,
采用二套计算引擎(项目、实例或数据库)隔离分开,开发的代码任务需要先提交至开发环境,再执行发布操作,将任务发布至生产环境,才可以自动调度运行任务。

datawoks 技术架构,云平台实战,大数据,数据仓库,阿里云,云计算,数据分析

新建调度资源

一般进行简单的数据分析只需要默认的调度资源就满足业务需求(目前的模式就是按量付费)
需要进行特殊操作或引用第三方组件、程序时 数据集成、数据操作时会用到自定义资源。
datawoks 技术架构,云平台实战,大数据,数据仓库,阿里云,云计算,数据分析

新增数据源

DataWorks空间:选择项目 -> 选择数据集成 -> 同步资源管理 -> 数据源
datawoks 技术架构,云平台实战,大数据,数据仓库,阿里云,云计算,数据分析

批量数据上云入库

DataWorks空间:-> 选择数据集成 -> 同步资源管理 -> 数据源 -> 整库数据迁移

也可针对指定表进行同步:
datawoks 技术架构,云平台实战,大数据,数据仓库,阿里云,云计算,数据分析

可视化的开发界面

datawoks 技术架构,云平台实战,大数据,数据仓库,阿里云,云计算,数据分析
支持通过拖拉拽的方式构建任务流程,在统一的界面进行数据开发和调度配置。
该界面为数据分析日常开发最重要界面。

运维中心

运维中心支持数据时效性保障、任务诊断、影响分析、自动运维、移动运维等功能。
datawoks 技术架构,云平台实战,大数据,数据仓库,阿里云,云计算,数据分析

数据地图

DataWorks空间:单击左上角的图标,选择全部产品 > 数据地图。
默认进入数据地图首页,我们可以在该页面输入关键字搜索需要的表,并可以查看近期浏览和近期读取的表,以及基于您的访问记录推荐的热门浏览和热门读取。

datawoks 技术架构,云平台实战,大数据,数据仓库,阿里云,云计算,数据分析
我们可以根据项目找到自己需要的表,单击全部数据。
在左侧项目下拉框中选择相应的项目,即可查看该项目下的表和EMR表。也可以对相应的表进行收藏、申请权限、查看血缘和查看SQL等操作。

如果查看工作空间的整体情况,请单击数据总览。
如果需要修改拥有的表等,请单击我的数据。
datawoks 技术架构,云平台实战,大数据,数据仓库,阿里云,云计算,数据分析文章来源地址https://www.toymoban.com/news/detail-778110.html

到了这里,关于阿里云-数据仓库-全链路大数据开发治理平台-DataWorks的数字世界的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 数据治理-数据仓库环境

            数据仓库环境包括一系列组织起来以满足企业需求的架构组件,从源系统流动到数据暂存区,数据可以在这里被清晰,当数据集成并存储在数据仓库或操作数据存储中时,可以对其进行补充丰富。在数据仓库中,可以通过数据集市或数据立方体访问数据,生成各种

    2024年02月07日
    浏览(37)
  • 阿里云DataWorks介绍

    🍓 前几篇博客中,我们讲到阿里云的MaxComputer,今天我们继续学习阿里云的DataWorks,对DataWorks的学习计划是写2章。对外往期内容感兴趣的小伙伴可以参考下面的内容👇: hadoop专题: hadoop系列文章. spark专题: spark系列文章. 阿里云系列: 阿里云MaxComputer SQL学习之DDL. 阿里云系列

    2024年01月21日
    浏览(40)
  • 数据治理-数据仓库和商务智能

            数据仓库建设的主要驱动力是运营支持职能、合规需求和商务智能活动。 支持商务智能活动 赋能商业分析和高效决策 基于数据洞察寻找创新方法。 聚焦业务目标 以终为始 全局性的思考和设计,局部性的行动和建设 总结并持续优化 提升透明度和自助服务 与数据仓

    2024年02月10日
    浏览(38)
  • 阿里云dataworks离线同步

    用公网ip,从本地mysql数据库到另一个本地mysql数据库,在dataworks上配置离线同步和调度任务 阿里云登录 1、进入dataworks 2、进入控制台 3、选择数据开发 4、配置数据源 选择mysql数据源 连接串模式 测试连通性 5、配置任务调度 新建虚拟节点 创建离线同步 配置调度 配置增量 按

    2024年02月11日
    浏览(42)
  • 数据仓库内容分享(四):滴滴大数据成本治理实践

    目录 01 滴滴大数据成本治理总体框架 1. 滴滴数据体系 2. 滴滴大数据资产管理平台 3. 滴滴大数据成本治理总体框架 02 Hadoop 成本治理实践 03 ES 成本治理实践 04 一些心得 在介绍滴滴成本治理之前,首先来简单介绍一下滴滴的数据体系。 最底层是以数据引擎为基础的数据存

    2024年02月20日
    浏览(44)
  • 阿里云ascm账号创建及dataworks/oss授权操作

    云平台管理员fsdc_admin登录ascm 企业—角色管理-创建自定义角色 2.1名称及管理权限设置 查看用户、查看用户AccessKey 2.2应用权限设置 查看Bucket 查看MaxCompute项目 2.3菜单权限设置 对象存储OSS 大数据计算MaxComputer 点击创建角色 企业—用户管理-创建 查看初始密码: dw授权范围:

    2024年02月05日
    浏览(42)
  • 数字孪生 | 04 三维模型的数据治理

    今天是数字孪生系列话题第4篇,聊聊三维模型数据治理那些事。 近几年,数字孪生、智慧城市、智慧园区、智慧工厂、元宇宙等热词不断地出现在这我们的视野中,而这些又都离不开三维模型,我们在执行项目的时候,特别是报价的阶段我们就经常被客户问到你这个模型的

    2024年02月15日
    浏览(44)
  • 平台治理开发中的安全漏洞扫描与修复

    在今天的快速发展的互联网世界中,平台治理开发已经成为软件开发的不可或缺的一部分。随着软件系统的复杂性不断增加,安全漏洞的发生也变得越来越容易。因此,安全漏洞扫描和修复在平台治理开发中扮演着至关重要的角色。本文将从多个角度深入探讨平台治理开发中

    2024年02月20日
    浏览(56)
  • 大宗商品贸易集团数据治理实践,夯实数字基座 | 数字化标杆

    某大型央企是首批全国供应链创新与应用示范企业,在“十四五”规划期内以聚焦供应链管理核心主业作为主要战略发展方向。供应链运营管理以大宗商品贸易为主,其交易往往具有交易量巨大、交易环节复杂、风险交易难识别、风险客商难管控等痛点。 随着集团数字化转型

    2024年02月05日
    浏览(52)
  • 数据治理管理平台——数据资产管理

    数据治理 中的资产管理是一切治理活动的起点,在数据治理活动中,占据首要地位,只有将数据真正地资产化,才能有序进行后续的深入挖掘与研究。 数据资产管理作为数据治理的重要组成部分,有效地将数据规范管理和数据处理进行能力整合,实现对具体数据的元数据描

    2024年02月15日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包