数据中台实战(00)-大数据的尽头是数据中台吗?

这篇具有很好参考价值的文章主要介绍了数据中台实战(00)-大数据的尽头是数据中台吗?。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

除了支撑集团的大数据建设,团队还提供To B服务,因此我也有机会接触到一些正在做数字化转型的传统企业。从2018年末开始,原先市场上各种关于大数据平台的招标突然不见了,取而代之的是数据中台项目,建设数据中台俨然成为传统企业数字化转型的首选,甚至不少大数据领域的专家都认为,数据中台是大数据下一站。

为啥数据中台是大数据的下站?与数仓、数据湖、大数据平台啥区别?来深入大数据发展史,先从数仓出现讲起,途径数据湖,再到大数据平台,这样才能理解大数据发展的每阶段的问题,深入理解数据中台在大数据发展中的历史定位。

1 数据仓库

商业智能(Business Intelligence,BI)诞生在1990s,将企业已有数据转化为知识,帮企业经营分析决策。如零售行业门店管理,如何使单门店利润max,就要分析每个商品的销售数据和库存信息,为每个商品制定销售采购计划:

  • 有的商品存在滞销,应该降价促销
  • 有的商品比较畅销,要根据对未来销售数据的预测,提前采购

都离不开大量数据分析。

而数据分析需聚合多个业务系统的数据,如集成交易系统、仓储系统的数据,同时需保存历史数据,进行大数据量的范围查询。传统DB面向单一业务系统,主要实现面向事务的增删改查,已不满足数分场景,于是催生数据仓库。

1991年出版的《Building the Data Warehouse》中,数据仓库之父比尔·恩门(Bill Inmon)首次给出数据仓库完整定义:

数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的,不可修改的数据集合。

1.1 深入理解数据仓库四要素-电商案例

电商有:

  • DB专门存放订单数据
  • 另一DB存放会员相关数据
构建数仓

先要把不同业务系统的数据同步到一个统一的数仓,然后按主题域方式组织数据。

数据中台实战(00)-大数据的尽头是数据中台吗?,数据中台,大数据,数据仓库,原力计划

1.1.1 主题域

业务过程的一个高层抽象,像商品、交易、用户、流量都能作为一个主题域,可理解为数仓的一个目录。数仓中的数据一般按时间进行分区存放,一般保留5年以上,每个时间分区内的数据追加写,对某条记录不可更新。

1.1.2 设计方法

他和金博尔(Kimball) 共同开创的数仓建模的设计方法,对后来基于数据湖的现代数仓设计有重要意义。

自顶向下

恩门的建模方法,顶指数据来源,在传统数仓就是各业务DB。

基于业务中各实体及实体之间的关系,构建数仓。

如买家购买商品,先要理清业务过程涉及的实体。

买家、商品是一个实体,买家购买商品是一个关系。得到如下模型:

买家表:

数据中台实战(00)-大数据的尽头是数据中台吗?,数据中台,大数据,数据仓库,原力计划

商品表:

数据中台实战(00)-大数据的尽头是数据中台吗?,数据中台,大数据,数据仓库,原力计划

买家商品交易表:

数据中台实战(00)-大数据的尽头是数据中台吗?,数据中台,大数据,数据仓库,原力计划

自底向上

金博尔建模与恩门正相反,从数据分析的需求出发,拆分维度和事实:

  • 用户、商品就是维度
  • 库存、用户账户余额是事实

对应刚才完全一样的表,分别叫:

  • 用户维度表
  • 商品维度表
  • 账户余额事实表
  • 商品库存事实表
对比
  • 恩门建模从数据源开始构建,构建成本较高,适用应用场景较固定的业务,如金融领域,冗余数据少是优势

  • 金博尔建模从分析场景出发,适用变化速度较快的业务,如互联网业务。现在业务变化都快,更推荐金博尔建模法

传统数仓,第一次明确数分的应用场景应该用单独的解决方案去实现,不再依赖业务DB。模型设计上,提出数仓模型设计的方法论,为后来数分的大规模应用奠定基础。但互联网时代后,传统数仓没落,互联网技术催生大数据时代。

2 从Hadoop到数据湖

进入互联网的

2.1 重大变化

数据规模空前

一个成功的互联网产品日活过亿,抖音每天产生几千亿用户行为。传统数仓难扩展,无法承载如此规模海量数据

数据类型变得异构化

互联网数据来自:

  • 业务DB结构化数据
  • App、Web前端埋点数据或业务后端埋点日志,这些数据一般是半结构化甚至无结构。传统数仓对数据模型有严格要求,在数据导入数仓前,数据模型须事先定义好,数据须按模型设计存储

所以,数据规模和数据类型的限制,导致传统数仓无法支撑互联网BI。

谷歌互联网巨头率先开始探索,2003年开始,先后发表论文:

  • 《The Google File System》
  • 《MapReduce:Simplified Data Processing on Large Clusters》
  • 《Bigtable:A Distributed Storage System for Structed Data》

奠定现代大数据技术基础。提出新的,面向数分的海量异构数据的统一计算、存储方法。

2005年Hadoop出现,大数据技术才普及。Hadoop是论文的开源实现

2.2 Hadoop V.S 传统数仓

  • 完全分布式,易扩展,可用价格低廉机器堆出计算、存储能力强的集群,满足海量数据处理要求
  • 弱化数据格式,数据被集成到Hadoop后,可不保留任何数据格式,数据模型与数据存储分离,数据在被使用的时候,可按不同模型读取,满足异构数据灵活分析需求

随Hadoop成熟,2010年,Pentaho创始人兼CTO James Dixon在Hadoop World大会提出

2.3 数据湖(Data Lake)

以原始格式存储数据的存储库或系统。数据湖是Hadoop从开源走向商业化成熟的标志。企业可基于Hadoop构建数据湖,将数据作为企业核心资产。

但一个商用Hadoop包含20多种计算引擎, 数据研发流程多,技术门槛限制Hadoop商用化。如何让数据加工像工厂,直接在设备流水线完成?

3 数据工厂:大数据平台

3.1 数据开发流程

  • 先将数据导入大数据平台
  • 再按需求进行数据开发
  • 开发完成后,数据验证比对,确认是否符合预期
  • 把数据发布上线,提交调度
  • 日常任务运维,确保任务每日能够正常产出数据

若无高效平台,就跟写代码没有IDE,别人完成十个需求,你一个需求都完成不了。

大数据平台就是为提高数据研发效率,降低数据研发门槛,让数据在一个设备流水线快速完成加工。

大数据平台面向数据研发场景,覆盖数据研发的完整链路的数据工作台

数据中台实战(00)-大数据的尽头是数据中台吗?,数据中台,大数据,数据仓库,原力计划

3.2 大数据平台使用场景

  • 数据集成
  • 数据开发
  • 数据测试
  • 发布上线
  • 任务运维

大数据平台使用对象是数据开发。大数据平台底层以Hadoop为代表的基础设施,分为计算、资源调度和存储。

3.3 大数据计算引擎

  • Hive、Spark 解决离线数据清洗、加工,Spark用得越来越多,性能要比Hive 高不少
  • Flink解决实时计算
  • Impala解决交互式查询

这些计算引擎统一运行在Yarn,Yarn来分配计算资源。也有基于k8s实现资源调度,如Spark版本(2.4.4)能运行在k8s管理的集群,可实现在线和离线的资源混合部署,节省机器成本。

3.4 数据存储

  • HDFS 不可更新,主要存全量数据
  • HBase提供了一个可更新的KV,主要存一些维度表
  • ck/Kudu 提供实时更新,一般用在实时数仓的构建场景中

大数据平台像一条设备流水线,经过大数据平台的加工,原始数据变成了指标,出现在各个报表或者数据产品中。随着数据需求的快速增长,报表、指标、数据模型越来越多,找不到数据,数据不好用,数据需求响应速度慢等问题日益尖锐,成为阻塞数据产生价值的绊脚石。

4 数据中台(数据价值)

2016年前后,互联网高速发展,对数据需求越来越多,数据应用场景也越来越多,大量数据产品进入运营日常工作,成为运营工作。电商业务有供应链系统,会根据各个商品的毛利、库存、销售数据以及商品的舆情,产生商品的补货决策,然后推送给采购系统。

4.1 大规模数据的应用暴露问题 - 数据割裂

不敢用数据

业务发展前期,为快速实现业务,烟囱式开发导致企业不同业务线,甚至相同业务线不同应用数据都割裂。两个数据应用的相同指标,展示结果不一致,导致运营对数据信任度下降。如你是运营,当你想看一下商品的销售额,发现两个报表都叫销售额的指标出现两值,第一反应数据算错,不敢用这数据。

大量重复计算、开发

导致的研发效率的浪费,计算、存储资源的浪费,大数据的应用成本越来越高。

  • 运营想要一个数据时,开发说至少一周,能不能快?
  • 数据开发面对大量需求,抱怨需求太多,干不完
  • 老板看到每月账单成指数级增长,觉得这也太贵,能不能再省

这些问题根源是

4.2 数据无法共享

2016年,阿里巴巴提“数据中台”。数据中台的核心,是避免数据的重复计算,通过数据服务化,提高数据的共享能力,赋能数据应用。

  • 之前,数据是要啥没啥,中间数据难于共享,无法积累
  • 建设数据中台之后,要啥有啥,数据应用的研发速度不再受限于数据开发的速度,一夜就可根据场景,孵化出很多数据应用,这些应用让数据产生价值

5 总结

  1. 数据中台构建于数据湖之上,具备数据湖异构数据统一计算、存储的能力,同时让数据湖中杂乱的数据通过规范化的方式管理起来。
  2. 数据中台需要依赖大数据平台,大数据平台完成了数据研发的全流程覆盖,数据中台增加了数据治理和数据服务化的内容。
  3. 数据中台借鉴了传统数据仓库面向主题域的数据组织模式,基于维度建模的理论,构建统一的数据公共层。

数据中台:文章来源地址https://www.toymoban.com/news/detail-740625.html

  • 吸收传统数仓、数据湖、大数据平台优势
  • 又解决数据共享的难题,通过数据应用,实现数据价值落地

到了这里,关于数据中台实战(00)-大数据的尽头是数据中台吗?的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 数据库、数据中台、数据仓库、数据湖区别

            数据时代,各行业的企业都已经开始通过数据库来沉淀数据,但是真的论起数据库、数据仓库、数据中台,还是新出现的数据湖,它们的概念和区别,可能知道的人就比较少了,今天我们详细来比较了解一下。         事实上,很多人在看到数据仓库的第一眼

    2024年02月08日
    浏览(43)
  • 一文了解和区分数据中台、数据平台、数据湖、数据仓库

    在当今数字化时代,数据已经成为推动科技发展和商业创新的关键要素之一。数据中台、数据平台、数据湖和数据仓库是构建现代数据架构的重要组成部分。然而,这些概念之间往往容易混淆。本文将深入介绍并区分这些概念,通过生动的例子帮助读者更好地理解它们之间的

    2024年04月08日
    浏览(39)
  • 4 万字全面掌握数据库、数据仓库、数据集市、数据湖、数据中台

    如今,随着诸如互联网以及物联网等技术的不断发展,越来越多的数据被生产出来-据统计,每天大约有超过2.5亿亿字节的各种各样数据产生。这些数据需要被存储起来并且能够被方便的分析和利用。 随着大数据技术的不断更新和迭代,数据管理工具得到了飞速的发展,相关

    2024年04月11日
    浏览(53)
  • 数据中台、数据平台、数据湖、数据仓库傻傻分不清楚?带你一文理清

    随着数字经济蓬勃发展,数字化转型步伐不断加快,大数据技术的不断更新与迭代,数据技术加速创新融合应用,在数字化发展的不同阶段,数据管理工具历经了从数据库、数据仓库、数据集市与数据湖,再到大数据平台与如今的数据中台的发展历程。大数据平台、数据湖、

    2024年04月26日
    浏览(38)
  • 数据中台系统是一个重要的数字化转型方式之一,它基于现代的大数据处理技术,通过构建统一的数据仓库,将不同来源、格式的数据进行整合、清洗、融合,并提供给业务人员进行分析挖掘的数据集合

    作者:禅与计算机程序设计艺术 数据中台系统是一个重要的数字化转型方式之一,它基于现代的大数据处理技术,通过构建统一的数据仓库,将不同来源、格式的数据进行整合、清洗、融合,并提供给业务人员进行分析挖掘的数据集合。其目标就是为了实现数字化进程中的各

    2024年02月11日
    浏览(45)
  • Jmeter(七) - 从入门到精通 - 建立数据库测试计划实战<MySQL数据库>(详解教程)

    1.简介   在实际工作中,我们经常会听到数据库的性能和稳定性等等,这些有时候也需要测试工程师去评估和测试,上一篇文章主要介绍了jmeter连接和创建数据库测试计划的过程,在文中通过示例和代码非常详细地介绍给大家,希望对各位小伙伴和童鞋们的学习或者工作具有一

    2024年02月13日
    浏览(53)
  • 数据仓库入门介绍框架(附带完整项目实战)

    一、诞生背景 企业数据分析需要:各个部门自己建立独立的数据抽取系统,导致数据不一致 概述 数据仓库是一个面向主题的、集成、非易失的且随时间变化的数据集合 主要用于组织积累的历史数据,并使用分析方法(OLAP、数据分析)进行分析整理辅助决策,为管理者、企

    2024年01月18日
    浏览(38)
  • 超详细【入门精讲】数据仓库原理&实战 一步一步搭建数据仓库 内附相应实验代码和镜像数据和脚本

    文章对应的博客园链接:点击这里 建议搭配视频内容食用,效果更加。也可以直接按博客内容学习完成搭建 B站课程链接: 课程链接地址 下载UP主 哈喽鹏程 提供的资源镜像及脚本包 后续所使用的SQL脚本和shell脚本及job脚本文件,均在此下载,请自行下载 下载连接: 数据仓

    2024年02月03日
    浏览(52)
  • 原力奖牌获奖用户名单

    活动地址:https://activity.csdn.net/creatActivity?id=10440 获奖名单如下: 用户ID 截止到6月30日原力总分 博客地址 forever_wj 30632 云原生之深入解析如何正确计算Kubernetes容器CPU使用率_container_spec_cpu_period_╰つ栺尖篴夢ゞ的博客-CSDN博客 hihell 24418 在CSDN获得【铁粉】的奇技淫巧,拆解定义

    2024年02月15日
    浏览(39)
  • 【数据中台建设系列之二】数据中台-数据采集

    ​ 【数据中台建设系列之二】数据中台-数据采集 上篇文章介绍了数据中台的元数据管理,相信大家对元数据模块的设计和开发有了一定的了解,本编文章将介绍数据中台另一个重要的模块—数据采集。 一、什么是数据采集 数据采集简单来说就是从各种数据源中抓取、捕获

    2024年02月08日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包