一文搞懂数据仓库分层模型-Toy模板网

这篇具有很好参考价值的文章主要介绍了一文搞懂数据仓库分层模型。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、分层逻辑

数据仓库、数据湖的业务目的就在于集中数据、标准化、形成数据产品、面向业务场景开放数据。通俗地讲就是把各个分散的、不易读的、杂乱的、封闭的业务系统数据，归集收编、分门别类、整齐划一、规范管理，让业务便捷获取、使用，最大可能大挖掘和发挥数据价值。和餐厅点菜上菜类似，生活中类似场景也非常多。其中就涉及比较多的、相互关联的细分步骤。

二、分层目的

本质上是封装与解耦。封装下层，让上层感知不到变化和影响；解耦，降低上层对下层的依赖，有个中间商来做润滑剂。

复杂问题简化：将一个复杂的任务拆解为多个步骤，每个步骤只解决特定的问题
减少重复开发：规范数据分层，提炼抽象公共环节，增加数据复用性
构建数据资产：统一标准的数据结构，根据业务属性划分业务领域、子领域，无差别呈现给业务

三、分层适用

数据仓库的概念虽然历史久远，但它的作用或者理念与数据湖形成映射，甚至二者结合形成湖仓一体，都还在发挥着重要作用。数据湖在数据的来源范围、数据类型、数据数量、实时性、技术手段、数据质量、数据标准、使用人群、数据用途等方面有所扩展和增强，但在数据的全生命周期的各个阶段中，个人理解没有什么本质区别。非要说个先后、强弱或者渐进的关系，数据湖以及湖仓一体，是在大数据、物联网、人工智能时代对数据仓库的进一步迭代，外加数据治理领域的配套措施。

我不纠结它是单纯的数据仓库、数据湖还是湖仓一体还是什么，市面上的解决方案、服务、产品等要么肢解各个解耦层形成独立的产品，要么综合尽量多的功能，形成在业务看来大而全的一套方案。从实际操作上、产品呈现上，不同层面的功能时而独立销售/使用、时而集成汇聚。关键是看业务需要什么，通过怎么样的产品和产品组合来达成业务目的、方便管理和演进，细分下去就是功能区域的划分和协作，这就回到了核心的数据仓库分层模型上。

四、分层划分

这个分层目前没有找到国家标准、行业标准之类的权威参考，数据管理领域权威DMBOK、国家标准DCMM也没有把这些术语拿来讲解。这两者更多讲的是理论/业务完整性，而下面要讲的分层更多的在于具体技术实现。当前的分层，中英文初看比较杂论，不同厂家也有不同的叫法。

序号	英文简写	英文全称	中文(本文倾向)	其他词汇	分层功能
1	Buffer	Buffer	缓冲层	接口层、Stage	常规理解的数据缓冲
2	ODS SDI	Operational Data Store Source Data Integration	贴源数据层	操作数据层、原始数据层、数据运营层、数据引入层、数据基础层	ETL之后业务原始数据存储，尽量原汁原味
3	DWD DWI	Data WareHouse Detail Data Warehouse Integration	明细数据层	数据细节层、数据整合层、明细事实表	ODS数据的简单清洗、维度退化、数据脱敏、格式统一
4	DWB DWM MID	Data Warehouse Base Data Warehouse Middle Middle	轻度汇总层	基础数据层、数据中间层	对核心维度进行指标统计，减少重复计算
5	DWS DWR DWT	Data Warehouse Service Data Warehouse Report Data Warehouse Topic	主题数据层	服务数据层、数据服务层、数据报告层、宽表层、汇总数据层	按主题汇聚多字段为宽表，简化查询
6	ADS DM App	Application Data Service Data Mart	数据集市层	数据应用层、数据产品层、专题数据层	统计汇总数据，供业务应用直接使用
7	DIM	Dimension	维表	码表、维度表	DWD及之上数据层共用，比如国家编码、机场编码、商品类型
8	DW CDW	Data Warehouse Common Dimenions Model	数据仓库层	数据公共层	包含DWD、DWM、DWS、DIM

从上表看出，大体分层固定，不同厂家或者方案都有不同的叫法，但是表达的分层意思几乎一样，具体分层所承载的数据功能也大同小异。命名格式上，有xx数据层，也有数据xx层，还有xx层。只要保持分层清晰，逻辑表达连贯完整，我想就无所谓用哪个名字。

五、分层组合

DM数据仓库层，包含DWD、DWB和DWS。至于DIM严格来说不算是一个层次，而是DWD及其之上层次的一个共享部分。而上述的分层不一定非要全部构建，而是根据组织、业务的实际需求及其变化频率、大小，实现难度、投入产出比来综合选定。个人的实践总结是适量前瞻性设计、能有多简单就多简单，并且设计的分层还会根据业务和环节变化不停迭代。另外，从DWD开始往上的每一层都可以直接提供给上层业务使用，而从业务系统中ETL之后的数据一定是先存放在ODS之中，尽量杜绝其他分层重复地直接从业务系统抽取数据，减少数据同步对业务系统的影响，达到一次抽取，多次利用。
一文搞懂数据仓库分层模型文章来源地址https://www.toymoban.com/news/detail-459859.html