数据仓库(3)-模型建设

这篇具有很好参考价值的文章主要介绍了数据仓库(3)-模型建设。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本文从以下9个内容,介绍数据参考模型建设相关内容。
数据仓库(3)-模型建设,数据仓库,数据仓库

1、OLTP VS OLAP

OLTP:全称OnLine Transaction Processing,中文名联机事务处理系统,主要是执行基本日常的事务处理,比如数据库记录的增删查改,例如mysql、oracle
OLAP:全称OnLine Analytical Processing,中文名联机分析处理系统,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果,例如、ClickHouse、Doris、Kylin
数据仓库(3)-模型建设,数据仓库,数据仓库

两者比较结果可见如下
数据仓库(3)-模型建设,数据仓库,数据仓库

2、数仓分层

通常我们吧数据分成4层,ODS、DWD、DWS、ADS。有时候业务在DWD和DWS中间放置一层轻度汇总层用于过渡。
数据仓库(3)-模型建设,数据仓库,数据仓库

3、数仓数据建模

什么是数据模型:数据特征的抽象,通常包括数据结构、数据操作、数据约束。
数据仓库(3)-模型建设,数据仓库,数据仓库

4、数据建模方法

数据建模方式很多,数据仓种最常见的是两种,维度建模和三范式建模(也叫实体关系建模)。以下详细介绍
数据仓库(3)-模型建设,数据仓库,数据仓库

5、数据建模流程

模型设计基本原则

数据仓库(3)-模型建设,数据仓库,数据仓库

维度建模设计大图
数据仓库(3)-模型建设,数据仓库,数据仓库

模型建设流程(详细)
数据仓库(3)-模型建设,数据仓库,数据仓库

总线矩阵
指以一致性维度为列,以业务过程为行,构建业务的数据矩阵,通过标记表示该维度与业务过程的相关性。网上找了张图:
数据仓库(3)-模型建设,数据仓库,数据仓库

模型建设5要素
模型设计中核心要考量的要素为5项:主题域 、事实表设计、维表设计、确认颗粒度、明确度量值。
数据仓库(3)-模型建设,数据仓库,数据仓库
未完待更新文章来源地址https://www.toymoban.com/news/detail-790201.html

到了这里,关于数据仓库(3)-模型建设的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 最最最全数据仓库建设指南,速速收藏!

    开讲之前,我们先来回顾一下数据仓库的定义。 数据仓库(Data Warehouse)是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。这个概念最早由数据仓库之父比尔·恩门(Bill Inmon)于1990年在《建立数据仓库》一书中提出,近年来却被愈发广泛的

    2024年03月20日
    浏览(24)
  • 盘点数据仓库建设需要知道的那些事

    @ 目录 建设规范 为何要有规范 规范如何落地 有哪些规范 数仓分层 分层原则 常见分层 主题域划分原则 数据模型设计原则 数据类型规范 数据冗余规范 表规范 处理规范 命名规范 生命周期管理 指标管理 指标定义 指标构成 指标分类 命名规范 无规矩不成方圆,建立规范的目

    2024年02月04日
    浏览(58)
  • 【数仓建设系列之一】什么是数据仓库?

    一、什么是数据仓库? 数据仓库(Data Warehouse,简称DW)简单来讲,它是一个存储和管理大量结构化和非结构化数据的存储集合,它以主题为向导,通过整合来自不同数据源下的数据(比如各业务数据,日志文件数据等),解决企业数据孤岛,为企业提供统一的数据视图。通过构建

    2024年02月12日
    浏览(18)
  • 基于OneData的数据仓库建设事实表设计

    事实表中一条记录所表达的业务细节程度称为粒度。 1. 事实类型 作为度量业务过程的事实,有可加性、半可加性和不可加性三种类型: 可加性事实指可以按照与事实表关联的任意维度进行汇总。 半可加事实只能按照特定维度汇总,不能对所有维度汇总。 不可加性事实完全

    2024年02月03日
    浏览(30)
  • 架构设计内容分享(二百零一):什么是数据仓库的架构?企业数据仓库架构如何建设?

    目录 企业数据仓库架构 单层架构(直连) 两层数据架构(数据集市层) 三层架构(OLAP) 数据仓库数据库 1、采用传统关系型数据库,或经过功能扩展的MPP数据库 2、大数据平台架构:Hadoop+Hive 采集、收集、清洗和转换工具(ETL) 1、抽取 2、清洗 3、转化和加载 前端应用工具

    2024年02月21日
    浏览(24)
  • 最详细数据仓库项目实现:从0到1的电商数仓建设(数仓部分)

    数据仓库是一个为数据分析而设计的企业级数据管理系统 ,它是一个系统,不是一个框架。可以独立运行的,不需要你参与,只要运行起来就可以自己运行。 数据仓库不是为了存储(但是能存),而是为了统计分析 数据仓库可集中、整合多个信息源的大量数据,借助数据仓

    2024年03月23日
    浏览(20)
  • 金融大数据应用-企业信贷风险防控模型竞赛开始-中国建设银行数据集-作者开箱测评

    各位朋友,最新金融风控模型竞赛开始了!竞赛名称为金融大数据应用:企业信贷风险防控;组织单位:数字中国建设峰会组委会;中国建设银行提供模型竞赛数据集。 这次模型竞赛奖金很高,总奖金160万元,一等奖八万元。 赛题背景:   金融机构的数字化转型正在如火

    2023年04月10日
    浏览(21)
  • 浅谈数据仓库模型设计

    目录 一、背景 1.引言 2.目的与范围 3.使用对象 4.分层意义 二、数据仓库(ETL的四个操作) 三、数据仓库的技术架构 四、数仓分层架构 1.贴源层(ODS: Operational Data Store) 1.数据主要来源 2.数据存储策略(增量、全量) 3.数据抽取 1. 增量抽取 2.全量抽取 3.命名规范 2.数仓层(DW: data war

    2024年02月03日
    浏览(19)
  • 数据仓库模型设计V2.0

    数据模型就是数据组织和存储方法,它强调 从业务、数据存取和使用角度合理存储数据 。只有将数据有序的组织和存储起来之后,数据才能得到高性能、低成本、高效率、高质量的使用。 高性能:良好的数据模型能够帮助我们快速查询所需要的数据。 低成本:良好的数据模

    2024年02月07日
    浏览(25)
  • 一文搞懂数据仓库分层模型

    数据仓库、数据湖的业务目的就在于集中数据、标准化、形成数据产品、面向业务场景开放数据。通俗地讲就是把各个分散的、不易读的、杂乱的、封闭的业务系统数据,归集收编、分门别类、整齐划一、规范管理,让业务便捷获取、使用,最大可能大挖掘和发挥数据价值。

    2024年02月06日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包