数据仓库—什么是OLAP

这篇具有很好参考价值的文章主要介绍了数据仓库—什么是OLAP。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

从事数据仓库或者大数据的同学,应该经常会听到OLAP这个词。什么OLAP分析,OLAP引擎等等名词。今天就来聊聊什么是OLAP。

OLAP与OLTP

说起OLAP,就不得不提一下他的好兄弟OLTP,两者经常会被拿来比较。

首先,看一下两者的

定义:

OLAP(On-Line Analytical Processing):联机分析处理,OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。

OLTP(on-line transaction processing):联机事务处理,传统的关系型数据库的主要应用,主要是基本的、日常的事务处理。

区别:

数据仓库—什么是OLAP

通俗来讲的话就是:OLTP主要是面向传统的“增删改查”事务系统,数据大都是以实体对象模型来存储数据,并满足3NF(数据库第三范式),追求高并发场景下的快速响应。而OLAP是面向决策分析场景,采用维度建模思想构建模型,追求大规模聚合分析查询的性能表现。

OLAP的分类

一般来说,根据建模方式OLAP可分为3种类型:关系型联机实时分析系统(Relational-OLAP,ROLAP),多维联机实时分析系统(Multidimensional-OLAP,MOLAP),混合型联机实时分析系统(Hybrid-OLAP,HOLAP)。

ROLAP

一种通过在RDMS后端服务和客户前端之间建立中间层的OLAP实现方式。通过RDMS来存储和管理数据仓库数据,而通过OLAP中间件来实现多维数据上的操作映射为标准关系操作。

ROLAP的处理引擎主要有:Presto,Impala,GreenPlum,Clickhouse、Doris。

ROLAP 适用于对查询模式不固定、查询灵活性要求高的场景,但是处理的数据量级受限于引擎性能,对于超大数据量的复杂查询表现不太好

MOLAP

MOLAP一般会根据用户定义的数据维度、度量(也可以叫指标)在数据写入时生成预聚合数据;Query查询到来时,实际上查询的是预聚合的数据而不是原始明细数据,在查询模式相对固定的场景中,这种优化提速很明显。

MOLAP的处理引擎主要有:Druid 和 Kylin

MOLAP 适用于查询场景相对固定并且对查询性能要求非常高的场景,灵活性较差。

HOLAP

HOLAP是 MOLAP 和 ROLAP 的一种融合。当查询聚合性数据的时候,使用MOLAP 技术;当查询明细数据时,使用 ROLAP 技术。

一般商业OLAP引擎是HOLAP架构,以便可以满足不同客户的需求。

OLAP的基本操作

OLAP的多维分析操作包括:钻取(Drill-down)、上卷(Roll-up)、切片(Slice)、切块(Dice)以及旋转(Pivot)

钻取(Drill-down):

在维的不同层次间的变化,从上层降到下一层,或者说是将汇总数据拆分到更细节的数据,比如通过对2010年第二季度的总销售数据进行钻取来查看2010年第二季度4、5、6每个月的消费数据,如上图;当然也可以钻取浙江省来查看杭州市、宁波市、温州市……这些城市的销售数据。

上卷(Roll-up):

钻取的逆操作,即从细粒度数据向高层的聚合,如将江苏省、上海市和浙江省的销售数据进行汇总来查看江浙沪地区的销售数据,如上图。

切片(Slice):

选择维中特定的值进行分析,比如只选择电子产品的销售数据,或者2010年第二季度的数据。

切块(Dice):

选择维中特定区间的数据或者某批特定值进行分析,比如选择2010年第一季度到2010年第二季度的销售数据,或者是电子产品和日用品的销售数据。

旋转(Pivot):

即维的位置的互换,就像是二维表的行列转换,如图中通过旋转实现产品维和地域维的互换。

常见OLAP引擎对比

数据仓库—什么是OLAP

 文章来源地址https://www.toymoban.com/news/detail-458063.html

到了这里,关于数据仓库—什么是OLAP的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 从事铁路工作保护足部,穿什么劳保鞋更安全

    铁路运输在我国交通运输业中起着骨干作用,为国民经济的可持续发展和人口流动做出了巨大贡献。安全是铁路运输不可忽视的问题,在作业场地随处能见到“安全就是生命,责任重于泰山”的安全标语,由此可见安全问题是放在首位的。 铁路施工作业一般较为复杂,从事铁

    2024年01月25日
    浏览(51)
  • 什么是OLAP

    OLAP(On-line Analytical Processing,联机分析处理)是在基于数据仓库多维模型的基础上实现的面向分析的各类操作的集合。可以比较下其与传统的OLTP(On-line Transaction Processing,联机事务处理)的区别来看一下它的特点: OLAP的优势是基于数据仓库面向主题、集成的、保留历史及不

    2024年02月10日
    浏览(27)
  • 什么是OLAP?

    OLAP 是 在线分析处理 ,顾名思义就是OLAP是 用于数据分析 的;因此,它使我们能够同时分析来自多个数据库系统的信息。换句话说,我们可以说它是一种计算方法,可以让用户轻松提取所需的数据并查询数据,以便从不同的角度进行分析。 它基本上是基于庞大的数据,称为

    2024年02月03日
    浏览(34)
  • 社会工作师证能从事什么工作岗位 可以去哪应聘

    社会工作师证能从事什么工作岗位 可以去哪应聘 社会工作师可以在社会保障,社会福利类事业单位从事相关岗位或者在社区居委会从事相关服务工作以及在政府批准建立的独立民间社会服务机构从事社会工作服务,维系社会良好秩序。 社工证能从事什么工作岗位 有社会工作

    2024年02月08日
    浏览(36)
  • 数据仓库—什么是数据仓库

    数据仓库(Data Warehouse)是一种面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史数据(Time-Variant)的数据集合,用于支持管理决策分析。 数据仓库的核心特点 面向主题(Subject Oriented) 数据仓库按照特定的主题域(如销售、财务、客户等)对数据进行逻辑组

    2024年04月13日
    浏览(30)
  • 想从事UE4开发相关工作,C++学到什么程度可以开始学习针对虚幻4的编程开发呢?

    想从事UE4开发相关工作,C++是一个必须要熟练掌握的语言。在学习C++过程中,需要掌握语法、面向对象编程、数据结构和算法等内容,这些都是开发UE4所需要的基础。 在掌握了C++基础之后,可以先从UE4的官方文档开始学习UE4的基础知识和概念。在这里,我们可以了解到UE4的整

    2024年02月06日
    浏览(48)
  • 什么是数据仓库?

    数据仓库 :DATA WAREHOUSE,简称数仓、DW。是一个用于存储、分析、报告的数据系统。目的是构建面向分析的集成化数据环境,为企业提供决策支持。 数仓本身不\\\"产生\\\"任何数据,其数据来源于不同的外部系统;同时数仓本身也不\\\"消费\\\"任何数据,其结果开放给各个外部应用使用

    2024年02月11日
    浏览(27)
  • 为什么需要数据仓库

    为什么不在OLTP环境下分析?  OLTP环境也会存储历史数据,但这些历史数据并不是业务运行所需的,这些历史数据需要经常归档到数据仓库,并且在OLTP数据库中删除。 相比之下,事务环境适用于连续处理事务,通常应用于订单录入以及财务和零售事务。它们并不依赖历史数据

    2024年01月25日
    浏览(62)
  • 数据仓库(什么是拉链表)

    中文名 : 企业数据仓库 外文名 : Enterprise Data Warehouse 简称 : EDW 数据仓库(DW)概念的创始人W. H.Inmon对数据仓库下了这样的定义:“数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合,用来支持管理人员的决策。”数据仓库将大量用于事物处理的传统数

    2024年04月10日
    浏览(38)
  • 为什么要搭建数据仓库

    数据是企业中最重要的资源之一,因此,随着企业数据量的不断增大和复杂度的提高,建立一个可靠和健全的数据仓库变得越来越重要。在数聚股份看来,一个数据仓库可以作为一个企业数据存储和管理系统,能够更有效地存储、管理和分析数据。那么,为什么要搭建数据仓

    2024年02月11日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包