物流实时数仓——概述与准备工作-Toy模板网

这篇具有很好参考价值的文章主要介绍了物流实时数仓——概述与准备工作。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、架构设计与技术栈

(一)数仓架构设计

(二)所用技术栈

(三)最终效果

二、关于离线与实时的相关概念

三、实时数仓设计思路

一、架构设计与技术栈

(一)数仓架构设计

物流实时数仓——概述与准备工作,# 实时数仓项目,大数据,flink

(二)所用技术栈

Hadoop 3.3.4

Zookeeper 3.7.1

Kafka 3.3.1

Hbase 2.4.11

Redis 6.0.8

Flink 1.17.0

Clickhouse

Spring

Sugar

(三)最终效果

二、关于离线与实时的相关概念

物流

业务

离线

批处理

在处理数据前，数据是固定的

处理数据量大

处理时间长

T + 1

实时

流处理

在处理数据前，数据是不确定的，在处理的过程中，数据源源不断地进来

处理数据量小

处理时间短

T + 0

数仓

采集、存储、分析

三、实时数仓设计思路

业务数据保存在mysql中，通过flink-CDC采集到kafka主题中作为ODS层；在通过flink-CDC判断ODS层的数据哪些是维度表，哪些是事实表，维度数据DIM层写到Hbase中，事实数据DWD层写到新的kafka主题中；再将DIM层数据和DWD层数据进行关联，做一个轻度聚合形成DWS层，写到OLAP数据库中，即clickhouse中，形成宽表；指标统计与统计结果通过Springboot数据接口服务写到sugar进行可视化展示，也就是ADS层。

物流实时数仓架构设计图

物流实时数仓——概述与准备工作,# 实时数仓项目,大数据,flink