各种大数据概念
1 数据仓库数据分层定义
1.1 方式1
宽表-topic
事实层-fact
基础整合层
1.2 方式二
ADS:Application Data Service,应用数据层
也可以称为或者发展为DM data marketing,供线上系统使用
CDM:Common Data Model文章来源:https://www.toymoban.com/news/detail-630167.html
- DWD:Data Warehouse Detail,明细数据层。
也有叫DWB data warehouse basic - DWS:Data Warehouse Summary,汇总数据层。
- 公共维度表
主要和OLTP的维度不一样,产商品定义-商家信息等可能也是维度表,建议维度不超过1千万 - 接口层数据
ODS:Operational Data Store
2 数据剖析Data Profiling
2.1 Table Analysis
•Primary Keys (single or multicolumn)
•Key Duplicates
2.2 Column Analysis
Domain Values & Validation
Data Classification
Data Properties
Formats
2.3 Cross Table Analysis
•Foreign Key
Relationships
Referential
Integrity
Cross-Domain
Relationships
Data
Redundancy
2.4 工具
https://towardsdatascience.com/aweso文章来源地址https://www.toymoban.com/news/detail-630167.html
到了这里,关于各种大数据概念笔记的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!