各种大数据概念笔记

这篇具有很好参考价值的文章主要介绍了各种大数据概念笔记。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

各种大数据概念

1 数据仓库数据分层定义
1.1 方式1
宽表-topic
事实层-fact
基础整合层
1.2 方式二
ADS:Application Data Service,应用数据层
也可以称为或者发展为DM data marketing,供线上系统使用
CDM:Common Data Model

  • DWD:Data Warehouse Detail,明细数据层。
    也有叫DWB data warehouse basic
  • DWS:Data Warehouse Summary,汇总数据层。
  • 公共维度表
    主要和OLTP的维度不一样,产商品定义-商家信息等可能也是维度表,建议维度不超过1千万
  • 接口层数据
    ODS:Operational Data Store

2 数据剖析Data Profiling
2.1 Table Analysis
•Primary Keys (single or multicolumn)
•Key Duplicates
2.2 Column Analysis
Domain Values & Validation
Data Classification
Data Properties
Formats
2.3 Cross Table Analysis
•Foreign Key
Relationships
Referential
Integrity
Cross-Domain
Relationships
Data
Redundancy
2.4 工具
https://towardsdatascience.com/aweso文章来源地址https://www.toymoban.com/news/detail-630167.html

到了这里,关于各种大数据概念笔记的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 软件设计师学习笔记12-数据库的基本概念+数据库的设计过程+概念设计+逻辑设计

    目录 1.数据库的基本概念 1.1数据库的体系结构 1.1.1常见数据库 1.1.2分布式数据库的特点 1.1.3分布式数据库的透明性 1.1.4例题 1.2三级模式结构 1.2.1三级模式概念图 1.2.2例题 1.3数据仓库 1.3.1数据仓库的特点 1.3.2数据仓库的过程 1.3.3例题 2.数据库的设计过程 2.1设计过程概念图 2

    2024年02月07日
    浏览(55)
  • 计算机组成原理中各种字长的概念

    字长:默认是机器字长 1 机器字长:计算机能直接处理的二进制数据位数 存储字长:每个存储单元能存放的二进制数据位数 指令字长:每条指令包含的二进制数据位数 各种硬件的位数与它要做的工作相关,总结如下: 硬件 位数 ALU 机器字长 通用寄存器 机器字长 IR 指令字长

    2024年02月06日
    浏览(32)
  • 系统架构设计师笔记第16期:数据库基本概念

    数据库技术在过去几十年中经历了显著的发展和演变。 层次数据库和网状数据库:20世纪60年代和70年代初,层次数据库和网状数据库是主流的数据库模型。层次数据库使用树状结构组织数据,而网状数据库使用复杂的网络结构。这些数据库模型适用于特定的数据组织和查询需

    2024年02月09日
    浏览(39)
  • MySQL笔记(一):设计范式、基础概念、数据库定义语言DDL

    MySQL是一种数据库管理系统 (DBMS),是基于客户机-服务器的数据库; 分为两个不同的部分, 服务器软件(MySQL DBMS)是负责所有数据访问和处理的一个文件,这个软件运行在称为数据库服务器的计算机上,与数据文件打交道; 客户机则是与用户打交道的软件,对于用户提出的

    2024年02月03日
    浏览(50)
  • 各种排序算法学习笔记

    Docs https://r0dhfl3ujy9.feishu.cn/docx/XFlEdnqv9oCEoVx7ok8cpc4knnf?from=from_copylink 如果你认为有错误,欢迎指出!

    2024年02月01日
    浏览(27)
  • 学习笔记-mysql-各种函数的基本使用

    count , sum , min , max ,avg , group_concat() (1). if逻辑判断 (2). case when mysql 8.0之后增加的,也称为开窗函数 (1). 序号函数 row_number( ) --排序 1,2,3 rank( ) --排序 1,1,3 dense_rank( ) --排序 1,1,2 另外还有开窗聚合函数:sum avg min max (2). 分布函数 cume_dist() 用途:分组内小于、等于当前rank值的行数

    2024年01月20日
    浏览(42)
  • 【逻辑学习笔记】MIG中各种时钟的含义和如何设置

      目录 MIG整体介绍 MIG的时钟架构 MIG配置过程中时钟的含义和设置 Clock Period PHY to Controller Clock Ratio VCCAUX_IO Input Clock Period System Clock Reference Clock 从上面的时钟架构中,可以看出,有以下几种时钟: 时钟名称 方向(相对于MIG) 说明 reference clock 输入 供idelayctrl使用,通常需要

    2024年02月07日
    浏览(24)
  • 机器学习笔记 - 基于Scikit-Learn的各种分类器进行分类并比较

            scikit-learn是基于python语言构建机器学习应用程序的最佳库之一。简单易用,并且它有很多示例和教程。除了监督式机器学习(分类和回归)外,它还可用于聚类、降维、特征提取和工程以及数据预处理。该接口在所有这些方法上都是一致的,因此它不仅易于使用,

    2024年02月09日
    浏览(52)
  • 笔记:dom元素各种宽度和高度,getBoundingClientRect,clientWidth,clientHeight,offsetWidth,offsetHeight

    返回值是一个 DOMRect 对象,是包含整个元素的最小矩形(包括 padding 和 border-width)。该对象使用 left、top、right、bottom、x、y、width 和 height 这几个以像素为单位的只读属性描述整个矩形的位置和大小。除了 width 和 height 以外的属性是相对于视图窗口的左上角来计算的。 该方法

    2024年02月04日
    浏览(31)
  • vulnhub靶机AI-Web-1.0渗透笔记(文件上传,提权部分各种姿势)

    信息收集就略了,nmap就可以了,没有太多知识 你会收集到 1.网页绝对路径,这里通过sql注入上传文件或者通过sqlmap获取–os-shell会用到 2.http://靶场ip/se3reTdir777/index.php# 这是一个sql注入页面 先测试有无SQL注入漏洞,输入SQL注入测试神技  \\\' 进行测试 提示我们存在SQL语句错误,表

    2024年01月21日
    浏览(36)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包