数据科学与大数据导论期末复习笔记(大数据)

这篇具有很好参考价值的文章主要介绍了数据科学与大数据导论期末复习笔记(大数据)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

 来自于深圳技术大学,此笔记涵盖了期末老师画的重点知识,分享给大家。数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

  • 等深分箱和等宽分箱的区别:
  • 等宽分箱基于数据的范围来划分箱子,每个箱子的宽度相等。
  • 等深分箱基于数据的观测值数量来划分箱子,每个箱子包含相同数量的数据点。

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

 数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

 文本编辑相似度度量方法

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

 数据科学与大数据导论期末复习笔记(大数据),笔记,大数据数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

类比直角坐标系中两点距离,理解一下公式。

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

r 是一个正整数,称为参数或次数。当 r=1 时,明氏距离变为曼哈顿距离;当 r=2 时,它变为欧几里得距离。

曼哈顿距离是 单单每个类型的距离差之和。

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

X = (-3, -2, -1, 0, 1, 2,3) Y = (9, 4, 1, 0, 1, 4, 9)这个例子pearson的r是0 。

pearson=COV(x,y)/x的标准差*y的标准差。

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

独热编码将每个标称属性进行扩充,
p将一个颜色标称属性扩充为4个二元属性,分别对应黑、白、蓝、
黄四种取值。对于每一个产品,它在这四个属性上只能有一个取1,
其余三个都为0,所以称为独热编码

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

最大最小值未知,或者离群点影响较大时 

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

**数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据
确定程度较高,对应的信息熵也较小。
n 数据点被完全打乱的时候,难以理解其意思,造成不确定性也
就多了,对应的信息熵也变大了。

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

选择信息增益最大的分隔点
数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

*

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

既可以降低数据“维数” 又保留了原数据的大部分信息

示例:
数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

如果当某属性两个样例都为0对聚类的影响不大,例如医院体检两个人某种不重要的病毒抗原都是阴性,则不影响分到不同聚类。

这个时候abcd中的d就没啥用了。

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

通俗理解:jaccard=不一样的个数/(不一样的个数+都为1的个数)

jaccard数值小的越相似。

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据 误差平方和不再减小

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

SSE(Sum of Squared Errors,误差平方和)是一种用于衡量聚类质量的指标。SSE计算的是每个数据点到其所属簇的中心的距离的平方之和。

kmeans算法还会受到,离群点,规模,形状,密度影响。

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

***

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

邻域:以样本为中心,eps为半径所包括的点数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

核心点:这个点的圈圈囊括的点的数量达到最小阈值 minpts

边界点:这个点的圈圈所囊括的点的数量未达到最小阈值 minpts,但是被核心点圈住了。

噪声点:既没有被核心点圈住,自己的圈圈里也没有达到最小阈值数量

直接密度可达:单个核心点它圈圈里的点,它可以直接可达的点。

密度可达:例如 A密度可达B (A必须是核心点) 意味着A可通过链接其他核心点最终到达B(B可以是核心点也可以是边界点)。密度可达是非对称的。

密度相连:跟密度可达唯一不同的是 A可以是边界点,即:A可通过链接其他核心点最终到达B

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

1.遍历数据集中的点,判断是否是核心,如果是创建簇,进行2,如果不是列为噪声点或边界点。

2.把核心点直接密度可达的点加入到簇中

3.循环,直到没有新的点添加到簇中

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

决策树

B站视频:http://【【数据挖掘】决策树零基础入门教程,手把手教你学决策树!】https://www.bilibili.com/video/BV1T7411b7DG?vd_source=1a684a3a1b9d05485b3d6277aeeb705d

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

IG(X|Y)表示X在以Y为条件分为两类后,各类的加权熵比原来的熵减少了多少。

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据   除了用熵来确定最优决策类别,还能用基尼系数来确定t。基尼系数是 1-所分的类别的平方和,一次分类好后要求加权基尼。

然后选择基尼系数最小的划分作为当前的最佳划分。

判断构建的决策树的优劣

判断构建的决策树的优劣

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

***

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

当d=1时就为一元线性回归。

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据数据科学与大数据导论期末复习笔记(大数据),笔记,大数据数据科学与大数据导论期末复习笔记(大数据),笔记,大数据数据科学与大数据导论期末复习笔记(大数据),笔记,大数据数据科学与大数据导论期末复习笔记(大数据),笔记,大数据数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据数据科学与大数据导论期末复习笔记(大数据),笔记,大数据数据科学与大数据导论期末复习笔记(大数据),笔记,大数据数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

=1289 8115

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

几何中心度

跟它相交的结点/除了自己以外的所有结点数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

接近中心度

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

下面的也不全对! 

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

这里e11要*2

d1

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

分子in相当于自己社区内的边的和*2   ; tot是自己社区内的边的和*2+外部连接的边

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

数据科学与大数据导论期末复习笔记(大数据),笔记,大数据

在我的主页里搜索数据科学导论课件,可以获得期末总复习ppt,需要各章节ppt的私我。文章来源地址https://www.toymoban.com/news/detail-817988.html

到了这里,关于数据科学与大数据导论期末复习笔记(大数据)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 数据结构期末复习笔记

    #搬运自己的原创笔记到这,从flowus# #因为后面时间不够了,所以没有把笔记做完,期末考试的最后的代码题一般都是书上的代码,考的简单,这个学期就是递归树。#       1.循环链表 2.双向链表 1.顺序栈 2.链栈 1.循环队列(顺序队列) 2.链式队列

    2024年01月21日
    浏览(34)
  • 数据结构笔记(c++版,期末复习)

      目录 一、绪论 1.数据结构基本概念 2.算法定义与特征 二、线性表 1.线性表的定义 2.顺序表的存储结构 3.链式存储结构 三、栈和队列 1、栈的基本概念 2.队列的基本概念 3.循环队列  四、字符串和多维数组 1.字符串的基本概念 2.串的简单模式匹配 3.多维数组 3.1数组的定义

    2024年02月12日
    浏览(36)
  • python大数据语言基础期末复习笔记

            复习笔记,主要是对老师ppt和网上的一些资料进行汇总。 命名规范:变量名、模块名、包名通常采用小写,可使用下划线,通常前缀有一个下划线的变量名为全局变量。例如:rulemodule.py  #模块名,即文件名_rule=’rule information’ python使用缩进来组织代码,而不是其

    2024年01月21日
    浏览(30)
  • 数据科学与大数据技术专业有哪些就业方向?

    数据科学和大数据技术专业的就业方向包括: 数据分析师/科学家: 分析和挖掘大型数据集, 为公司决策提供数据支持。 数据工程师: 负责数据的收集, 存储, 处理和建模。 数据产品经理: 负责设计和管理数据产品。 大数据开发工程师: 负责大数据平台的构建和维护。 人工智能工

    2024年02月12日
    浏览(27)
  • 人工智能与大数据技术导论-13011知识点记录

    2024年开始,因自考改革,新增了《人工智能与大数据技术导论》科目(豆瓣链接:https://book.douban.com/subject/30765078/) 下面是我依据考纲整理的知识点: 第1章“人工智能概述” 需要掌握:AI概念和历史发展;AI技术的成熟度;AI与云计算和大数据的关系。 1.1、AI概念: 人工智

    2024年03月24日
    浏览(37)
  • 山东大学软件学院2022-2023数据科学导论知识点整理【软工大数据课组】

    CSDN的排版能力有限,因此留pdf版本,祝大伙全部95+,呼呼 山东大学软件学院2022-2023数据科学导论知识点整理【软工大数据课组】-统计分析文档类资源-CSDN文库 总体上是概论部分,可能考的也就名词解释了,总结如下: 什么是大数据,大数据的界限,4V? 大数据是一种数据规

    2024年02月06日
    浏览(41)
  • 山东大学众智科学与网络化产业复习笔记

    写在前面:鹿男神yyds,讲课诙谐有趣,条理清晰,给分可冲,总而言之,众智可冲,题主94,12/160,本文是复习时的总结,希望学弟学妹95+ 图 = 事物(节点) + 联系(边) 同构:图的画法不同,结构上相同,两图同构意味着可以找到一组对应的点,其关系也一致。 邻接矩阵

    2024年01月23日
    浏览(33)
  • 云计算与大数据期末考试题库

    1. 以下哪一项不属于Hadoop可以运行的模式___C___。 A. 单机(本地)模式 B. 伪分布式模式 C. 互联模式 D. 分布式模式 2、Hadoop作者  Martin Fowler Kent Beck Doug cutting√ 3、HDFS默认Block Size的大小是 32MB 64MB√ 128MB 4、下列哪项通常是集群的最主要的性能瓶颈 CPU 网络 磁盘IO√ 内存 5、下面

    2023年04月09日
    浏览(29)
  • 云计算复习笔记--期末

    1、云计算的定义和本质: 云计算是一种按使用量付费的 模式 。 云计算是 分布式计算的一种。 通过计算机网络(多指因特网)形成的计算能力极强的系统,可存储、集合相关资源并可按需配置,向用户提供个性化服务。 2、云计算服务模式/部署模式: 服务模式 : 传统模式

    2024年02月03日
    浏览(24)
  • 大一Python期末复习笔记

    目录 前言 一,输出格式控制 ①多行输出 ②不换行输出 ③精度保留和对齐 Ⅰ.format Ⅱ.f\\\'{}\\\' Ⅲ.% 二,嵌套 ①嵌套循环 Ⅰ.for          Ⅱ.while ②嵌套列表,字典 三,列表与字符串 ①添加元素 ②切片访问与逆序,join ③count,find,index ④删除与替换 list str 四,函数 ①lambda ②复

    2023年04月22日
    浏览(34)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包