决策树模型(1)总体介绍

这篇具有很好参考价值的文章主要介绍了决策树模型(1)总体介绍。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

决策树

总体介绍

决策树模型顾名思义就是通过一条条的决策来将样本划分来从而达到分类或回归的目的。决策树模型呈树形结构,下图粗略展示了一个分类决策树
决策树模型(1)总体介绍
其中圆表示特征,方块表示叶子节点也是最终分类的类别,我们通过利用样本中高价值的特征(房子拥有情况,工作的拥有情况)来构建这么一个决策树,那么每当有新样本来临时就可以通过构建完成的决策树来对其进行分类。其中所有路径互斥且完备,即不存在两个相同的样本被划分到不同的类别(互斥),任意一个样本都会被划分到一个类别。
我们还可以认为决策树是定义在特征空间与类空间上的条件概率分布,即将特征空间划分成一个个互不相交的单元,这与之前所讲的KNN算法的核心思想一致。下图展示了决策树在两个特征\(x_1,x_2\)下的划分情况。
决策树模型(1)总体介绍
这意味着,当所有样本的两个特征满足下面的情况时
\(x_1 \leq a_1\)\(x_2 \leq a_2\)或者\(x_1 > a_1\)\(x_2 > a_3\)
将被划分为正类。
同时我们也可以上上面的图转换为决策树进行对照,如下图所示。
决策树模型(1)总体介绍
在使用决策树模型时通常包含三个步骤:特征选择、决策树生成和决策树剪枝。

决策树学习

从上面的介绍中,我们可以知道决策树是通过对特征的取值不断进行分解从而构建成树的,但是基于特征空间划分的类的条件概率模型有无穷多个,我们选择的模型不仅要对训练数据有很好的拟合更应该注重其泛化能力。总体上来说,决策的学习包括下面三个注意部分:文章来源地址https://www.toymoban.com/news/detail-842657.html

  • 特征选择。特征选择的目的选择具有较强分类能力的特征,如果一个特征在对所有类别的区分不大,那么这个特征可能就没有较大的意义。衡量特征好坏有信息增益、信息增益比等指标。后面的内容会一步步剖析它们。
  • 决策树的生成。当通过特征选择得到有价值的特征后,下面的目的就是通过这些特征来构建决策树,常见的算法ID3和C4.5。
  • 决策树的剪枝。最后为了避免生成的决策树过于臃肿,我们需要使用剪枝算法对决策树进行约简,使其具有更好的泛化能力。相关剪枝算法也会在后面介绍。

到了这里,关于决策树模型(1)总体介绍的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 机器学习笔记之优化算法(十)梯度下降法铺垫:总体介绍

    从本节开始,将介绍 梯度下降法 ( Gradient Descent,GD ) (text{Gradient Descent,GD}) ( Gradient Descent,GD ) 。 线搜索方法作为一种常见优化问题的 策略 ,该方法的特点是: 其迭代过程中,将 数值解 的方向和步长分开执行 。对应 数学符号 表达如下: 其中 P k mathcal P_k P k ​ 是一个向量

    2024年02月13日
    浏览(41)
  • 无障碍轮椅——ESP8266总体介绍及ESP-01S入门调试

    ESP8266 是一个带完整 WiFi 功能、 同时 带一个 32bit MCU 的 SoC ,可以取代原 Arduino 核心板 + WiFi 扩展板完成的大部分应用。 【NodeMCU(支持 esp8266 的 Arduino )】 模块核心处理器 ESP8266 在较小尺寸封装中集成了业界领先的 Tensilica L106 超低功耗 32 位微型 MCU,带有 16 位精简模式,主

    2024年02月07日
    浏览(43)
  • 【海量数据挖掘/数据分析】之 决策树模型(决策树模型、决策树构成、决策树常用算法、决策树性能要求、信息增益、信息增益计算公式、决策树信息增益计算实例)

    目录 【海量数据挖掘/数据分析】之 决策树模型(决策树模型、决策树构成、决策树常用算法、决策树性能要求、信息增益、信息增益计算公式、决策树信息增益计算实例) 一、决策树模型 1、常用算法 2、属性划分策略 3、其他算法 三、决策树算法性能要求 四、 决策树模型

    2024年02月13日
    浏览(56)
  • 决策树简单介绍

    一、决策树的介绍 决策树(decision tree):是一种基本的分类与回归方法,此处主要讨论分类的决策树。 在分类问题中,表示基于特征对实例进行分类的过程,可以认为是if-then的集合,也可以认为是定义在特征空间与类空间上的条件概率分布。 决策树通常有三个步骤:特征

    2023年04月09日
    浏览(26)
  • 决策树算法介绍

            决策树思想的来源⾮常朴素,程序设计中的条件分⽀结构就是if-else结构,最早的决策树就是利⽤这类结构分割数据的⼀种分类学习⽅法 决策树是什么? 是⼀种树形结构,本质是⼀颗由多个判断节点组成的树 其中每个内部节点表示⼀个属性上的判断, 每个分⽀代表

    2023年04月20日
    浏览(28)
  • 回归决策树的介绍

    一、回归决策树的介绍 1.什么是回归决策树 回归决策树(Regression Decision Tree)是一种决策树算法,用于解决回归问题。 与传统的分类决策树不同,回归决策树的目标是预测连续数值型的输出,而不是离散的类别标签 。 2.原理概述 数据集准备: 首先,需要准备训练数据集,

    2024年02月17日
    浏览(33)
  • 决策树剪枝:解决模型过拟合【决策树、机器学习】

    决策树是一种强大的机器学习算法,用于解决 分类 和 回归 问题。决策树模型通过树状结构的决策规则来进行预测,但在构建决策树时,常常会出现过拟合的问题,即模型在训练数据上表现出色,但在未见过的数据上表现不佳。 过拟合的威胁 在机器学习中, 过拟合 是一个

    2024年02月07日
    浏览(46)
  • 决策树模型(3)决策树的生成与剪枝

    有了信息增益和信息增益比,我就可以以此衡量特征的相对好坏,进而可以用于决策树的生成。相对应的基于信息增益计算的方法所生成的决策树的算法我们叫做ID3算法,而基于信息增益的算法我们叫做C4.5,二者唯一的区别就在于一个使用信息增益衡量特征好坏而另外一个使

    2024年03月28日
    浏览(38)
  • 机器学习模型—决策树

    决策树是最强大和最流行的算法之一。Python 决策树算法属于监督学习算法的范畴。它适用于连续输出变量和分类输出变量也就是可以处理分类和回归任务。在本文中,我们将在 UCI 上提供平 衡秤体重和距离数据 库上用 Python 算法实现决策树。 决策树算法,是模拟人们做决策

    2024年03月14日
    浏览(84)
  • AI - 决策树模型

    🤔决策树算法 决策树的思想来源可以追溯到古希腊时期,当时的哲学家们就已经开始使用类似于决策树的图形来表示逻辑推理过程。然而,决策树作为一种科学的决策分析工具,其发展主要发生在20世纪。 在20世纪50年代,美国兰德公司的研究人员在研究军事策略时首次提出

    2024年04月16日
    浏览(33)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包