（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法

9月前作者：Allenspringfestival 分类：Toy博客阅读(44) 违法举报

这篇具有很好参考价值的文章主要介绍了（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

目录

一，决策数的剪枝

二，CART算法

1.CART生成

（1）回归树的生成

（2）分类树的生成

2.CART剪枝

（1）剪枝，形成一个子树序列

（2）在剪枝得到的子树序列T0,T1-----,Tn中通过交叉验证选取最优子树Ta

一，决策数的剪枝

（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树

（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树

好的决策树不高不宽

（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树

（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树

（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树

柳建男的”后剪枝“挥手创作

（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树

1.预剪枝

（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树

如果划分之前的泛化能力更强，就作为叶结点，就停止生长

（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树

我们可以通过ID3算法来生成一颗决策树模型：

（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树

（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树

深度就是4.

（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树

（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树

如果将阈值设定为0.4 （统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树

以为数据集里面的坏瓜是多于好瓜的

所以我们可以得到单节点树坏瓜

这就是第二种方法，通过控制阈值控制深度进行预剪枝 （统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树

（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树

假设信息增益最大的特征为脐部

以之为根节点

向下生长

（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树

将训练集的决策树拿给测试集比较（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树

误差率为2/7，

当决策树为单节点时，如果将结果选定为好瓜，误差率为4/7

（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树

所以支持接着划分这个决定

第二层

将色泽特征变为内部节点

（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树

画出的决策树域测试集比较
此时的误差率为3/7
我们记得两层的决策树误差率为2/7
那么泛化性能变差了

我们如果选择根蒂作为下一层特征

那么

误差率为2/7，与两层时相同

出于奥卡姆剃刀原理，模型越简单越好，不向它延伸。

（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树

那么基于测试集的误差率剪枝所得到的决策树就是这样了。

2.后剪枝（自下而上的一个过程）

(1)降低错误剪枝（REP）

（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树

与误差率的唯一区别就是

自下而上

原本的完整的决策树：

（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树

此刻决策树的深度为4，那么深度能够变为3吗？

我们用基于训练集生成的决策树进行判别：

（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树用预测计算出误差率，我们发现都错误了，误差率为1

（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树

那么我们就可以剪枝为3了。

我们回到训练集，我们发现

（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树

我们将叶节点变为好瓜

错误的

（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法,机器学习基础,算法,学习方法,决策树

文章来源地址https://www.toymoban.com/news/detail-632775.html

(2)PEP

(3)MEP

(4)EBP

(5)CCP

二，CART算法

1.CART生成

（1）回归树的生成

（2）分类树的生成

2.CART剪枝

（1）剪枝，形成一个子树序列

（2）在剪枝得到的子树序列T0,T1-----,Tn中通过交叉验证选取最优子树Ta

到了这里，关于（统计学习方法|李航）第五章决策树——四五节：决策树的剪枝，CART算法的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

深入理解强化学习——马尔可夫决策过程：动态规划方法

分类目录：《深入理解强化学习》总目录动态规划（Dynamic Programming，DP）适合解决满足最优子结构（Optimal Substructure）和重叠子问题（Overlapping Subproblem）两个性质的问题。最优子结构意味着，问题可以拆分成一个个的小问题，通过解决这些小问题，我们能够组合小问题的答案

2024年02月03日
浏览(43)
决策树的原理、方法以及python实现——机器学习笔记

* * * * * * The Machine Learning Noting Series * * * * * * 决策树（Decision Tree）是机器学习的核心算法之一，在较小训练样本或有限计算资源下仍有较好表现，它包括分类树和回归树，是目前应用最广泛的分类预测和回归预测方法。 0 引言 1 决策树的概念分类树回归树 2

2024年02月04日
浏览(50)
SVM——《统计学习方法第七章》

在第二章中我们学过感知机，它是最小化所有误分类点到超平面的距离之和， M 为误分类点的集合，得到的分离超平面是不唯一的。 min ⁡ ω , b [ − ∑ x i ∈ M y i ( ω ⋅ x i + b ) ] min_{omega,b}[-sum_{x_i in M}y_i (omegacdot x_i+b)] ω , b min [ − x i ∈ M ∑ y i ( ω ⋅ x i

2024年02月08日
浏览(48)
学习笔记：统计建模方法的比较分析

本文介绍了隐马尔可夫模型 (HMM)、最大熵马尔可夫模型 (MEMM) 和条件随机场 (CRF) 的比较分析。 HMM、MEMM 和 CRF 是三种流行的统计建模方法，通常应用于模式识别和机器学习问题。让我们更详细地探讨每种方法。 “隐藏”一词象征着只有系统发布的符号是可观察的，而用户无法

2023年04月08日
浏览(48)
2023年数学建模随机森林：基于多个决策树的集成学习方法

目录目录 1. 什么是随机森林？ 2. 随机森林的优缺点 3. 随机森林的构建过程

2024年02月08日
浏览(39)
《统计学》第八版贾俊平第五章概率与概率分布

一、考点归纳二、练习题1写出下列随机试验的样本空间：（1）记录某班一次统计学测验的平均分数；（2）某人在公路上骑自行车，观察该骑车人在遇到第一个红灯停下来以前遇到绿灯的次数；（3）生产产品直到有10件正品为止，记录生产产品的总件数。解：（1）平均分

2023年04月27日
浏览(45)
【机器学习】R语言实现随机森林、支持向量机、决策树多方法二分类模型

暑期简单学习了机器学习理论知识，当时跟着B站咕泡老师学的，内容讲得蛮详细，实例代码、资料都比较全面，但是学校Python课程开设在这学期，所以用Python进行数据分析、建模等不是很熟悉，所以决定用之前学过的R语言来实现机器学习。R语言的相关包也都比较完善，所以

2024年02月04日
浏览(42)
深入理解强化学习——马尔可夫决策过程：马尔可夫奖励过程-[计算马尔可夫奖励过程价值的动态规划方法]

分类目录：《深入理解强化学习》总目录文章《深入理解强化学习——马尔可夫决策过程：马尔可夫奖励过程-[计算马尔可夫奖励过程价值的蒙特卡洛方法]》介绍了计算马尔可夫奖励过程价值的蒙特卡洛方法，同时我们也可以用动态规划的方法，一直迭代贝尔曼方程，直到价

2024年02月05日
浏览(44)
【机器学习 | 朴素贝叶斯】朴素贝叶斯算法：概率统计方法之王，简单有效的数据分类利器

🤵‍♂️ 个人主页: @AI_magician 📡主页地址：作者简介：CSDN内容合伙人，全栈领域优质创作者。 👨‍💻景愿：旨在于能和更多的热爱计算机的伙伴一起成长！！🐱‍🏍 🙋‍♂️声明：本人目前大学就读于大二，研究兴趣方向人工智能硬件（虽然硬件还没开始玩，但一直

2024年02月15日
浏览(52)
matlab数据的获取、预处理、统计、可视化、降维 | 《matlab数学建模方法与实践（第三版）》学习笔记

一、数据的获取 1.1 从Excel中获取使用readtable() 使用xlsread()——xlswrite() 1.2 从TXT中获取使用load() 使用textread() 使用fopen() fread() fclose() 使用fprintf()写入信息到txt 1.3 从图片中获取使用imread 1.4 从视频获取使用视觉工具箱中的VideoFileReader 二、数据的预处理 2.1 缺失值处

2024年01月19日
浏览(65)