【机器学习】决策树如何实现回归

这篇具有很好参考价值的文章主要介绍了【机器学习】决策树如何实现回归。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

【机器学习】决策树如何实现回归

1. 介绍

在 https://blog.csdn.net/qq_51392112/article/details 中,我们详细介绍了决策树基本内容:如何实现、决策树的类型、公式计算等,内容更偏向于决策树的分类任务,而分类任务也是很好理解的,因为直观上来说,决策树本身就很适合分类任务。

  • 但是决策树还可以实现回归任务,这一讲我们将要细讲。
  • 与线性回归不同,回归树是将“空间”进行划分,每个空间则对应一个统一的预测值。

2. 回归树的构建方法

1)预测的标签值是根据该区域(空间)内的总样本数平均化得出的。
【机器学习】决策树如何实现回归

2)与线性回归类似,回归树也需要一个损失函数对回归的效果进行评估,这里采用平方残差和RSS进行评估:

【机器学习】决策树如何实现回归

  • 其中, y i y_i yi 是样本的真实值, y R j y_{R_j} yRj 是第 R j R_j Rj 空间所有样本的预测值。
  • 内层 ∑ 就是将该区域内所有的样本预测值和真实值的差值平方进行加和;
  • 外层 ∑ 就是遍历所有划分出来的区域。

但是如果我们仔细想一下,如果采用这种方法来回归,这个计算量是惊人的,因为空间划分有太多的情况,为了处理这种问题,我们常使用一种方法对划分空间提出了简化要求!

  • 这种方法称作“递归二分法”!

3. 递归二分法

什么是递归二分?顾名思义,树的每次分裂都以二叉树的形式分裂。当我们初步根据特征及其最佳划分点分裂出了2个子结点(即空间)RJ
​后,不断从当前位置,继续将该空间的样本再次划分成2份!
【机器学习】决策树如何实现回归
1)划分方案:

  • 自顶向下,从所有样本开始,不断从当前位置,把样本切分到2个分支里
  • 贪婪,每一次的划分,只考虑当下划分的最优,不回头考虑先前的划分

2)优化原则:

  • 选择切分的维度x_j (即将数据的每一个特征)以及切分点s,使得再次划分后的回归树RSS结果最小
    【机器学习】决策树如何实现回归

通俗来说,当我们初步划分出了两个空间后,接下来,将继续根据损失函数RSS开始选择维度,以及该维度下的切分点 t 再次将 子空间进行二分。
【机器学习】决策树如何实现回归
【机器学习】决策树如何实现回归

4. 回归树的剪枝

同样的,回归优化的过程同线性回归一样,在通过降低损失函数来优化模型的过程中,模型容易陷入“过拟合”的状态。同样需要引入“正则化项”作为惩罚。

  • 与线性回归区别的是,由于回归树并不是数值模型,所以正则化项不可以引入如L2正则化项这种数值项,因此回归树里的正则化项与叶子结点相关:
    【机器学习】决策树如何实现回归
    这里的 ∣T∣示树T的结点数,当超参数α > 0时,树的结点越多,代表模型越复杂,树将为它的复杂性付出代价,所以使上式取到最小值的子树会变得更小。

5. 总结

回归决策树算法:

  1. 利用递归二叉分裂在训练集中生成一棵大树,只有当终端结点包含的观测值个数低于某个最小值时才停止。
  2. 对大树进行代价复杂性剪枝,得到一系列最优子树,子树是 α 的函数。
  3. 利用K折交叉验诞选择 α 。具体做法是将训练集分为K折。
    • 对所有k = 1 , 2 , 3 , ⋯ K; 对训练集上所有不属于第k折的数据重复第(1)步~第(2)步得到与α对应的子树,并求出上述子树在第k折上的均方预测误差。
  4. 每个α会有相应的K个均方预测误差,对这K个值求平均,选出使平均误差最小的α。
  5. 找出选定的α在第(2)步中对应的子树。

参考

【1】https://blog.csdn.net/RichardsZ_/article/details/108903858文章来源地址https://www.toymoban.com/news/detail-437302.html

到了这里,关于【机器学习】决策树如何实现回归的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包