1. Toy模板网首页
  2. > Toy博客

理论U4 集成学习

10月前 作者：轩不丢 分类：Toy博客 阅读(51) 违法举报

这篇具有很好参考价值的文章主要介绍了理论U4 集成学习。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、集成学习

1、传统学习的问题

传统学习面临的问题：没有任何情况下都最好的机器学习算法

2、集成学习

1）背景

通过将多个学习器进行集成，常可获得比单一学习器显著优越的泛化性能，这对弱学习器尤为明显。

弱学习器：准确率仅比随机猜测略高的学习器。
强学习器：准确率高并能在多项式时间内完成的学习器。
理论U4 集成学习,机器学习,机器学习

2）概念

通过构建并结合多个学习器完成学习任务
也称为多分类器系统(Multi-Classifier System)、基于委员会的学习(Committee based Learning)
理论U4 集成学习,机器学习,机器学习

3）注意

多个学习器不一定比单一学习器性能好
理论U4 集成学习,机器学习,机器学习
由定理可知，在一定条件下，随着集成分类器数目的增加，集成的错误率将指数级下降，最终趋向于0

3、多样性度量

– 用于度量集成中个体学习器的多样性
– 考虑个体学习器的两两相似/不相似性
理论U4 集成学习,机器学习,机器学习
理论U4 集成学习,机器学习,机器学习
理论U4 集成学习,机器学习,机器学习
理论U4 集成学习,机器学习,机器学习
理论U4 集成学习,机器学习,机器学习

4、多样性增强

1）多样性增强：在学习过程引入随机性

– 数据样本扰动
    • Bagging中的自助采样
    • Adaboost中的序列采样
    – 对数据样本扰动敏感的基学习器(不稳定基学习器) 效果明显
    （决策树，神经网络等）
    – 对数据样本扰动不敏感的基学习器(稳定基学习器)效果不明显
     （线性学习器，支持向量机，朴素贝叶斯，K近邻等）

2） 输入属性扰动

不同子空间提供观察数据的不同视角

对包含大量冗余属性数据，可产生多样性大的个体学习器，还因属性数减少会大幅节省时间开销；若数据只含少量属性或冗余属性较少，则不宜使用

3） 输出表示扰动

在学习过程引入随机性
理论U4 集成学习,机器学习,机器学习

4） 算法参数扰动

随机设置不同的参数或环节。
单一学习器利用交叉验证对参数寻优，事实上相当于使用了不同参数训练学习器，最后仅选择了一个；而集成学习相当于把所有学习器都利用起来

– Adaboost：加入了数据样本扰动
– 随机森林：同时加入了数据样本扰动和输入属性扰动

5、集合策略

1）平均法

数值型输出最常见的结合策略
理论U4 集成学习,机器学习,机器学习
加权平均法是集成学习的基本出发点，各种结合方法都可视为其特例或变体，不同的集成学习方法是通过不同的方式确定加权平均法中基学习器的权重

2）投票法

标签型输出最常见的结合策略
理论U4 集成学习,机器学习,机器学习

3）学习法

当训练数据很多时采用另一个学习器进行结合
理论U4 集成学习,机器学习,机器学习

二、集成学习方法

根据个体学习器生成方式不同，形成两大类方法

1、串行化方法

条件：个体学习器间存在强依赖关系

1）典型算法：提升Boosting算法(Adaboost)

– 重赋权法(Re-weighting)：在每轮根据样本分布为每个训练样本重新赋予权重
– 重采样法(Re-sampling)：在每轮根据样本分布对训练集重新采样形成新的训练集

  1. 先从初始数据集训练一个基学习器
  2. 再根据其对训练样本分布（权重）进行调整，使先前错分样本在后续受到更多关注
  3. 基于调整后的样本分布训练下一个基学习器；
  4. 重复进行直至基学习器数目达到预先指定值；最终将这些基学习器加权结合

2）特点总结

  1. 基本思想是用贪心法最小化损失函数，
  2. 主要关注降低偏差：顺序串行地最小化损失函数，基于弱学习器逐步构造出很强的集成学习器，bias自然逐步下降
  3. 但是由于模型的相关性很强，因此不能显著降低方差
  4. 所以boosting主要靠降低bias来提升预测精度
  5. Boosting中每个模型是弱模型，偏差高，方差低

2、并行化方法

条件：个体学习器间不存在强依赖关系

1）典型算法：Bagging算法

  1. 利用自助法采样(Bootstrap Sampling)可构造T个含m个训练样本的采样集，基于每个采样集训练出一个基学习器，再将它们进行结合
  2. 在对预测输出结合时，通常对分类任务使用简单投票法，对回归任务使用简单平均法
    理论U4 集成学习,机器学习,机器学习

2）算法特点

  1. 时间复杂度低：集成与直接训练一个学习器复杂度同阶
    假定基学习器的计算复杂度为 O ( m ) O(m) O(m)，采样与投票/平均过程的复杂度为 O ( s ) O(s) O(s)，则 B a g g i n g Bagging Bagging的复杂度大致为 T ( O ( m ) + O ( s ) ) T(O(m)+O(s)) T(O(m)+O(s))；
  2. 可以直接用于多分类、回归等任务；
  3. 可包外估计(Out-of-Bag Estimate)泛化性能

3）特点总结

  1. 主要关注降低方差，即通过多次重复训练提高稳定性，在易受样本扰动的学习器上效用更为明显(如不剪枝的决策树、神经网络等)
  2. 在Bagging中，每个模型的偏差方差近似相同，但是互相相关性不太高，因此一般不能降低偏差
  3. Bagging中的模型是强模型，偏差低，方差高

4）典型算法：随机森林算法

Bagging方法的一种扩展变体。以决策树为基学习器。
– 数据集的随机选择：自助采样法
– 待选属性的随机选择：对基决策树的每个结点，先从该结点的( d d d个)属性集合中随机选择一个包含 k k k 个属性的子集，再从这个子集选择一个最优属性用于划分, 一般情况下推荐 k = l o g 2 d k=log_2d k=log2​d

5）算法流程

– 从原始数据集中每次随机有放回抽样选取与原始数据集相同数量的样本数据，构造数据子集；

– 每个数据子集从所有待选择的特征中随机选取一定数量的最优特征作为决策树的输入特征；

– 根据每个子集分别得到每棵决策树，由多棵决策树共同组成随机森林；

– 最后如果是分类问题，则按照投票的方式选取票数最多的类作为结果返回；如果是回归问题，则按照平均法选取所有决策树预测的平均值作为结果返回

理论U4 集成学习,机器学习,机器学习

6）算法特点

– 基学习器多样性通过样本扰动和属性扰动实现
– 算法简单、容易实现、计算开销小
– 性能强大，被誉为“代表集成学习技术水平的方法”文章来源地址https://www.toymoban.com/news/detail-806875.html

到了这里，关于理论U4 集成学习的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 机器学习-方差和偏差理论

    机器学习-方差和偏差理论

    关于机器学习方差和偏差的内容其实很重要，这个方差和偏差可以帮助我们去分析，模型的泛化能力和过拟合的程度。 下面我们先给存储方差和偏差的公式： 注意，下式当中， f ( x ; D ) 表示在数据集 D 上训练出的模型， f − ( x ) 表示无穷多个不同数据集训练出的加权平均模

    2024年02月12日
    浏览(48)
  • 【Python机器学习】深度学习——一些理论知识

    【Python机器学习】深度学习——一些理论知识

            深度学习在很多机器学习应用中都有巨大的潜力，但深度学习算法往往经过精确调整，只适用于特定的使用场景。先学习一些简单的方法，比如用于分类和回归的多层感知机（MLP），它可以作为研究更复杂的深度学习方法的起点。MPL也被称为（普通）前馈神经网络，

    2024年01月16日
    浏览(48)
  • 图机器学习【从理论到实战】

    图机器学习【从理论到实战】

    传统神经网络 以往：随着机器学习、深度学习的发展，语音、图像、自然语言处理逐渐取得了很大的突破，然而语音、图像、文本都是很简单的序列或者网格数据，是很结构化的数据，深度学习很善于处理该种类型的数据。 图神经网络 现实世界：并不是所有的事物都可以表

    2024年02月09日
    浏览(41)

  • 【概率论理论】协方差，协方差矩阵理论(机器学习)

      在许多算法中需要求出两个分量间相互关系的信息。协方差就是描述这种相互关联程度的一个特征数。   设 ( X , Y ) (X,Y) ( X , Y ) 是一个二维随机变量，若 E [ ( X − E ( X ) ) ( Y − E ( Y ) ) ] E[(X-E(X))(Y-E(Y))] E [ ( X − E ( X ) ) ( Y − E ( Y ) ) ] 存在，则称此数学期望为 X X X 与

    2024年02月14日
    浏览(49)

  • 【Python机器学习】理论知识：决策树

    决策树是广泛用于分类和回归任务的模型，本质上是从一层层if/else问题中进行学习，并得出结论。这些问题类似于“是不是”中可能问到的问题。 决策树的每个结点代表一个问题或一个包含答案的终结点（叶结点）。树的边奖问题的答案与将问的下一个问题连接起来。 用机

    2024年02月01日
    浏览(89)

  • 机器学习理论知识部分——朴素贝叶斯

    机器学习以及matlab和数据分析 机器学习聚类算法——BIRCH算法、DBSCAN算法、OPTICS算法_ 机器学习——随机森林算法、极端随机树和单颗决策树分类器对手写数字数据进行对比分析_极端随机森林算法 文章目录 问题一、朴素贝叶斯是基于特征独立性假设的概率模型吗？ 问题二、

    2024年02月11日
    浏览(73)
  • 【机器学习】 贝叶斯理论的变分推理

    【机器学习】 贝叶斯理论的变分推理

    许志永         贝叶斯原理，站在概率角度上似乎容易解释，但站在函数立场上就不那么容易了；然而，在高端数学模型中，必须要在函数和集合立场上有一套完整的概念，其迭代和运算才能有坚定的理论基础。          贝叶斯定理看起来天真地简单。但是，分母是在

    2024年02月13日
    浏览(54)
  • 机器学习-学习率：从理论到实战，探索学习率的调整策略

    机器学习-学习率：从理论到实战，探索学习率的调整策略

    本文全面深入地探讨了机器学习和深度学习中的学习率概念，以及其在模型训练和优化中的关键作用。文章从学习率的基础理论出发，详细介绍了多种高级调整策略，并通过Python和PyTorch代码示例提供了实战经验。 关注TechLead，分享AI全维度知识。作者拥有10+年互联网服务架构

    2024年02月05日
    浏览(53)
  • 机器学习理论笔记（二）：数据集划分以及模型选择

    机器学习理论笔记（二）：数据集划分以及模型选择

    欢迎来到蓝色是天的机器学习笔记专栏！在上一篇文章《机器学习理论笔记（一）：初识机器学习》中，我们初步了解了机器学习，并探讨了其定义、分类以及基本术语。作为继续学习机器学习的进一步之旅，今天我们将进一步讨论机器学习中的一些重要概念和技巧。 在本文

    2024年02月11日
    浏览(36)
  • 机器学习理论基础—支持向量机的推导（一）

    机器学习理论基础—支持向量机的推导（一）

    SVM:从几何角度，对于线性可分数据集，支持向量机就是找距离正负样本都最远的超平面，相比于感知机，其解是唯一的，且不偏不倚，泛化性能更好。 超平面 n维空间的超平面（wT X+ b= 0，其中w,x ∈ R） 超平面方程不唯— 法向量w和位移项b确定一个唯一超平面 法向量w垂直于

    2024年04月28日
    浏览(32)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包