[论文评析]mixup: B EYOND E MPIRICAL R ISK M INIMIZATION, ICLR 2018,-Toy模板网

这篇具有很好参考价值的文章主要介绍了[论文评析]mixup: B EYOND E MPIRICAL R ISK M INIMIZATION, ICLR 2018,。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

介绍

采用ERM训练的模型往往存在泛化能力差的情形-可能是在简单的记忆样本, 对于噪声干扰的鲁棒性很差.
这篇论文提出了一种新的数据增广方法-Mixup, 这里主要介绍该方法的使用, 及其提出的缘由.

Mixup

简单易句话来讲, Mixup实际上就是在训练集的样本对之间进行插值(Input和Output同时进行插值)来产生新的样本, 这些新生成的Samples就是训练集中Input-Output的凸组合, 然后模型在这些增广的数据集上再进行训练,能够提升泛化能力.

[论文评析]mixup: B EYOND E MPIRICAL R ISK M INIMIZATION, ICLR 2018,
上图就是Mixup的pytorch代码代码实现, 可以看到: 每次随机选择两个样本对,然后进行插值, 插值过程如下:
其中插值系数 $\lambda$ 从Beta分布中进行采样.

右图是ERM和Mixup训练的模型决策边界对比. 可以看到与ERM相比, Mixup的类别之间决策边界过度非常平滑 (线性过度),

注: Mixup中是对x和y同时进行插值, 对y插值的时候是先把y转化为one-hot编码的形式, 这样插值以后新生成sample的y就是soft label的形式, 这与label smoothing 有点像.

Mixup的提出动机

先来回顾下ERM的理论:

理论上, 我们希望通过最新化模型在分布P上的期望风险来训练模型, 如下:
[论文评析]mixup: B EYOND E MPIRICAL R ISK M INIMIZATION, ICLR 2018, 然而P往往是未知的. 实际中我们只能获取到有限个样本用于训练模型(即所谓的训练集), 因此,实际上我们是通过最小化模型在训练集上的经验风险ERM来优化模型, 如下:
当采用了ERM,关于P的一个潜在假设是:
[论文评析]mixup: B EYOND E MPIRICAL R ISK M INIMIZATION, ICLR 2018, 对这个函数的简单理解是: P仅在样本空间中训练集对应的n个点处采样概率相等且为1/n, 换言之在除了这n个点以外的其他区与采样概率为0.

这就不难理解了, 训练模型时只要在这n个samples拟合好就行了, 这可能导致模型在其他区域的泛化能力极差.

那么Mixup关于P的潜在假设是什么?

Mixup实际上假设P服从如下的类邻近分布:
[论文评析]mixup: B EYOND E MPIRICAL R ISK M INIMIZATION, ICLR 2018, 可以看到,其相当于是在任意两个sample-pair之间进行插值, 而且是x和y同时进行插值, 这样一种线性插值的方式决定了训练后的模型在不同类别之间的预测呈现出一种线性/平滑过度,

关于Mixup方法的更深层次理论分析参见ICLR 2021的一篇论文: HOW DOES MIXUP HELP WITH ROBUSTNESS AND GENERALIZATION?

Mixup与常规数据增广方法的区别

规数据增广方法非常多,本质上都是仅对输入进行扰动, 并没有对样本的近邻关系进行建模.

Mixup方法实际上对样本间的近邻关系进行了建模.

Mixup与Smote的区别

Smote [3] 是于2002年提出来的一个更早的针对分类任务的数据增广方法, 主要用在UCI这种具有显式特征的一维数据上进行实验, 其基本思路实际上是仅对样本对进行插值,

而Smote是同时对样本和标签对进行插值,

References

1.mixup: B EYOND E MPIRICAL R ISK M INIMIZATION, ICLR 2018;
2.HOW DOES MIXUP HELP WITH ROBUSTNESS AND GENERALIZATION? ICLR 2021.
3. SMOTE: Synthetic Minority Over-sampling Technique, JAIR, 2002文章来源地址https://www.toymoban.com/news/detail-459144.html

到了这里，关于[论文评析]mixup: B EYOND E MPIRICAL R ISK M INIMIZATION, ICLR 2018,的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！