论文笔记 | Learning from Noisy Labels with Decoupled Meta Label Purifier(DMLP)

这篇具有很好参考价值的文章主要介绍了论文笔记 | Learning from Noisy Labels with Decoupled Meta Label Purifier(DMLP)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Introduction

problem

深度学习识别任务依赖于大量可靠标记的数据集,但通过爬虫等收集到的数据不可避免地会有噪声标签。这些标签不适合直接用来训练,因为复杂的模型容易记住噪声标签,导致泛化能力下降

解决

1.经典的LNL方法

识别噪声样本,减小它们对参数更新的影响(舍弃或者降低权重或半监督学习)

但对于极端复杂的情形,这种方法会因为没有足够的干净数据,训练不出一个判别器

2.标签纠正(增加干净的训练样本)

meta-learning based approaches (resorting to a small clean validation set and taking noisy labels as hyper-parameters)

涉及模型权重和超参数的嵌套双层优化问题,在计算上不可行

作为折中,两者交替更新,就形成了耦合的方法

耦合存在的问题

交替更新在较大的空间上会产生次优解问题

设计实验研究交替更新(近似)对结果产生的影响

方法:MLC and MSLC  on CIFAR-10 (深度模型 + 元标签纠正网络)

实验结果1:耦合优化阻碍了校正标签的质量

将耦合纠正器和它极度解耦的变体进行对比

评价方法:纠正标签的正确率(还会反向影响表示学习)

实验结果2:耦合优化阻碍了表示能力

评价方法:提取特征的线性探针的准确度

借助预训练好的backbone和自监督学习作为初始化,以更好地研究对于表示学习的影响

结果:耦合的提升比解耦的提升小

提出解耦的方法

将元标签学习从表示学习中提取出来,设计一个简单的元标签纯化器

DMLP(meta-learning based)

为了避免用耦合的方法解决双层优化,DMLP将其解耦为自监督表示学习和线性元学习器

线性元学习器:两个相互加强的校正过程

内在主校正IPC 和 外在的辅助校正EAC

IPC:以稳定的速度净化标签

EAC:使用IPC中更新的标签训练,加速净化的进程

本文的主要贡献

1.用解耦的方法解决双层优化

2.元标签净化器,两个校正器:IPC and EAC


Related Works

1.Noisy sample detection

2.Label correction

估计噪声转移矩阵

问题:通常假设噪声类型与类别相关,不适合现实生活中的噪声

利用网络预测

问题:过度参数化的骨干网络在噪声存在下训练会波动

无监督的对比学习

meta-learning based method

耦合的方法
DMLP

 

Method

MLC (Meta Label Correction)

我们构建一个标签校正网络(LCN)作为元模型。LCN被参数化为一个具有参数,的函数,以纠正实例特征h(x)的弱标签y'为一个更准确的标签y。同时,我们旨在训练并用于训练后预测的主要模型,被实例化为另一个参数为w的函数 。

这两个模型通过双级优化框架连接在一起:

论文笔记 | Learning from Noisy Labels with Decoupled Meta Label Purifier(DMLP),人工智能,机器学习,深度学习论文笔记 | Learning from Noisy Labels with Decoupled Meta Label Purifier(DMLP),人工智能,机器学习,深度学习

双层优化问题:统一GAN,演员-评论员与元学习方法

双层优化如何求解?

一步SGD更新

像许多其他涉及双层优化的工作一样,问题(1)的精确解需要在α更新时求解最优的。我们没有求解每个α的的最优值,而是采用了一步的SGD更新来近似给定α的最优主模型,其中

设上层目标函数为,那么优化问题就变为

k步超前SGD更新

感觉类似于Reptile

论文笔记 | Learning from Noisy Labels with Decoupled Meta Label Purifier(DMLP),人工智能,机器学习,深度学习

可以改进的地方

  1. 两个损失函数都不是解析的,并且涉及到DNN复杂的前向传播,求解嵌套优化目标在计算上是昂贵的
  2. 由于耦合,不能保证一步更新时最优的

DMLP 

1.将表示学习从噪声标签校正中分离

论文笔记 | Learning from Noisy Labels with Decoupled Meta Label Purifier(DMLP),人工智能,机器学习,深度学习

 G是一个预训练的特征提取器,这些提取的特征被用于对比自监督学习框架中,在没有噪声标签的情况下作为预训练更新参数。这样,得到一个对于噪声不敏感的描述器,且在高维空间中仍然可分。

这样,损失函数就是可解析的简单的风险估计函数,且是非嵌套的

2.IPC and EAC

论文笔记 | Learning from Noisy Labels with Decoupled Meta Label Purifier(DMLP),人工智能,机器学习,深度学习

论文笔记 | Learning from Noisy Labels with Decoupled Meta Label Purifier(DMLP),人工智能,机器学习,深度学习

IPC (Intrinsic Primary Correction)

作用:以稳定缓慢的速度进行全局的标签纯化

由于特征描述具有代表性和高度可分性,我们假定存在一个简单的线性估计变换,能够准确运用岭回归进行类别分布预测。

论文笔记 | Learning from Noisy Labels with Decoupled Meta Label Purifier(DMLP),人工智能,机器学习,深度学习

是缩放因子。于是我们得到在上的,再通过线性回归在验证集上进行预测

论文笔记 | Learning from Noisy Labels with Decoupled Meta Label Purifier(DMLP),人工智能,机器学习,深度学习

论文笔记 | Learning from Noisy Labels with Decoupled Meta Label Purifier(DMLP),人工智能,机器学习,深度学习

其中H ( · )表示输入分布的熵作为正则化项,以锐化预测的标签分布

论文笔记 | Learning from Noisy Labels with Decoupled Meta Label Purifier(DMLP),人工智能,机器学习,深度学习

EAC

作用:加速标签校正的过程

用IPC校正以后的标签训练一个伴随的线性分类器(对于噪声标签有固有的鲁棒性,可以很快达到高正确率)

论文笔记 | Learning from Noisy Labels with Decoupled Meta Label Purifier(DMLP),人工智能,机器学习,深度学习

的更新是阶段性的,每T次迭代进行动量更新(EMA)

论文笔记 | Learning from Noisy Labels with Decoupled Meta Label Purifier(DMLP),人工智能,机器学习,深度学习

是动量

从全局意义上讲,经过T次迭代训练后,EAC可以通过模仿IPC逐步更新的标签,快速实现局部最优的标签估计,从而通过提供更干净的训练标签,反向促进IPC的标签校正。

3.DMLP的应用

Naive classification network with DMLP (DMLP-Naive)

用DMLP校正后的标签重新训练一个分类网络

LNL framework boosted by DMLP (e.g. DMLP-DivideMix)

用DMLP校正后的标签为训练样本,在现有LNL框架上继续校正标签

实验

人造噪声的CIFAR-10/100和真实噪声的Clothing1M数据集上,设置对称噪声和非对称噪声(更接近现实世界),设置不同比例的噪声

1.与现有方法比较

CIFAR-10/100  对称噪声

DivideMix* vs DMLP-DvideMix

值得注意的是,直接使用验证数据来训练DivideMix (也就是说, DivideMix *)仅带来了微小改进,而当使用DMLP纯化的标签时,获得了显著的改进,这表明DMLP在使用验证集解决LNL问题方面是有效的

DivideMix vs DMLP-DvideMix

对于增强现有框架有效

CIFAR-10  非对称噪声

证明了DMLP在处理更难的语义相关噪声方面的能力,对不同噪声水平的鲁棒性

Clothing1M

结果表明,DMLP更适用于真实环境中的噪声

2.标签校正准确率

与MLC和MSLC在CIFAR-10上比较

论文笔记 | Learning from Noisy Labels with Decoupled Meta Label Purifier(DMLP),人工智能,机器学习,深度学习

3.DMLP的泛化能力

 值得注意的是,由于CDR高度依赖早期停止技术,在训练过程中存在严重的记忆效应,导致最佳结果与最终性能之间存在差异。说明DMLP输出的标签具有更好的抑制记忆效果的质量。也证明了DMLP能够增强现有的LNL框架。

消融实验

1.IPC和EAC的影响

方法:排除一个过程,利用另一个过程校正的标签训练DMLP-Naive

论文笔记 | Learning from Noisy Labels with Decoupled Meta Label Purifier(DMLP),人工智能,机器学习,深度学习

实验结果表明,EAC由于其固有的鲁棒性,在低噪声情况下表现良好,随着噪声比的增加,性能迅速下降 ;IPC对高水平噪声具有更强的鲁棒性,但由于其优化过程缓慢,与两者结合相比存在较大差距。

2.解耦的影响

耦合的MLC和MSLC,相同的自监督预训练权重

论文笔记 | Learning from Noisy Labels with Decoupled Meta Label Purifier(DMLP),人工智能,机器学习,深度学习

 实验结论:这种优越性主要归因于解耦而不是自监督预训练

3.不同特征表示对净化效果的影响

在DMLP的标签校正过程中,特征的质量起着至关重要的作用,因为学习到的特征的分布与高维空间中线性估计假设背后的合理性密切相关

预训练的ResNet-18/50 

论文笔记 | Learning from Noisy Labels with Decoupled Meta Label Purifier(DMLP),人工智能,机器学习,深度学习

实验结论:DMLP对输入特征的表征能力不是很敏感 

4.验证集的大小

论文笔记 | Learning from Noisy Labels with Decoupled Meta Label Purifier(DMLP),人工智能,机器学习,深度学习

 实验结论:DMLP的有效性在很大程度上不依赖于验证规模

5.极噪声环境下的性能

除了给定的干净验证集外,训练集中的所有标签都是不可靠的,将LNL问题转化为半监督学习问题。

将DMLP - Division Mix与一些先进的半监督学习算法进行比较

论文笔记 | Learning from Noisy Labels with Decoupled Meta Label Purifier(DMLP),人工智能,机器学习,深度学习文章来源地址https://www.toymoban.com/news/detail-753666.html

问题

  1. 双层优化中的leader和follower怎么确定?
  2. 为什么是非嵌套的?
  3. 如何理解meta-learning based

到了这里,关于论文笔记 | Learning from Noisy Labels with Decoupled Meta Label Purifier(DMLP)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【论文阅读笔记】 Representation Learning with Contrastive Predictive Coding

    这段文字是论文的摘要,作者讨论了监督学习在许多应用中取得的巨大进展,然而无监督学习并没有得到如此广泛的应用,仍然是人工智能中一个重要且具有挑战性的任务。在这项工作中,作者提出了一种通用的无监督学习方法,用于从高维数据中提取有用的表示,被称为“

    2024年01月25日
    浏览(40)
  • cvpr2023-目标检测-Combating noisy labels in object detection datasets

    我们都知道数据对于深度学习模型的重要性,但是如何省时省力的得到高质量的数据呢?这就是此文章探讨的问题。 目录 1. 论文下载 2. 背景  3. 相关技术 4. 创新点 5. 算法 5.1 置信学习(Confident learning)  5.2 目标检测中的CL算法 https://arxiv.org/abs/2211.13993 对于深度学习模型来

    2024年02月06日
    浏览(42)
  • CLIP论文笔记——Learning Transferable Visual Models From Natural Language Supervision

    一个强大的无监督训练模型 通过NLP来的监督信号得到迁移学习 进行图片与文字的配对实现监督的信号,解决了需要打标签进行训练的限制,增强了模型的泛化能力 CLIP的结构包含两个模型 Text Encoder 和 Image Encoder ,Text Encoder用于提取文本特征,Image Encoder用来提取图像特征 C

    2024年02月02日
    浏览(36)
  • 论文笔记(三十九)Learning Human-to-Robot Handovers from Point Clouds

    作者:Sammy Christen,Wei Yang,Claudia P´erez-D’Arpino,Otmar Hilliges,Dieter Fox,Yu-Wei Chao 来源:Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 9654-9664) 原文:https://openaccess.thecvf.com/content/CVPR2023/papers/Christen_Learning_Human-to-Robot_Handovers_From_Point_Clouds_CVPR_2023_paper.pdf 代

    2024年01月16日
    浏览(43)
  • 【论文笔记_对比学习_2021】CONTRASTIVE LEARNING WITH HARD NEGATIVE SAMPLES

    用困难负样本进行对比性学习 如何才能为对比性学习提供好的负面例子?我们认为,就像度量学习一样,表征的对比性学习得益于硬性负面样本(即难以与锚点区分的点)。使用硬阴性样本的关键挑战是,对比性方法必须保持无监督状态,这使得采用现有的使用真实相似性信

    2023年04月08日
    浏览(38)
  • 【论文阅读笔记】UNSUPERVISED REPRESENTATION LEARNING FOR TIME SERIES WITH TEMPORAL NEIGHBORHOOD CODING

     本文提出了一种自监督框架,名为“时间邻域编码”(Temporal Neighborhood Coding,TNC),用于学习非平稳时间序列的可泛化表示。该方法利用信号生成过程的局部平滑性来定义具有平稳性质的时间邻域。通过使用去偏差对比目标,该框架通过确保在编码空间中,来自邻域内的信

    2024年02月21日
    浏览(61)
  • 【论文阅读笔记】Attack-Resistant Federated Learning with Residual-based Reweighting

    个人阅读笔记,如有错误欢迎指出 Arxiv 2019        [1912.11464] Attack-Resistant Federated Learning with Residual-based Reweighting (arxiv.org) 问题:         联邦学习容易受到后门攻击 创新:         提出一种基于残差的重新加权聚合算法         聚合算法将重复中值回归和加权

    2024年02月15日
    浏览(44)
  • 【论文笔记】Scene Reconstruction From 4D Radar Data with GAN and Diffusion

    原文链接:https://kth.diva-portal.org/smash/get/diva2:1799731/FULLTEXT01.pdf 本文使用深度生成模型(DGM)实现以4D雷达为条件的图像生成,以提供雷达数据的另一可视化方法并增强可解释性。 实验中的雷达和RGB相机固定在路面上方并经过时空同步。雷达和图像的数据对会作为网络的训练数

    2024年02月03日
    浏览(48)
  • 【论文阅读笔记】M3Care: Learning with Missing Modalities in Multimodal Healthcare Data

    本文介绍了一种名为“M³Care”的模型,旨在处理多模态医疗保健数据中的缺失模态问题。这个模型是端到端的,能够补偿病人缺失模态的信息,以执行临床分析。M³Care不是生成原始缺失数据,而是在潜在空间中估计缺失模态的任务相关信息,利用来自具有相似未缺失模态的

    2024年02月04日
    浏览(88)
  • 论文笔记|Not All Tasks Are Equally Difficult MultiTask Reinforcement Learning with Dynamic Depth Routing

    AAAI24 多任务强化学习致力于用单一策略完成一组不同的任务。为了通过跨多个任务共享参数来提高数据效率,常见的做法是将网络分割成不同的模块,并训练路由网络将这些模块重新组合成特定于任务的策略。然而,现有的路由方法对所有任务采用固定数量的模块,忽略了具

    2024年01月19日
    浏览(38)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包