1. Toy模板网首页
  2. > Toy博客

论文笔记：SUPERVISED CONTRASTIVE REGRESSION

9月前 作者：UQI-LIUWJ 分类：Toy博客 阅读(44) 违法举报

这篇具有很好参考价值的文章主要介绍了论文笔记：SUPERVISED CONTRASTIVE REGRESSION。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

2022arxiv的论文，没有中，但一作是P大图班本MIT博，可信度应该还是可以的

0 摘要

  • 深度回归模型通常以端到端的方式进行学习，不明确尝试学习具有回归意识的表示。
    • 它们的表示往往是分散的，未能捕捉回归任务的连续性质。
  • 在本文中，我们提出了“监督对比回归”（Supervised Contrastive Regression，SupCR）的框架
    • 该框架通过将样本与目标距离进行对比来学习具有回归意识的表示。
    • SupCR与现有的回归模型是正交的，并且可以与这些模型结合使用以提高性能。
  • 在涵盖计算机视觉、人机交互和医疗保健领域的五个真实世界回归数据集上进行的大量实验表明，使用SupCR可以达到最先进的性能，并且始终在所有数据集、任务和输入模式上改进先前的回归基线。
    • SupCR还提高了对数据损坏的鲁棒性
    • 对减少的训练数据具有弹性
    • 改善了迁移学习的性能
    • 并且对未见过的目标有很好的泛化能力。

1 介绍

1.1 动机

  • 之前的回归问题
    • 都集中在以端到端的方式对最终预测进行约束
    • 并未明确考虑模型学到的表示
  • ——>学习的表示往往是分散的，未能捕捉回归任务中连续的关系论文笔记：SUPERVISED CONTRASTIVE REGRESSION,论文笔记,论文阅读
  • 图1(a)展示了在从网络摄像头户外图像预测天气温度的任务中，由L1损失学习的表示
    • L1模型学习的表示并没有呈现连续的真实温度值；相反，它按不同的摄像头以一种碎片化的方式进行分组。
      • 这种无序和碎片化的表示对于回归任务是次优的，甚至可能会妨碍性能，因为其中包含了干扰信息
  • 之前的表示学习都集中在分类问题上
    • 尤其是监督学习和对比学习
    • 如图1(b)所示，这些方法在上述视觉温度预测任务中学习的表示对于回归问题来说是次优的
      • 因为它忽略了回归任务中样本之间的连续顺序。

1.2 本文思路

  • 引入了“监督对比回归”（Supervised Contrastive Regression，SupCR）这一新的深度回归学习框架
    • 首先学习一个表示，确保嵌入空间中的距离与目标值的顺序相对应
      • 为了学习这样一个具有回归意识的表示，我们根据样本的标签/目标值距离将样本进行对比
    • 然后使用这个表示来预测目标值
  • 方法明确地利用样本之间的有序关系来优化下游回归任务的表示（如1(c)所示）
  • 此外，SupCR与现有的回归方法正交
    • 可以使用任何类型的回归方法将学习到的表示映射到预测值上。

2 方法

2.0 方法定义

  • 学习一个神经网络，由两部分组成

     文章来源地址https://www.toymoban.com/news/detail-634688.html

    • 特征encoder论文笔记：SUPERVISED CONTRASTIVE REGRESSION,论文笔记,论文阅读
    • 预测器 从中预测
  •  对于给定的输入 batch，类似于对比学习,首先对数据进行两次数据增强，得到batch的两个view
    • 这两个view被输入到编码器f(·)中，为每个增强的输入数据获取一个de维特征嵌入
    • 监督对比回归损失是在这些特征嵌入上计算的
      • 为了将学习到的表示用于回归，冻结编码器f(·)，然后在其之上训练预测器，使用回归损失（例如，L1损失）

2.1 监督对比回归损失

  • 大前提：希望损失函数能够确保嵌入空间中的距离与标签空间中的距离相对应
  • 给定N个数据组成的batch ，其中有input和label 
    • 对该批数据应用数据增强，得到两个视图的batch
      • t和t'是两种数据增强方式
      • ——>得到两个视图下的batch
    • 数据增强后的batch会被喂到encoder中，以获得相应的embedding
  • 监督对比回归损失为

论文笔记：SUPERVISED CONTRASTIVE REGRESSION,论文笔记,论文阅读

比如我们计算20这个样本的对比学习损失函数时，将30作为anchor的时候，会有两个负样本；将0作为anchor的时候，会有一个负样本论文笔记：SUPERVISED CONTRASTIVE REGRESSION,论文笔记,论文阅读

 2.2 理论证明

略

3 实验

3.1 五个实验

AgeDB
  • 从人脸图像预测年龄。
  • 包含了16,488张名人的图像和相应的年龄标签。
  • 年龄范围在0到101岁之间。
  • 数据集被分为12,208张训练图像、2140张验证图像和2140张测试图像。
TUAB
  • 从EEG静息态信号估计脑龄。
  • 包括1,385个21通道的EEG信号，采样频率为200Hz，来自年龄范围从0到95岁的个体。
  • 数据集被分为1,246个受试者的训练集和139个受试者的测试集。
MPIIFaceGaze
  • 从人脸图像估计注视方向。
  • 包含了213,659张从15名参与者收集的人脸图像
  • 将其划分为一个33,000张训练图像、6,000张验证图像和6,000张测试图像的数据集，参与者之间没有重叠。
  • 注视方向被描述为一个二维向量，第一维是俯仰角，第二维是偏航角。俯仰角的范围是-40°到10°，偏航角的范围是-45°到45°。
SkyFinder
  • 从户外网络摄像头图像预测温度。
  • 包含了由44台摄像头在每天上午11点左右拍摄的35,417张图像，天气和照明条件涵盖了广泛的范围。
  • 温度范围是-20°C到-49°C。
  • 数据集被分为28,373张训练图像、3,522张验证图像和3,522张测试图像。
IMDB-WIKI
  • 从人脸图像预测年龄
  • 包含了523,051张名人图像和相应的年龄标签。
  • 年龄范围在0到186岁之间（有些图像标签错误）。
  • 使用该数据集来测试方法对减少训练数据的弹性，迁移学习的性能以及对未见目标的泛化能力。

3.2 实验效果

论文笔记：SUPERVISED CONTRASTIVE REGRESSION,论文笔记,论文阅读

 论文笔记：SUPERVISED CONTRASTIVE REGRESSION,论文笔记,论文阅读

 3.3 数据损坏的鲁棒性

使用ImageNet-C基准测试中的损坏生成过程来对AgeDB测试集进行19种不同强度级别的多样化损坏。

论文笔记：SUPERVISED CONTRASTIVE REGRESSION,论文笔记,论文阅读

 3.4 训练数据的影响

论文笔记：SUPERVISED CONTRASTIVE REGRESSION,论文笔记,论文阅读

 

到了这里，关于论文笔记：SUPERVISED CONTRASTIVE REGRESSION的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 【自监督论文阅读笔记】Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture

    【自监督论文阅读笔记】Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture

    2023         本文展示了一种 学习高度语义图像表示 的方法，而 不依赖于手工制作的数据增强 。本文介绍了 基于图像的联合嵌入预测架构 (I-JEPA) ，这是一种用于从图像进行自监督学习的 非生成方法 。 I-JEPA 背后的想法很简单： 从单个上下文块，预测同一图像中各种目

    2024年02月09日
    浏览(48)
  • 【论文阅读】Deep Graph Contrastive Representation Learning

    【论文阅读】Deep Graph Contrastive Representation Learning

    作者：Yanqiao Zhu Yichen Xu 文章链接：Deep Graph Contrastive Representation Learning 代码链接：Deep Graph Contrastive Representation Learning 现实世界中，图的标签数量较少，尽管GNNs蓬勃发展，但是训练模型时标签的可用性问题也越来越受到关心。 传统的无监督图表征学习方法，例如DeepWalk和nod

    2024年01月18日
    浏览(56)
  • 【论文阅读】Equivariant Contrastive Learning for Sequential Recommendation

    【论文阅读】Equivariant Contrastive Learning for Sequential Recommendation

    2023-RecSys https://github.com/Tokkiu/ECL 对比学习（CL）有利于对具有信息性自我监督信号的顺序推荐模型的训练。 现有的解决方案应用一般的顺序数据增强策略来生成正对，并鼓励它们的表示是不变的。 然而，由于用户行为序列的固有属性，一些增强策略，如项目替代，可能会导致

    2024年01月18日
    浏览(45)
  • 论文阅读：Heterogeneous Graph Contrastive Learning for Recommendation（WSDM ’23）

    论文阅读：Heterogeneous Graph Contrastive Learning for Recommendation（WSDM ’23）

    论文链接 在推荐系统中，图神经网络在建模图结构数据上已经变成一个强有力的工具。但是现实生活的推荐语义通常涉及异质关系（像用户的社交关系，物品知识关系的依赖），这些都包含丰富的语义信息去提升表征能力的学习。同时，对比自监督学习在推荐系统中也取得了

    2024年02月08日
    浏览(49)
  • 论文阅读 Self-Supervised Burst Super-Resolution

    论文阅读 Self-Supervised Burst Super-Resolution

    这是一篇 ICCV 2023 的文章，主要介绍的是用自监督的方式进行多帧超分的学习 Abstract 这篇文章介绍了一种基于自监督的学习方式来进行多帧超分的任务，这种方法只需要原始的带噪的低分辨率的图。它不需要利用模拟退化的方法来构造数据，而且模拟退化的方法又可能存在域

    2024年01月18日
    浏览(57)

  • 论文阅读-Neighbor Contrastive Learning on Learnable Graph Augmentation(AAAI2023)

            人为设计的图增强，可能会破坏原始图的拓扑结构，同时相邻节点被视为负节点，因此被推离锚点很远。然而，这与网络的同质性假设是矛盾的，即连接的节点通常属于同一类，并且应该彼此接近。本文提出了一种端到端的自动GCL方法，称为NCLA，将 邻居对比学习

    2024年02月14日
    浏览(39)
  • 论文阅读 - Detecting Social Bot on the Fly using Contrastive Learning

    论文阅读 - Detecting Social Bot on the Fly using Contrastive Learning

    目录  摘要：  引言 3 问题定义 4 CBD 4.1 框架概述 4.2 Model Learning 4.2.1 通过 GCL 进行模型预训练  4.2.2 通过一致性损失进行模型微调  4.3 在线检测 5 实验 5.1 实验设置 5.2 性能比较 5.5 少量检测研究  6 结论 https://dl.acm.org/doi/pdf/10.1145/3583780.3615468           社交机器人检测正

    2024年02月06日
    浏览(49)
  • 【论文阅读】23_SIGIR_Disentangled Contrastive Collaborative Filtering（分离对比协同过滤）

    【论文阅读】23_SIGIR_Disentangled Contrastive Collaborative Filtering（分离对比协同过滤）

    2023—SIGIR 论文地址 code 地址 最近的研究表明，图神经网络（GNNs）普遍用于建模协同过滤（CF）。对于这一研究方向，图对比学习（GCL）通过学习增强的用户和项目表示，在解决监督标签短缺问题方面表现出了强大的性能。虽然其中许多显示了其有效性，但有两个关键问题仍

    2024年02月13日
    浏览(39)
  • 【论文阅读】Digging Into Self-Supervised Monocular Depth Estimation

    【论文阅读】Digging Into Self-Supervised Monocular Depth Estimation

    论文：https://arxiv.org/pdf/1806.01260.pdf 代码：https://github.com/nianticlabs/monodepth2 A: 这篇论文试图解决的问题是如何提高仅使用单目图像进行深度估计的性能。具体来说，它关注的是如何在没有像素级地面真实深度数据的情况下，通过自监督学习方法训练模型来生成高质量的深度图。

    2024年04月17日
    浏览(45)
  • [论文阅读]Self-Supervised Learning for Videos: A Survey

    [论文阅读]Self-Supervised Learning for Videos: A Survey

    Schiappa, M. C., Rawat, Y. S., Shah, M. (2023). Self-Supervised Learning for Videos: A Survey. ACM Comput. Surv., 55(13s), 1–37. https://doi.org/10.1145/3577925 论文中文名称：视频的自监督学习综述 摘要： 深度学习在各个领域取得的显著成功依赖于大规模标注数据集的可用性。然而，获取标注是昂贵且需要巨

    2024年01月17日
    浏览(57)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包