Multi-class classification without multi-class labels (ICLR 2019)

这篇具有很好参考价值的文章主要介绍了Multi-class classification without multi-class labels (ICLR 2019)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Multi-class classification without multi-class labels (ICLR 2019)

摘要

这项工作提出了针对多分类的新策略,不需要具体的类别标签,取而代之是利用样本之间的两两相似度,这是一种弱化的标注方式。所提方法称作元分类学习,为两两相似度预测优化一个二分类器,并通过该过程学习一个多分类器作为子模块。我们阐述了这种方法,并给出了它的概率图形模型,以及推导出一个极其简单的损失函数指导基于神经网络的模型训练。接着。我们展示了相同的框架可以泛化到监督学习、无监督学习、跨任务学习以及半监督学习的设置上。我们在三种学习设置上和最先进的方法进行比较。展现出极具优越性的准确率,为没有多类别标签情况下进行多分类任务是一种可行的学习选择提供了证据。
Multi-class classification without multi-class labels (ICLR 2019)

元分类学习

Multi-class classification without multi-class labels (ICLR 2019)

用观察到的和未观察到的信息分析问题的一种自然方法是通过概率图形模型。如上图所示,用图形模型展示该问题。当两两相似度 S S S被观察到时,具体的类别标签 Y Y Y就是潜在的了。具体来说,我们定义 X = { X 1 , ⋯   , X n } , Y = { Y 1 , ⋯   , Y n } \boldsymbol{X}=\{\textit{X}_1, \cdots, \textit{X}_n\}, Y=\{\textit{Y}_1, \cdots, \textit{Y}_n\} X={X1,,Xn},Y={Y1,,Yn}以及 S = { S ij } 1 ≤ i , j ≤ n S=\{\textit{S}_\textit{ij}\}_{1\le \textit{i}, \textit{j} \le n} S={Sij}1i,jn来分别表示样本集合,类别标签和两两相似度。并且有 P ( S ij = 1 ∣ Y i , Y j ) = 1 P(\textit{S}_\textit{ij}=1|\textit{Y}_\textit{i}, \textit{Y}_\textit{j})=1 P(Sij=1∣Yi,Yj)=1当两个样本标签一致时,否则为0;相似的, P ( S ij = 0 ∣ Y i , Y j ) = 1 P(\textit{S}_\textit{ij}=0|\textit{Y}_\textit{i}, \textit{Y}_\textit{j})=1 P(Sij=0∣Yi,Yj)=1当两个样本不一致时。参数为 θ \theta θ具备判别能力的分类器的输出是 f ( x i ; θ ) = P ( Y i ∣ x i ; θ ) \textit{f}(\textit{x}_\textit{i}; \theta)=P(\textit{Y}_\textit{i}|\textit{x}_\textit{i}; \theta) f(xi;θ)=P(Yixi;θ),其中 f ( x i ; θ ) \textit{f}(\textit{x}_\textit{i}; \theta) f(xi;θ)输出一个类别分布。现在我们描述模型解释观察到的标签的似然(likeihood)(用类标签或两两标签)。
Multi-class classification without multi-class labels (ICLR 2019)
其中 S \boldsymbol{S} S是完全已知的,而 Y \boldsymbol{Y} Y是未知的。计算该似然需要通过计算 ∑ Y P ( S ∣ Y ) P ( Y ∣ X ; θ ) \sum_{\boldsymbol{Y}}P(\boldsymbol{S}|\boldsymbol{Y})P(\boldsymbol{Y}|\boldsymbol{X}; \theta) YP(SY)P(YX;θ) Y \boldsymbol{Y} Y边缘化,但这一步难以做到,其中成对项 P ( S ∣ Y ) = ∏ i , j = P ( S i , j ∣ Y i , Y j ) P(\boldsymbol{S}|\boldsymbol{Y})=\prod_{\textit{i}, \textit{j}}=P(\textit{S}_{\textit{i}, \textit{j}}|\textit{Y}_{\textit{i}}, \textit{Y}_{\textit{j}}) P(SY)=i,j=P(Si,jYi,Yj)使得 Y Y Y相互依赖,无法有效分解因式。计算似然如下:
Multi-class classification without multi-class labels (ICLR 2019)
Multi-class classification without multi-class labels (ICLR 2019)
接着定义函数 g g g表示具有相同类别标签的概率:
Multi-class classification without multi-class labels (ICLR 2019)
改写损失函数:
Multi-class classification without multi-class labels (ICLR 2019)
在此, f \textit{f} f代表多分类器,而 g \textit{g} g代表二分类器。换言之,通过以上简单的推导,就将多分分类器用二分类器包装。因为在 g \textit{g} g中没有可学习的参数,因此元指标指导的优化都是在 f \textit{f} f中进行。为了最小化所提损失,当两个样本类别一致时,模型输出一种峰值只出现在同一输出节点上的急剧峰值分布;不一致时,两个分布之间要尽可能的减少重叠部分。在后一种情景下,两个样本被推向不同的类别。 f \textit{f} f输出分布的这两个性质都是使用类标签和多类交叉熵学习的分类器的典型特征。这些属性也直观地说明了为什么最小化 L m e t a \textit{L}_{meta} Lmeta可以帮助学习类似于多类分类器的输出。
以上所提损失称为元分类似然(Meta Classification Likelihood, MLC)

学习模式

MCL中使用的监督是两两标签 S \textit{S} S。由于它的形式比类标签弱,我们可以灵活地在监督学习、跨任务迁移学习或半监督学习的设置中收集该标签。收集方法同时也决定了学习范式。在前两种学习模式中,其他方法也使用了类似的成对约束;我们的新颖性是我们推导出新的学习目标MCL,它可以取代其他的学习目标。在半监督学习场景中,提出一种新的学习方法Pseudo-MCL。详细说明如下。
Multi-class classification without multi-class labels (ICLR 2019)

监督学习

监督学习的两两标签可以直接从类别标签转化得到。

无监督学习

两两标记可以来自几个自然线索,如空间和时间的接近。例如,一幅图像中的图像块由于空间上的紧密性可以是相似的,而视频在短时间内的帧通常具有相似的内容。此外,有用的两两信息可以在社交网络的边缘或学术引用网络中找到。以上都是本工作的潜在应用。
另一个在目标领域无监督的策略是通过迁移学习收集成对的标签。Hsu等人(2018)提出了一种方法,其中相似性预测网络(SPN)可以从标记的辅助数据集学习。然后对未标记的目标数据集应用SPN预测 S \textit{S} S(属于同一类的概率)。在最后一步中,预测的 S \textit{S} S被送入一个网络(在这种情况下,通过基于Kullback-Leibler散度的对比损失进行优化),以发现未标记目标数据集中的类别。图3b说明了上面的过程。请注意,辅助数据集和目标数据集之间的类可能有重叠(跨域转移)或没有重叠(跨任务转移)(Hsu等人,2018)。在这两种情况下,预测的两两相似度是有噪声的(特别是在后一种情况下);因此,迁移学习策略为学习分类器创造了一个具有挑战性的场景。它的难度使得它成为一个很好的基准来评估我们的方法的鲁棒性,并在我们的实验中被使用。

半监督学习

在半监督学习中,我们提出了一种新的获取 S \textit{S} S的策略。该方法在典型的半监督学习设置下,这需要一个公共数据集 D \textit{D} D用于监督学习和丢弃大部分数据集的标签。 D \textit{D} D中标注和未标注的部分分别用 D L = ( X L , Y L ) , D U L = X U L \textit{D}_L=(\textit{X}_L,\textit{Y}_L), \textit{D}_{UL}=\textit{X}_{UL} DL=(XL,YL),DUL=XUL表示。主要想法就是制造一个伪相似度 S L + U L \textit{S}_{L+UL} SL+UL来进行元分类以0.5的概率对预测的 S ^ L + U L \hat{\textit{S}}_{L+UL} S^L+UL进行二进制,我们称这个方法为Pseudo-MCL,我们注意到,有趣的是,这里 g g g不是静态的,因为它会随着 f f f的改进而迭代改进。以不同方式增强的图像自然属于同一类,从而提供了ground-truth相似性。通过对两个二值化相似点进行逻辑或操作,可以很容易地将这两种方法的相似性组合为 S L + U L \textit{S}_{L+UL} SL+UL。学习目标是多类交叉熵和Pseudo-MCLl的总和,因此输出节点和类之间的映射由学习的监督部分自动决定。

emmmmm

这篇论文的idea和原作者之前的两篇论文有多大区别啊,一个两两相似度反复用。监督学习下的元分类器和16年将多标签弱化为两两相似度进行聚类都没啥区别,不就是之前是用KL散度衡量两个输出分布之间的距离,来逼近所给的pairwise labels;这边直接在输出向量上计算内积,同样逼近所给的pairwise labels。
原作者是不是想用两两相似度在所有领域都用一遍,每次换个名称,换个度量方式(JS散度,MSE,EMD等)然后开始套不同方式的设置。18年是用在了跨域迁移和跨任务迁移,19年这篇用在了监督学习,无监督学习,半监督学习。这篇中的无监督学习还是明晃晃的引用自己的16年的跨任务迁移的解决方法。
这个也能发ICLR啊,还是三篇!!!!!!!!!!文章来源地址https://www.toymoban.com/news/detail-501823.html

到了这里,关于Multi-class classification without multi-class labels (ICLR 2019)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【论文阅读22】Label prompt for multi-label text classification

    论文标题:Label prompt for multi-label text classification(基于提示学习的多标签文本分类) 发表时间:2023 领域:多标签文本分类 发表期刊:Applied Intelligence(SCI二区) 相关代码:无 数据集:无 多标签文本分类由于其实际应用而受到学者的广泛关注。多标签文本分类的关键挑战之

    2024年02月15日
    浏览(59)
  • 【NLP】Label prompt for multi-label text classification论文阅读笔记

            写于来XXXX公司实习的最后一个月,预祝自己实习顺利结束~ Paper address: Label prompt for multi-label text classification | Applied Intelligence ( Applied Intelligence 2023)          在多标签分类任务中,在复杂且未知的标签空间中直接对标签之间的相关性进行建模是相当具有挑战性的。

    2024年02月02日
    浏览(51)
  • do_ocr_multi_class_mlp

    threshold(ImageReduced, Region1, 120, 255) dilation_circle(Region1, RegionDilation, 1) connection(RegionDilation, ConnectedRegions2) select_shape(ConnectedRegions2, SelectedRegions2, \\\'area\\\', \\\'and\\\', 50, 99999) sort_region(SelectedRegions2, SortedRegions, \\\'first_point\\\', \\\'true\\\', \\\'column\\\') area_center(SortedRegions, Area, Row, Column) count_obj(SortedRegions, Nu

    2024年02月15日
    浏览(44)
  • Elasticsearch:Multi-match (multi_match) 及 Disjunction max 查询

    多重匹配(multi_match)查询,顾名思义就是跨多个字段搜索查询。 例如,如果我们想在 title、synopsis 和 tags 三个字段中搜索 Java 一词,那么 multi_match query 就是答案。另外,很多开发者还不是很清楚 multi-match 及 disjunction max query 的区别和联系。在今天的文章中,我将详述这两个

    2024年02月05日
    浏览(47)
  • mysqld_multi测试

    mysqld_multi测试 mysql版本:5.7.25-log 在OS上分别安装了两套mysql, data目录为/mysql/mysql3306、 /mysql/mysql3307 。 端口分别为3306 、3307  配置文件为: /mysql/mysql3306/my.cnf /mysql/mysql3307/my.cnf 参考文档: https://mysql.net.cn/doc/refman/8.0/en/mysqld-multi.html --mysqld_multi的配置,在/etc/下建立my.cnf文件,

    2024年02月07日
    浏览(29)
  • [NAND Flash 6.6] NAND FLASH Multi Plane Program(写)操作_multi plane 为何能提高闪存速度

    依公知及经验整理,原创保护,禁止转载。 专栏 《深入理解NAND Flash》 返回总目录 Multi Plane 简介 Multi Plane Program 时序图 Multi Plane 提速机理 Multi Plane Program 状态检查 前言 上一篇我们介绍了 NAND FLASH 基本编程(写)操作及原理_ NAND FLASH Program Operation 源码实现。这只是一次对单

    2024年02月01日
    浏览(47)
  • [深入理解NAND Flash (指令篇) ] NAND FLASH Multi Plane Program(写)操作_multi plane 为何能提高闪存速度

    传送门    总目录 主页 : 元存储的博客_CSDN博客 依公开知识及经验整理,如有误请留言。 个人辛苦整理,付费内容,禁止转载。 内容摘要 前言 Multi Plane 简介 Multi Plane Program 时序图 Multi Plane 提速机理 Multi Plane Program 状态检查 前言 上一篇我们介绍了 [深入理解SSD系列 闪存实

    2024年02月13日
    浏览(45)
  • Vue报错:Component name “School“ should always be multi-word vue/multi-word-component

      今天搭建脚手架,系统报了将近6,7个错误,弄得我头疼。更可气的是,犯的这些全是低级错误!为了未来不再踩坑,写此文记录之。   第一个,在搭建完脚手架后,命令行一直报“Component name “School” should always be multi-word vue/multi-word-component”。 意思是件名称“学校”应

    2024年02月13日
    浏览(38)
  • xilinx FPGA multi boot之镜像切换

    最近做的了一个无线通信的项目,需要在同一套设备上实现两套不同的波形软件,因为FPGA的逻辑资源不够同时放下两套代码,因此采用了镜像切换的方式来实现,xilinx的专业术语叫multi boot功能 。意思是在一片Flash中的不同地址放两个代码镜像,通过FPGA的任意一个IO切换镜像

    2024年02月04日
    浏览(36)
  • error Component name “index“ should always be multi-word vue/multi-word-component-names 的解决办法

    在创建组件命名时,引用 index.vue 的过程中报错; 其一、报错的全称为: error Component name \\\"index\\\" should always be multi-word vue/multi-word-component-names 翻译为: 错误组件名称“索引”应始终为多词 vue/多词组件名称 其二、问题分析: 新手在使用脚手架时总会报各种错,报错信息指的是

    2024年02月16日
    浏览(48)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包