Multi-View Learning(多视图学习/多视角学习 )是什么? Co-training(协同训练)和它的关系

这篇具有很好参考价值的文章主要介绍了Multi-View Learning(多视图学习/多视角学习 )是什么? Co-training(协同训练)和它的关系。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一句话解释什么是Multi-View Learning:从多个视角进行学习,可以让模型从多方面更好的理解事物,从而提升模型的性能

多个视角的来源:

(1) 多个源(multiple sources ):比如人物识别可以用脸、指纹等作为不同源的输入。
(2) 多个特征子集(different feature subsets;):比如图像表示可以用颜色、文字等作为不同特征表述。


可用于多视角学习算法分为三类:(1)Co-training 协同训练 (2)Multiple Kernel Learning 多核学习 (3)Subspace Learning 子空间学习。

我们先学习一下什么是协同训练,理解了协同训练就差不多可以理解多视图学习 (Multi-View Learning)是什么了:

协同训练 Co-training

Co-training是基于分歧的方法,其假设每个数据可以从不同的角度(view)进行分类,不同角度可以训练出不同的分类器,然后用这些从不同角度训练出来的分类器对无标签样本进行分类,再选出认为可信的无标签样本加入训练集中。由于这些分类器从不同角度训练出来的,可以形成一种互补,而提高分类精度;就如同从不同角度可以更好地理解事物一样


随着数据采集技术的不断发展,人们获得的数据常常具有多个视角, 形成多视图数据。多视图学习可以为来自多个特征集的数据融合或数据集成。

图a.根据网页本身的内容和其超链接的内容,对网页进行识别与分类;

图b.根据视频的图像和音频视角识别学习视频;

图c.除了同一事件的不同特征值外,多视角学习还可以是数据的不同采集来源,如一片待测区域数据,是来自全站仪,扫描仪与无人机测量的数据;

图d.更具论文的作者以及参考文献中的引用关系可以对论文进行学科分类。


在半监督深度学习里,co-training 会以什么方式呈现呢?问题的关键自然在于,如何去构建两个(或多个)近似代表充分独立的视图的深度模型,两个比较直观的方法就是:

  • 使用不同的网络架构(哪怕是对同一个数据集,不同的网络架构学习到的预测分布是不一样的);

  • 使用特殊的训练方法来得到多样化的深度模型。

具体的文章介绍看:半监督深度学习小结:类协同训练和一致性正则化 | 机器之心

我们来总结一下类协同训练在深度学习中应用的三个关键点:

1. 怎么训练具有不同视图信息的分类器?目前看到的方法有二:1)构建不同的数据集;2)使用不同的网络架构。看起来两种方法一起用效果会更好;

2. 如何解决 collapsed neural networks 问题,即如何保持分类器的 diversity,这问题非常重要。 

3. 如何训练“好”的无标签样本加入训练集?虽然协同训练本身通过一致性原则选择的样本就具有一定的可靠性,但是否有很好的挑选方法?如稳定性。


单视图学习

单视图学习可以在传统的垃圾邮件过滤中见到。比如我们训练一个classifier去筛选垃圾邮件,我们可以通过自然语言处理(NLP)去通过邮件的内容来判断它是否是垃圾邮件。我们通常会增加一些features,比如标点符号的比例,邮件的文档长度。新的features和文档内容放在同一个视图下,我们在这里可以把视图理解为一个pd.dataframe。然后通过监督学习(supervised-learning)去训练一个模型。

多视图学习

多视图学习则可以解决更复杂的问题。我们通过一个简单的例子来理解:我们现在构建一个公司防御系统,来检测公司员工的异常行为。这个防御系统可以看到员工的邮件往来网络,以及员工访问公司文件的日志。系统通过文件访问日志了解到,员工A,B,C只访问资源I,员工D,E,F,G则同时访问资源I和资源II。这时没有异常信息可以被检测到。接下来,系统通过邮件网络了解到:员工{A,B,C,D}处于一个团队,员工{E,F,G}则在另外一个团队。通过这2个视图,我们则可以检测到员工D的异常行为。因为第一个团队的{A,B,C,D}里只有他一人同时访问资源I和资源II,在这里我们可以把这个团队理解为项目I的开发部门。{E,F,G}则同时负责项目I和项目II(比如说管理角色)。对第二个团队来说,同时访问资源I和资源II是很正常的,而第一个团队的D则不应该访问资源II。我们可以看到有必要从两个不同的视图来判断员工D有异常行为。

半监督深度学习又小结之类协同训练 - 知乎

什么是多视图学习(Multiview Learning)? - 唐建威 - 博客园

多视图学习 (Multi-View Learning)_长路漫漫2021的博客-CSDN博客_多视图学习文章来源地址https://www.toymoban.com/news/detail-449620.html

到了这里,关于Multi-View Learning(多视图学习/多视角学习 )是什么? Co-training(协同训练)和它的关系的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 论文阅读1--A Survey on Incomplete Multi-view Clustering(不完全多视图聚类的调查)阅读笔记

    目录 写在前面(知识补充) 0.Abstract 1.Introduction 2. FUNDAMENTALS AND PRELIMINARY CONCEPTS 3. MATRIX FACTORIZATION BASED IMC(基于矩阵分解的IMC) 4. KERNEL LEARNING BASED IMC(基于内核学习的IMC) 5.GRAPH LEARNING BASED IMC(基于图学习的IMC) 6.DEEP LEARNING BASED IMC(基于深度学习的IMC) 7. EXPERIMENTS(实验部分)

    2024年02月05日
    浏览(56)
  • 用于多视图 3D 对象检测的位置嵌入变换(PETR: Position Embedding Transformation for Multi-View 3D Object Detection)

    本文PETR (PETR: Position Embedding Transformation for Multi-View 3D Object Detection)是对DETR3D (3D Object Detection from Multi-view Images via 3D-to-2D Queries)的改进,将2D转换至3D,还存在三个问题: (1) 空间与多视图之间的信息交互依赖于3D参考点估计的准确性,使得采样的特征超出了对象区域,无法投影

    2024年02月07日
    浏览(48)
  • 《论文阅读21》Equivariant Multi-View Networks

    研究领域:计算机视觉 | 多视角数据处理中实现 等变性 论文:Equivariant Multi-View Networks ICCV 2019 论文链接 视频链接 在计算机视觉中,模型在不同视角下对数据(例如,点云、图像等)对数据的变化具有一定的响应性。为了使模型能够更好地适应这种变化,不是仅仅对某个特定

    2024年02月10日
    浏览(44)
  • BEV学习--Sparse4D Multi-view 3d object detection with Sparse Spatial-Temporal Fusion

    BEV方法最近在多视图3D检测任务中取得了很大进展。Sparse4D通过sparsely sampling和fusing spatial-temporal features 对anchor box进行迭代改进: (1)Sparse 4D Sampling: 对于每个3D anchor,我们分配多个4D关键点,然后将其投影到多视图/尺度/时间戳图像特征,用来采样相应的特征。 (2)Hierarc

    2024年04月13日
    浏览(45)
  • PETR: Position Embedding Transformation for Multi-View 3D Object Detection

    PETR: Position Embedding Transformation for Multi-View 3D Object Detection 旷视 DETR3D 中 2D-3D过程 存在的问题: 预测的参考点坐标可能不准确,在采样图片特征时可能拿不到对应的特征。 只有参考点 投影位置的图像特征被使用,无法学到全局的特征。 采样图像特征的过程过于复杂,难于应用

    2024年02月16日
    浏览(50)
  • BMR论文阅读笔记(Bootstrapping Multi-view Representations for Fake News Detection)

    论文标题:Bootstrapping Multi-view Representations for Fake News Detection 论文作者:Qichao Ying, Xiaoxiao Hu, Yangming Zhou, Zhenxing Qian, Dan Zeng, Shiming Ge 论文来源:AAAI 2023,Paper 代码来源:Code 基于深度学习的多模态 虚假新闻检测 (Fake News Detection, FND)一直饱受关注,本文发现以往关于多模态FND的研

    2024年02月05日
    浏览(52)
  • 【论文简述】Multi-View Stereo Representation Revisit: Region-Aware MVSNet(CVPR 2023)

    1. 第一作者: Yisu Zhang 2. 发表年份: 2023 3. 发表期刊: CVPR 4. : MVS、3D重建、符号距离场 5. 探索动机: 像素深度估计仍存在两个棘手的缺陷。一是无纹理区域的估计置信度较低。二是物体边界附近的许多异常值。这主要是因为表面通常被视为一组不相关的采样点,而

    2024年02月10日
    浏览(49)
  • 论文阅读笔记《FLEX: Extrinsic Parameters-free Multi-view 3D Human Motion Reconstruction》

    1.简介 在3D人体姿态估计中存在遮挡和模糊问题,使用多相机可能会缓解这些困难,因为不同的视角可以补偿这些遮挡并用于相互一致性。目前的3D人体姿态估计中大多数都是单视角的,有一部分是多视角的,但是他们的方法依赖于相机之间的相对位置,这要用到相机的外参。

    2024年02月04日
    浏览(49)
  • DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries

    DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries 本文提出了一个 仅使用 2D 信息的,3D 目标检测网络,并且比依赖与 密集的深度预测 或者 3D 重建的过程。该网络使用了 和 DETR 相似的 trasformer decoder ,因此也无需 NMS 等后处理操作。 长久以来 3D目标检测是一个挑战,并

    2024年02月16日
    浏览(45)
  • 多示例学习 (multi-instance learning, MIL) 学习路线 (归类、重点文章列举、持续更新)

    说明 :本文在于能够让大家能够更加快速地了解MIL这个领域,因此将从以下几个方面重点介绍MIL (这里不详细介绍每一篇文章,只做概述)。 注1 :欢迎和我进一步交流,可以加入我建立的QQ群 (2024年1月15日建立,没啥人hhh); 注2 :如果给出的文章包含代码,可以点击其名称缩

    2024年01月18日
    浏览(86)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包