【论文阅读】Multi-ConDoS: Multimodal Contrastive Domain Sharing Generative Adversarial Networks for Self-S

这篇具有很好参考价值的文章主要介绍了【论文阅读】Multi-ConDoS: Multimodal Contrastive Domain Sharing Generative Adversarial Networks for Self-S。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

paper:Multi-ConDoS: Multimodal Contrastive Domain Sharing Generative Adversarial Networks for Self-Supervised Medical Image Segmentation

存在的问题: 

        现有的自监督医学图像分割通常会遇到域偏移问题(也就是说,预训练的输入分布不同于微调的输入分布)和/或多模态问题(也就是说,它仅基于单模态数据,无法利用医学图像丰富的多模态信息)。针对这些问题,本文提出多模态对比域共享( Multi-Con Do S )生成对抗网络,实现有效的多模态对比自监督医学图像分割。

ConDoS具有以下3个优势:
  • 利用多模态医学图像,通过多模态对比学习,学习更全面的目标特征;
  • 通过集成CycleGAN的循环学习策略和Pix2Pix的跨域翻译损失实现领域翻译 ;
  • 新的域共享层不仅可以从多模态医学图像中学习特定域的信息,还可以学习域共享的信息。

contributions:

  1. 本文针对现有自监督医学图像分割方法的不足,提出了一种多模态对比自监督医学图像分割方法Multi - ConDoS,该方法利用一种新颖的域共享生成对抗网络( domain-shared Generative Adversarial Networks,DSGANs )从多模态医学图像中学习更全面的目标特征进行自监督预训练。
  2. DSGAN有三个方面的进步:第一,DSGAN是CycleGAN与经典的成对图像翻译模型Pix2Pix的融合,因此它可以同时利用CycleGAN的循环学习策略和Pix2Pix的跨域翻译损失来获得更好的域翻译能力。其次,引入新的领域共享层来帮助DSGAN不仅学习特定领域的信息,而且学习领域共享的信息。第三,多模态对比损失也被用来更好地学习多模态特征。
  3. 在两个公开的多模态医学图像分割数据集上进行了广泛的实验。实验结果表明,在仅有5 % (分别为10 %)的标记数据的情况下,Multi - ConDoS不仅在标记数据比例相同的情况下,大大优于目前最先进的自监督和半监督医学图像分割基线,而且在标记数据比例为50 % (分别为100 %)的情况下,也取得了与全监督分割方法相当的(有时甚至更好)性能。

 method:

【论文阅读】Multi-ConDoS: Multimodal Contrastive Domain Sharing Generative Adversarial Networks for Self-S,论文阅读

整体上来说:

  • 首先,DSGANs利用一个域共享生成器( domain-shared generator,DSG )将原始未标记的医学图像X (Y )作为输入,生成另一个域的图像,将这个图像生成过程称为图像平移,并将得到的图像Y′(X′)称为平移图像。 
  • 然后,与CycleGANs类似,Y′和X′被进一步用作DSG的输入,分别生成图像X′′和Y′′。由于X′′(Y′′)是由X ( Y )得到的Y′(X′)生成的,因此X′′(Y′′)可以看作是X (Y )的重构图像
  • DSG的结构与CycleGANs的生成器类似,但使用了共享层( SL ),以更好地捕获两个域中普遍存在的通用特征。进一步地,使用两个判别器Dis X和Dis Y对平移后的图像X′(Y′)和原始输入图像X (Y )进行判别,以鼓励域共享生成器生成与真实原始输入图像更相似的图像。
  • 最后,将DSG的结果模块用于全监督的下游分割任务作为预训练模块。
域生成对抗网络: 

        生成式对抗网络在图像到图像的翻译中有着出色的表现。域共享生成对抗网络( Domain Sharing Generative Adversarial Networks,DSGANs )通过双向跨域学习和多模态对比学习来学习一种表示。具体来说,跨领域学习可以学习模式特异性知识,而共享层( SL )和多模态对比学习旨在学习两种模态的通用知识。整体框架由一个生成模块和两个特定域的判别器组成。

        判别器DisX和DisY旨在对域X和Y中的真实图像和翻译图像进行判别,从而方便生成器生成更真实的图像。生成器DSG旨在生成尽可能接近现实的图像,它包含两个编码器{ Ea,Eb },一个共享层模块( SL )和两个解码器{ Da,Db }。两个编码器(即Ea和Eb)从不同模态的图像中提取特征(提取的特征实际上包含了领域特定和领域共享的信息),并将输入图像的特征送入共享层SL,使两个域的内容映射到同一个隐空间(共享层的设计虽然可能导致较少的特定领域特征,但有助于获得更多的领域共享特征)。然后将两个域的SL编码的内容输入到各自的解码器(即Da和Db)中。

多模态对比损失:

        由于共享相同的潜在空间并不意味着SL编码了两个域的成对图像特征的一致性信息。因此,利用对比损失最小化(分别最大化),使成对的(分别为未配对)图像之间的距离最小,以突出重要的域共享信息。

【论文阅读】Multi-ConDoS: Multimodal Contrastive Domain Sharing Generative Adversarial Networks for Self-S,论文阅读

 损失函数:

adversarial GAN loss LGAN:

 【论文阅读】Multi-ConDoS: Multimodal Contrastive Domain Sharing Generative Adversarial Networks for Self-S,论文阅读

        将GAN损失与L1损失相结合,有助于减少模糊,并帮助模型从成对图像中学习像素级的详细信息和特征;进一步使用基于L1的翻译损失来最小化输入和翻译图像之间的差异(类似于Pix2Pix )。 

【论文阅读】Multi-ConDoS: Multimodal Contrastive Domain Sharing Generative Adversarial Networks for Self-S,论文阅读 

        应用一个重建损失来最小化重建图像X′′(、Y′′)和输入图像X (分别为, Y )之间的距离:

【论文阅读】Multi-ConDoS: Multimodal Contrastive Domain Sharing Generative Adversarial Networks for Self-S,论文阅读 

        总损失为:

 【论文阅读】Multi-ConDoS: Multimodal Contrastive Domain Sharing Generative Adversarial Networks for Self-S,论文阅读

        DSGAN是CycleGAN和经典的成对图像翻译模型Pix2Pix的融合,并有额外的改进(加入多模态对比学习和共享层:目的是为了更好的学习领域共享特征,实现多模态信息之间的相互补充)。可以将DSGAN看成是CycleGAN的配对翻译扩展或者是Pix2Pix的循环扩展。

为什么不单独使用CycleGAN或者单独使用Pix2Pix? 文章来源地址https://www.toymoban.com/news/detail-780611.html

  • 与经典的成对图像翻译模型(Pix2Pix)相比,CycleGAN的循环训练策略非常有利于充分全面地学习模态特征信息Pix2Pix仅学习成对多模态图像的单向映射关系,而CycleGAN的循环训练策略可以学习成对多模态图像的一对一双向映射关系,这有助于生成器网络学习到更准确的潜在表示空间。
  • CycleGAN可以同时学习两个域的特征信息,并在两个方向上进行跨域生成,这是设置共享层( SL )和引入对比损失的结构基础。
  • 通过将Pix2Pix中的跨域翻译损失LT引入到DSGAN中,与成对图像翻译模型(pix2pix)类似,DSGAN也可以从成对图像中学习像素级的细节信息和特征。因此,将CycleGAN与Pix2Pix相结合,使得DSGAN兼具两种模型的优点。

到了这里,关于【论文阅读】Multi-ConDoS: Multimodal Contrastive Domain Sharing Generative Adversarial Networks for Self-S的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【论文阅读】Deep Graph Contrastive Representation Learning

    作者:Yanqiao Zhu Yichen Xu 文章链接:Deep Graph Contrastive Representation Learning 代码链接:Deep Graph Contrastive Representation Learning 现实世界中,图的标签数量较少,尽管GNNs蓬勃发展,但是训练模型时标签的可用性问题也越来越受到关心。 传统的无监督图表征学习方法,例如DeepWalk和nod

    2024年01月18日
    浏览(56)
  • 【论文阅读笔记】Large Multimodal Agents: A Survey

    [写在开头] 深度学习小白,如果有不对的地方请大家多指正,对说的就是你大佬! 论文名称: Large Multimodal Agents: A Survey 论文链接: https://arxiv.org/pdf/2402.15116.pdf Large Multimodal Agents (LMAs) 大型多模态智能体 Motivation 大语言模型的诞生赋予了 agent 类人的决策和推理能力,如何将 LL

    2024年03月18日
    浏览(59)
  • 【论文阅读笔记】Contrastive Learning with Stronger Augmentations

    基于提供的摘要,该论文的核心焦点是在对比学习领域提出的一个新框架——利用强数据增强的对比学习(Contrastive Learning with Stronger Augmentations,简称CLSA)。以下是对摘要的解析: 问题陈述: 表征学习(representation learning)已在对比学习方法的推动下得到了显著发展。 当前

    2024年02月19日
    浏览(49)
  • 论文阅读:multimodal remote sensing survey 遥感多模态综述

    参考: From Single- to Multi-modal Remote Sensing Imagery Interpretation: A Survey and Taxonomy Keywords:multimodal remote sensing 本文强调了单模态和多模态遥感影像判读之间的关键差异,然后利用这些差异来指导我们对级联结构中多模态遥感影像判读的研究。最后,对未来可能的研究方向进行了探讨

    2024年02月02日
    浏览(69)
  • 【论文阅读】Equivariant Contrastive Learning for Sequential Recommendation

    2023-RecSys https://github.com/Tokkiu/ECL 对比学习(CL)有利于对具有信息性自我监督信号的顺序推荐模型的训练。 现有的解决方案应用一般的顺序数据增强策略来生成正对,并鼓励它们的表示是不变的。 然而,由于用户行为序列的固有属性,一些增强策略,如项目替代,可能会导致

    2024年01月18日
    浏览(45)
  • 【论文阅读笔记】 Representation Learning with Contrastive Predictive Coding

    这段文字是论文的摘要,作者讨论了监督学习在许多应用中取得的巨大进展,然而无监督学习并没有得到如此广泛的应用,仍然是人工智能中一个重要且具有挑战性的任务。在这项工作中,作者提出了一种通用的无监督学习方法,用于从高维数据中提取有用的表示,被称为“

    2024年01月25日
    浏览(43)
  • 【论文阅读】Self-supervised Learning: Generative or Contrastive

    研究了在计算机视觉、自然语言处理和图形学习中用于表示的新的自监督学习方法。全面回顾了现有的实证方法,并根据其目的将其归纳为三大类:生成性、对比性和生成性对比(对抗性)。进一步收集了关于自我监督学习的相关理论分析,以对自我监督学习为什么有效提供

    2024年01月18日
    浏览(56)
  • 【论文笔记】Triplet attention and dual-pool contrastive learning for clinic-driven multi-label medical...

    多标签分类Multi-label classification (MLC)可在单张图像上附加多个标签,在医学图像上取得了可喜的成果。但现有的多标签分类方法在实际应用中仍面临着严峻的临床现实挑战,例如: 错误分类带来的医疗风险, 不同疾病之间的样本不平衡问题 无法对未预先定义的疾病(未见疾

    2024年02月03日
    浏览(47)
  • 论文阅读:Heterogeneous Graph Contrastive Learning for Recommendation(WSDM ’23)

    论文链接 在推荐系统中,图神经网络在建模图结构数据上已经变成一个强有力的工具。但是现实生活的推荐语义通常涉及异质关系(像用户的社交关系,物品知识关系的依赖),这些都包含丰富的语义信息去提升表征能力的学习。同时,对比自监督学习在推荐系统中也取得了

    2024年02月08日
    浏览(49)
  • 论文阅读-Neighbor Contrastive Learning on Learnable Graph Augmentation(AAAI2023)

            人为设计的图增强,可能会破坏原始图的拓扑结构,同时相邻节点被视为负节点,因此被推离锚点很远。然而,这与网络的同质性假设是矛盾的,即连接的节点通常属于同一类,并且应该彼此接近。本文提出了一种端到端的自动GCL方法,称为NCLA,将 邻居对比学习

    2024年02月14日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包