HGFormer:用于领域广义语义分割的层级式分组Transformer

这篇具有很好参考价值的文章主要介绍了HGFormer:用于领域广义语义分割的层级式分组Transformer。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

HGFormer: Hierarchical Grouping Transformer for Domain Generalized Semantic Segmentation

摘要

目前的语义分割模型在独立同分布条件下取得了巨大的成功。然而,在实际应用中,测试数据可能与训练数据来自不同的领域。因此,提高模型对领域差异的鲁棒性非常重要。
本文方法

  1. 这项工作研究了领域泛化设置下的语义分割,其中模型仅在源领域上训练,并在看不见的目标领域上测试
  2. 提出了一种新的分层分组变换器(HGF-ormer),以显式地对像素进行分组,形成部分级掩码,然后形成整个part-级掩码。
  3. 不同规模的mask旨在将类的部分和整体分割开来。HGFormer将两个尺度上的MASK分类结果组合用于类标签预测。
    代码地址

本文方法

HGFormer:用于领域广义语义分割的层级式分组Transformer
语义分割可以被认为是将图像划分为分类单元(区域),然后对这些单元进行分类。
MASK分类比每像素分类更稳健,因为MASK允许在同类的大图像区域上聚合特征,以预测“全局”标签。
在分布偏移(例如,高斯噪声)的情况下,将像素直接从像素分组为全水平掩模的过程是非常具有挑战性的。为了解决这个问题,我们提出了一种分层分组范式,先将像素分组到部分级掩码,然后将部分级掩码分组到整体级掩码,以获得可靠的掩码。然后,考虑到两个级别的掩码捕获互补信息,我们将部分级别和整体级别的掩码分类相结合,以实现稳健的语义分割。

HGFormer:用于领域广义语义分割的层级式分组Transformer
首先将图像传递到骨干网络,并获得不同分辨率的特征图。
最大的特征图K0被投影到K以用于part级分组。其他三个特征图被融合以形成用于稍后分类的part级掩模特征提取的新特征图V。
part级分组的细节可以在算法1中看到。分组过程是重复L次迭代。在每次迭代结束时,都有Np part级mask及其token。结合part级分类和part级掩码,我们可以得到语义分割结果O1。
part级别分组的最后一次迭代中的part级别token通过全级别分组聚合为全级别掩码(实际上是交叉关注层)
类似地,在整个级别分组中也有L次迭代。在每次迭代结束时,都没有完整级别的令牌。通过K0和投影的全级别掩码令牌之间的矩阵相乘来计算全级别掩码。类似地,我们可以通过结合整个级别掩码及其分类来获得语义分割结果O2。最终结果O是O1和O2的总和。
HGFormer:用于领域广义语义分割的层级式分组Transformer
像素特征及其附近中心特征之间的相似性。分组过程是将每个像素分配给Np个中心特征中的一个。然而,由于全局比较的计算成本,我们只计算像素与其附近中心特征之间的相似性来进行局部比较。例如,我们只将绿框中的每个像素分配给其9个附近中心特征中的一个。

实验结果

HGFormer:用于领域广义语义分割的层级式分组Transformer
HGFormer:用于领域广义语义分割的层级式分组Transformer文章来源地址https://www.toymoban.com/news/detail-473473.html

到了这里,关于HGFormer:用于领域广义语义分割的层级式分组Transformer的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 第三章:DeepLabV3——重新思考用于语义图像分割的扩张卷积

    原问题目:《Rethinking Atrous Convolution for Semantic Image Segmentation》 原文引用:Chen L C, Papandreou G, Schroff F, et al. Rethinking atrous convolution for semantic image segmentation[J]. arXiv preprint arXiv:1706.05587, 2017. 发表时间:2018年1月 原文链接: https://arxiv.org/pdf/1706.05587.pdf%EF%BC%8C%E6%8E%A8%E8%8D%90%E5%9C%A8

    2024年02月16日
    浏览(58)
  • 第十章:重新审视扩张卷积:一种用于弱监督和半监督语义分割的简单方法

            尽管取得了显著的进展,弱监督分割方法仍然不如完全监督方法。我们观察到性能差距主要来自于它们在从图像级别监督中学习生成高质量的密集目标定位图的能力有限。为了缓解这样的差距,我们重新审视了扩张卷积[1]并揭示了它如何以一种新颖的方式被用于有

    2024年02月15日
    浏览(51)
  • 用于语义图像分割的弱监督和半监督学习:弱监督期望最大化方法

    这时一篇2015年的论文,但是他却是最早提出在语义分割中使用弱监督和半监督的方法,SAM的火爆证明了弱监督和半监督的学习方法也可以用在分割上。 这篇论文只有图像级标签或边界框标签作为弱/半监督学习的输入。使用期望最大化(EM)方法,用于弱/半监督下的语义分割模

    2024年02月11日
    浏览(70)
  • BiSeNet:用于实时语义分割的双边分割网络——BiSeNet:Bilateral Segmentation Network for Real-time Semantic Segmentation

            语义分割需要丰富的空间信息和较大的感受野。然而,现代的方法通常为了实现实时推断速度而牺牲空间分辨率,导致性能下降。本文提出了一种新的双边分割网络(BiSeNet)来解决这个问题。我们首先设计了一个具有小步长的空间路径来保留空间信息并生成高分

    2024年04月28日
    浏览(42)
  • 第二十一章:CCNet:Criss-Cross Attention for Semantic Segmentation ——用于语义分割的交叉注意力

    原文题目:《CCNet:Criss-Cross Attention for Semantic Segmentation 》 原文引用:Huang Z, Wang X, Huang L, et al. Ccnet: Criss-cross attention for semantic segmentation[C]//Proceedings of the IEEE/CVF international conference on computer vision. 2019: 603-612. 原文链接: https://openaccess.thecvf.com/content_ICCV_2019/papers/Huang_CCNet_Criss

    2024年02月16日
    浏览(42)
  • 读SQL进阶教程笔记13_SQL中的分组和层级

    1.3.1.1. 还有一种只包含NULL的集合 1.4.1.1. 通过对3取余给自然数集合N分类后 1.4.1.1.1. “模3剩余类” 1.4.1.2. 模在SQL中也有实现,就是取模函数MOD 1.4.1.2.1. --对从1到10的整数以3为模求剩余类 1.4.1.3. --从原来的表中抽出(大约)五分之一行的数据 1.4.2.1. 数学理论并不是脱离实

    2023年04月21日
    浏览(37)
  • 图神经网络:(语义分割)三维网格语义分割

    文章说明: 1)参考资料:PYG的文档。文档超链。斯坦福大学的机器学习课程。课程超链。(要挂梯子)。博客原文。原文超链。(要挂梯子)。原文理论参考文献。提取码8848。 2)我在百度网盘上传这篇文章的jupyter notebook以及预训练模型。提取码8848. 3)博主水平不高,如有错误,还

    2024年02月03日
    浏览(45)
  • BoxPolyp:使用超粗边界框注释的提升广义多边形分割

    在本文中,提出了一种增强的BoxPolyp模型使用精确掩码和超粗框注释。在实践中,应用框注释来缓解先前息肉分割模型的过拟合问题,该模型通过迭代增强分割模型生成细粒度的息肉区域。 首先提出了一种融合滤波器采样(FFS)模块,用于从具有较少噪声的框注释中生成逐像

    2024年02月03日
    浏览(47)
  • 【计算机视觉 | 语义分割】干货:语义分割常见算法介绍合集(一)

    U-Net 是一种语义分割架构。 它由收缩路径和扩张路径组成。 收缩路径遵循卷积网络的典型架构。 它由两个 3x3 卷积(未填充卷积)的重复应用组成,每个卷积后跟一个修正线性单元 (ReLU) 和一个步长为 2 的 2x2 最大池化操作,用于下采样。 在每个下采样步骤中,我们将特征通

    2024年04月22日
    浏览(50)
  • 图像分割综述之语义分割

    博主的研究方向为图像分割,想顶会发一篇关于全景分割的论文,语义分割和实例分割是全景分割的必经之路。所以本人先把自己最近阅读的顶会中语义分割相关的优秀论文罗列出来,方便复习巩固,对语义分割方向有一个宏观的掌握。 目录 一、论文综述 1.1 经典分割算法

    2024年02月05日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包