Semantic Segmentation using Adversarial Networks

这篇具有很好参考价值的文章主要介绍了Semantic Segmentation using Adversarial Networks。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

首次将GAN用于语义分割,用于辨别分割图是来自GT还是来自分割网络。作者的想法来自借助GAN可以检测和矫正GT和模型分割图的高阶不一致。最后在Standford和PASCAL VOC 数据集上验证了想法。
对抗学习:
使用两个权重和的混合损失函数进行优化,第一个是多类别交叉熵优化分割模型,使用S(x),表示类别c的概率图,第二个损失基于辅助对抗卷积网络,如果辨别器可以分辨出真实的标签和分割模型输出的标签,那么它就会很大。因为对抗CNN认为整个图片或者图片的一部分,和高阶的标签统计不匹配。
我们使用a(x,y)∈[0,1]表示对抗模型预测y是x的标签而不是由分割模型输出s()的标签的概率。
给出数据Xn,对应的标签Yn,损失定义为:
Semantic Segmentation using Adversarial Networks
原始GAN的损失为:
Semantic Segmentation using Adversarial Networks
看第一项:标签与经过segment模型的输出进行损失计算,即为不加对抗网络的损失,也即为加了对抗网络的生成器损失。
Semantic Segmentation using Adversarial Networks
第二项:按理讲就是判别器损失了,判别器中我们知道需要输入的是原始的x和生成的S(x)。
Semantic Segmentation using Adversarial Networks
a()输入的是原始图片Yn是Xn GT的概率越大越好,输入的是分割后的S(Xn),则是Xn GT的概率越小越好。
最小化分割模型损失是为了让模型分割的更准确,最大化对抗模型损失是为了让对抗模型辨别的更准确。
Semantic Segmentation using Adversarial Networks
训练对抗模型:
Semantic Segmentation using Adversarial Networks
训练分割模型:这里多了一个正则化项,解释为在训练分割模型时候还要降低对抗模型的表现。我们最小化分割模型的损失,根据公式我们要最大化λLbce,λLbce表示的是将分割模型输出的结果预测为真实标签的概率,我们希望他为0,如果要最大化,则将分割模型输出的结果预测为真实标签的概率最大,可以替换为将分割模型输出的结果预测为真实标签的概率希望他为1。随着模型训练,我们希望分辨器将分割模型的输出预测为x真实标签的概率为1的损失最小,就与前面的mce损失一致。
Semantic Segmentation using Adversarial Networks
根据描述我们可以画出模型框图:
Semantic Segmentation using Adversarial Networks
在两个数据集采用不同的模型:
在Standford Background数据集上,对抗模型输入为label map和对应的RGB,label map或者是真实的GT或者是分割输出的mask。两个分支分别处理RGB和label map,每一个输入信号的通道是一样的为64,然后两个信号传入一系列的卷积和池化层。紧接着一个sigmoid输出binary class的概率。
在Pascal Voc上使用了三种变体:Basic(使用分割的label map),Product(使用真实的GT),Scaling。在实验时候采用两种结构:
LargeFOV:label map的大小为34x34.
smallFOV:label map的大小为18x18.
结果:
Semantic Segmentation using Adversarial Networks文章来源地址https://www.toymoban.com/news/detail-437373.html

到了这里,关于Semantic Segmentation using Adversarial Networks的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 深度学习7:生成对抗网络 – Generative Adversarial Networks | GAN

    生成对抗网络 – GAN 是最近2年很热门的一种无监督算法,他能生成出非常逼真的照片,图像甚至视频。我们手机里的照片处理软件中就会使用到它。 目录 生成对抗网络 GAN 的基本原理 大白话版本 非大白话版本 第一阶段:固定「判别器D」,训练「生成器G」 第二阶段:固定

    2024年02月11日
    浏览(55)
  • 论文阅读——Imperceptible Adversarial Attack via Invertible Neural Networks

    作者:Zihan Chen, Ziyue Wang, Junjie Huang*, Wentao Zhao, Xiao Liu, Dejian Guan 解决的问题:虽然视觉不可感知性是对抗性示例的理想特性,但传统的对抗性攻击仍然会产生 可追踪的对抗扰动。 代码:https://github.com/jjhuangcs/AdvINN 类型:黑盒 目标攻击, 作者利用可逆神经网络(AdvINN)方法进行

    2024年02月12日
    浏览(38)
  • python- 用GAN(Generative Adversarial Networks)实现,用于生成手写数字图片。

    用GAN(Generative Adversarial Networks)实现,用于生成手写数字图片。 导入 PyTorch 和相关的库,包括: torch : PyTorch 库。 torch.nn : PyTorch 中的神经网络模块。 torch.optim : PyTorch 中的优化器。 torch.nn.functional : PyTorch 中的函数式接口。 torch.utils.data : PyTorch 中的数据加载器。 torchvision :

    2024年02月03日
    浏览(51)
  • 【论文笔记】《Learning Deconvolution Network for Semantic Segmentation》

    重要说明: 严格来说,论文所指的反卷积并不是真正的 deconvolution network 。 关于 deconvolution network 的详细介绍,请参考另一篇博客:什么是Deconvolutional Network? Learning Deconvolution Network for Semantic Segmentation deconvolution network 是卷积网络( convolution network ) 的镜像,由反卷积层( dec

    2024年02月20日
    浏览(44)
  • 论文阅读:LSeg: LANGUAGE-DRIVEN SEMANTIC SEGMENTATION

    可以直接bryanyzhu的讲解:CLIP 改进工作串讲(上)【论文精读·42】_哔哩哔哩_bilibili 这里是详细的翻译工作 原文链接 https://arxiv.org/pdf/2201.03546.pdf ICLR 2022 我们提出了一种新的语言驱动的 语义图像分割模型LSeg 。LSeg使用一个 文本编码器来计算描述性输入标签 (例如,“草”或“

    2024年02月04日
    浏览(47)
  • 弱监督语义分割(Weakly-Supervised Semantic Segmentation)

    语义分割是指将图像中的每个像素分类为一个实例,其中每个实例都对应于一个类。 这项技术一直是计算机视觉图像领域的主要任务之一。而在实际应用中,由于能准确地定位到物体所在区域并以像素级的精度排除掉背景的影响,一直是精细化识别、图像理解的可靠方式。

    2024年02月09日
    浏览(37)
  • 3D 语义分割——Scribble-Supervised LiDAR Semantic Segmentation

    😸论文( CVPR2022 Oral )主要贡献: 提出第一个涂鸦标注(scribble-annotated) 的激光雷达语义分割数据集 ScribbleKITTI 提出 类范围平衡的自训练 (class-range-balanced self-training)来应对伪标签对占据主要数量的类和近距离密集区域的 偏好 (bias)问题 通过 金字塔局部语义上下文描

    2024年02月04日
    浏览(51)
  • BiSeNet:用于实时语义分割的双边分割网络——BiSeNet:Bilateral Segmentation Network for Real-time Semantic Segmentation

            语义分割需要丰富的空间信息和较大的感受野。然而,现代的方法通常为了实现实时推断速度而牺牲空间分辨率,导致性能下降。本文提出了一种新的双边分割网络(BiSeNet)来解决这个问题。我们首先设计了一个具有小步长的空间路径来保留空间信息并生成高分

    2024年04月28日
    浏览(40)
  • 2019CVPR Semantic Graph Convolutional Networks for 3D Human Pose Regression

    基于语义图卷积网络的三维人体姿态回归 源码 https://github.com/garyzhao/SemGCN 在本文中,我们研究了学习图卷积网络(GCN)回归的问题。GCN的当前体系结构受限于卷积滤波器和共享的变换矩阵为的小感受野。为了解决这些限制,我们提出了语义图卷积网络(SemGCN),这是一种新

    2024年02月10日
    浏览(35)
  • EG3D: Efficient Geometry-aware 3D Generative Adversarial Networks [2022 CVPR]

    长期以来,仅使用单视角二维照片集无监督生成高质量多视角一致图像和三维形状一直是一项挑战。现有的三维 GAN 要么计算密集,要么做出的近似值与三维不一致;前者限制了生成图像的质量和分辨率,后者则对多视角一致性和形状质量产生不利影响。 在这项工作中,我们

    2024年02月11日
    浏览(32)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包