SRM : A Style-based Recalibration Module for Convolutional Neural Networks论文笔记

这篇具有很好参考价值的文章主要介绍了SRM : A Style-based Recalibration Module for Convolutional Neural Networks论文笔记。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

整体结构图:
SRM : A Style-based Recalibration Module for Convolutional Neural Networks论文笔记

Style Pooling风格池部分:
SRM : A Style-based Recalibration Module for Convolutional Neural Networks论文笔记

Style Integration风格集成部分
SRM : A Style-based Recalibration Module for Convolutional Neural Networks论文笔记

1.提出了一个基于风格的重新校准模块(SRM),他通过利用中间特征映射的风格来自适应地重新校准。

2.SRM首先通过样式池从特征图的每个通道中提取样式信息,然后通过独立于通道的样式集成估计每个通道的重校正权重。
style pooling简单来说就是通过一个降维操作,可以有效的提取样式信息

3.SRM将个体风格地相对重要性融入到特征图中,可以有效地增强CNN的表征能力。
个人认为这个所谓的SRM与注意力机制很相似

4.SRM动态地估计单个风格的相对重要性,然后根据风格的重要性重新调整特征映射的权重,这允许网络专注于有意义的风格,而忽略不必要的风格。
重要性机制,其实也就是注意力机制

5.SRM主要由两个主要部分组成:样式池(风格池style pooling)和样式集成
风格池操作符通过总结跨空间维度的特征相应从每个通道中提取风格特征。
样式集成运算符,通过操作利用样式特性生成特定示例的样式权重。样式权重最终重新校准特征映射,以强调或抑制它们的信息。

6.SRM还提供了一种直观的解释通道再校准的效果:它通过调整特征响应的全局统计数据来控制风格的贡献,同时保持它们的空间配置。

主要创新:提出了一个基于风格的特征重新校准模块,通过将风格融入到特征映射中来增强CNN的表征能力。

风格:自适应实例归一化进一步表明,传输通道均值和标准差可以有效地改变图像风格。可以与生成对抗网络GANs相结合,通过调整中间层的样式来改进生成器

注意力和特征重新校准:SE提出了一种信道级再校准算子,它包含了信道之间的相互作用。它首先使用全局平均池聚合空间信息,并使用完全连接的子网络捕获通道依赖关系。

CBAM表明,通过利用最大池化并结合空间注意力模块,可以改进SE块。我们在没有渠道关系或空间注意的帮助下,根据利用风格信息重新制定了渠道明智的重新校准。

提出了一种样式汇集方法,它优于我们设置中的标准全局平均或最大汇集方法,以及一种与通道无关的样式集成方法,它比完全连接的同类方法更轻量级

模式化校准模块:我们采用每个特征图的通道统计量均值和标准差作为风格特征(即d = 2),d是风格特征的数量文章来源地址https://www.toymoban.com/news/detail-509331.html

SRM代码:
class SRMLayer(nn.Module):
    def __init__(self, channel, reduction=None):
        # Reduction for compatibility with layer_block interface
        super(SRMLayer, self).__init__()

        # CFC: channel-wise fully connected layer
        self.cfc = nn.Conv1d(channel, channel, kernel_size=2, bias=False,
                             groups=channel)
        self.bn = nn.BatchNorm1d(channel)

    def forward(self, x):
        b, c, _, _ = x.size()

        # Style pooling
        # AvgPool(全局平均池化):
        mean = x.view(b, c, -1).mean(-1).unsqueeze(-1)
        # StdPool(全局标准池化)
        std = x.view(b, c, -1).std(-1).unsqueeze(-1)
        u = torch.cat((mean, std), -1)  # (b, c, 2)

        # Style integration
        # CFC(全连接层)
        z = self.cfc(u)  # (b, c, 1)
        # BN(归一化)
        z = self.bn(z)
        # Sigmoid
        g = torch.sigmoid(z)


        g = g.view(b, c, 1, 1)
        return x * g.expand_as(x)

到了这里,关于SRM : A Style-based Recalibration Module for Convolutional Neural Networks论文笔记的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【论文阅读】ELA: Efficient Local Attention for Deep Convolutional Neural Networks

    论文链接 :ELA: Efficient Local Attention for Deep Convolutional Neural Networks (arxiv.org) 作者 :Wei Xu, Yi Wan 单位 :兰州大学信息科学与工程学院,青海省物联网重点实验室,青海师范大学 引用 :Xu W, Wan Y. ELA: Efficient Local Attention for Deep Convolutional Neural Networks[J]. arXiv preprint arXiv:2403.01123,

    2024年04月15日
    浏览(51)
  • 论文学习——U-Net: Convolutional Networks for Biomedical Image Segmentation

    采用端到端的结构,通过FCN(最后一层仍然是通过卷积完成),最后输出图像。 通过编码(下采样)-解码(上采样)形成一个“U”型结构。每次下采样时,先进行两次卷积(通道数不变),然后通过一次池化层(也可以通过卷积)处理(长宽减半,通道数加倍);在每次上

    2024年02月13日
    浏览(38)
  • 2019CVPR Semantic Graph Convolutional Networks for 3D Human Pose Regression

    基于语义图卷积网络的三维人体姿态回归 源码 https://github.com/garyzhao/SemGCN 在本文中,我们研究了学习图卷积网络(GCN)回归的问题。GCN的当前体系结构受限于卷积滤波器和共享的变换矩阵为的小感受野。为了解决这些限制,我们提出了语义图卷积网络(SemGCN),这是一种新

    2024年02月10日
    浏览(35)
  • 详解3D物体检测模型:Focal Sparse Convolutional Networks for 3D Object Detection

    用于3D目标检测的焦点稀疏卷积神经网络【CVPR2022】【3D检测】 本文介绍一篇新的 3D 物体检测模型: Focals Conv ,论文收录于 CVPR2022 。在 3D 检测任务中,点云或体素数据 不均匀地 分布在3维空间中, 不同位置的数据对物体检测的贡献是不同的 。然而目前主流的 3D 检测网络(

    2023年04月08日
    浏览(36)
  • FCT: The Fully Convolutional Transformer for Medical Image Segmentation 论文解读

    论文:The Fully Convolutional Transformer for Medical Image Segmentation (thecvf.com) 代码:Thanos-DB/FullyConvolutionalTransformer (github.com) 期刊/会议:WACV 2023 我们提出了一种新的transformer,能够分割不同形态的医学图像。 医学图像分析的细粒度特性所带来的挑战意味着transformer对其分析的适应仍处

    2024年02月10日
    浏览(41)
  • 【风格迁移-论文笔记12.20】Arbitrary style transfer based on Attention and Covariance-Matching

    任意风格迁移(Arbitrary style transfer)具有广阔的应用前景和重要的研究价值,是计算机视觉领域的研究热点。许多研究表明,任意风格迁移取得了显着的成功。 然而,现有的方法可能会产生伪影(artifacts),有时会导致内容结构的失真(distortion)。 为此,本文提出一种新颖

    2024年02月03日
    浏览(42)
  • 使用vite-plugin-style-import插件报错Cannot find module ‘consola‘和解决方法

    使用的 Vite创建的项目,使用 unplugin-vue-components 来进行按需加载。但是此插件无法处理非组件模块,如 message,这种组件需要手动加载,如: 由于已按需导入了组件库,因此仅样式不是按需导入的,因此只需按需导入样式即可。 使用 vite-plugin-style-import 可以帮助我们按需引

    2024年02月15日
    浏览(40)
  • Exploiting Spatial-temporal Relationships for 3D Pose Estimation via Graph Convolutional Networks

    Cai, Y., Ge, L., Liu, J., Cai, J., Cham, T.-J., Yuan, J., Magnenat-Thalmann, N. (2019). Exploiting spatial-temporal relationships for 3D pose estimation via graph convolutional networks. IEEE International Conference on Computer Vision, 2272–2281. https://doi.org/10.1109/ICCV.2019.00236 利用图卷积网络(Graph Convolutional Networks)来通过空间

    2024年02月20日
    浏览(38)
  • [论文阅读笔记23]Adaptive Sparse Convolutional Networks with Global Context Enhancement for ... on drone

    最近正在痛苦改论文中…还没投出去, 心情糟糕 所以不如再做一点笔记… 论文题目: Adaptive Sparse Convolutional Networks with Global Context Enhancement for Faster Object Detection on Drone Images 论文地址: 论文 代码地址: 代码 这是一篇CVPR2023的文章, 是无人机数据集的小目标检测. 文章针对小尺寸目

    2024年02月04日
    浏览(48)
  • cannot access class sun.nio.ch.DirectBuffer (in module java.base) because module java.base does not

    JDK21 Spark3.5.0 使用JDK21做spark开发 启动代码出现 Exception in thread \\\"main\\\" java.lang.IllegalAccessError: class org.apache.spark.storage.StorageUtils$ (in unnamed module @0x461ad730) cannot access class sun.nio.ch.DirectBuffer (in module java.base) because module java.base does not export sun.nio.ch to unnamed module @0x461ad730 报错信息 需要

    2024年02月02日
    浏览(51)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包