目录
1 问题:MobileNet 中的注意力机制
2 SE 通道注意力机制
2.1 SE 通道注意力机制的定义与作用
2.2 SE过程: Squeeze + Excitation + Scale
3 其他通道注意力机制
4 参考链接
1 问题:MobileNet 中的注意力机制
问题描述:MobileNet 中使用了通道注意力机制,是如何实现的?CNN中还有哪些 Attention?
2 SE 通道注意力机制
2.1 SE 通道注意力机制的定义与作用
SE注意力机制,通过自动学习的方式,使用另外一个新的神经网络,获取到特征图的每个通道的重要程度,并赋值权重,从而让神经网络关注权重高的特征通道。
作用为,提升对当前任务有用的特征图的通道,并抑制对当前任务用处不大的特征通道。同时,全连接FC网络根据loss损失来自动学习特征权重。
2.2 SE过程: Squeeze + Excitation + Scale
SE :Squeeze + Excitation + Scale
① 压缩Squeeze
通过平均池化,将特征图合并压缩,从 H × W × channel,变为 1 × 1 × channel,后者的一个1×1就获得了原始特征图中 H × W 的感受野,
② 激发Excitation
进行FC全连接,每个通道都生成一个权值,并归一化,同时也是 1 × 1 × channel
③ 还原Scale
将原始图像乘以权值矩阵,[h,w,c]×[1,1,c] ==> [h,w,c]
3 其他通道注意力机制
除此之外,还有 ECA、CBAM
① ECA
是对SE的优化,由于SE第二层Excitation是以个FC层,运算量大,所以用1×1的卷积层代替FC层,降低参数量。
与SE不同之处在于下图标注处,同时,也能通过 1×1 的卷积层实现各通道间的信息交互。
② CBAM:Convolutional Block Attention Module
传统的通道注意力机制+空间注意力机制,是 channel(通道) + spatial(空间) 的统一
将通道权重和输入特征图相乘后再送入空间注意力机制,将归一化后的空间权重和空间注意力机制的输入特征图相乘,得到最终加权后的特征图。
即对两个Attention进行串联,channel 在前,spatial在后。
文章来源:https://www.toymoban.com/news/detail-483113.html
4 参考链接
【深度学习】(8) CNN中的通道注意力机制(SEnet、ECAnet),附Tensorflow完整代码_立Sir的博客-CSDN博客_通道注意力机制各位同学好,今天和大家分享一下attention注意力机制在CNN卷积神经网络中的应用,重点介绍三种注意力机制,及其代码复现。在我之前的神经网络专栏的文章中也使用到过注意力机制,比如在MobileNetV3、EfficientNet网络中都是用了SE注意力机制,感兴趣的可以看一下:https://blog.csdn.net/dgvv4/category_11517910.html。那么今天就和大家来聊一聊注意力机制。1. 引言注意力机制源于对人类视觉的研究。在认知科学中,由于信息处理的瓶颈,人类https://blog.csdn.net/dgvv4/article/details/123572065 【深度学习】(1) CNN中的注意力机制(SE、ECA、CBAM),附Pytorch完整代码_立Sir的博客-CSDN博客_se注意力机制大家好,今天和各位分享一下如何使用 Pytorch 构建卷积神经网络中的各种注意力机制,如:SENet,ECANet,CBAM。注意力机制的原理 和 TensorFlow2 的实现方式可以看我下面两篇博文:SENet、ECANet:https://blog.csdn.net/dgvv4/article/details/123572065DANet、CBAM:https://blog.csdn.net/dgvv4/article/details/123888724SE注意力机制(Squeeze-and-Exchttps://blog.csdn.net/dgvv4/article/details/125112972 SeNet || 注意力机制——源代码+注释_仙女不扎马尾.的博客-CSDN博客_senet代码文章目录1 SeNet介绍2 SeNet优点3 Se模块的具体介绍4 完整代码1 SeNet介绍SENet是Squeeze-and-Excitation Networks的简称,由Momenta公司所作并发于2017CVPR,论文中的SENet赢得了ImageNet最后一届(ImageNet 2017)的图像识别冠军SENet主要是学习了channel之间的相关性,筛选出了针对通道的注意力,稍微增加了一点计算量,但是效果比较好。通过学习的方式来自动获取到每个特征通道的重要程度,然后依照这个重要程度https://blog.csdn.net/weixin_42521185/article/details/124330333 【注意力机制】CBAM详解_姚路遥遥的博客-CSDN博客_cbam注意力论文题目:《CBAM: Convolutional Block Attention Module》论文地址:https://arxiv.org/pdf/1807.06521.pdf1. 前言 论文(2018年)提出了一种轻量的注意力模块( CBAM,Convolutional Block Attention Module ),可以在通道和空间维度上进行 Attention 。论文在 ResNet 和 MobileNethttps://blog.csdn.net/Roaddd/article/details/114646354 CBAM:卷积注意力机制模块 - 知乎摘要本文提出了卷积注意力模块(CBAM),这是一种用于前馈卷积神经网络的简单而有效的注意力模块。 给定一个中间特征图,CBAM模块会沿着两个独立的维度(通道和空间)依次推断注意力图,然后将注意力图与输入特征…https://zhuanlan.zhihu.com/p/101590167文章来源地址https://www.toymoban.com/news/detail-483113.html
到了这里,关于深度学习CV方向学习笔记5 —— 通道注意力机制的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!