SCSE注意力模块（来自论文[1803.02579] Concurrent Spatial and Channel Squeeze & Excitation in Fully Convolutional Networks (arxiv.org)）。其对SE注意力模块进行了改进，提出了cSE、sSE、scSE三个模块变体，这些模块可以增强有意义的特征，抑制无用特征。今天我们就分别讲解一下这三个注意力模块。
1、cSE模块（通道维度的SE注意力机制）
cSE模块引入了通道注意力机制，可有效的对通道维度的特征信息进行整合增强，这一点与SE等传统通道注意力机制近似，其最大不同的是其对得到的注意力权重进行了降维再升维的操作，类似与resnet中的瓶颈结构以及Fast RCNN目标检测网络最后的全连接加速层，这种操作方式有些奇异值分解的意思，在深度学习模型中十分常见，可有效的整合通道信息，并且简化模块复杂度，减小模型计算量，提升计算速度。
实现机制：文章来源：https://www.toymoban.com/news/detail-638018.html
- 将特征图通过全局平均池化层将维度从[C, H, W]变为[C, 1, 1]。
- 然后使用两个1×1卷积进行信息的处理（即降维与升维操作），最终得到C维的向量。
- 然后使用sigmoid函数进行归一化，得到对应的权重向量文件。
- 最后通过channel-wise与原始特征图相乘，得到经过通道信息真个校准过的特征图。
代码实现：文章来源地址https://www.toymoban.com/news/detail-638018.html
class CSE(nn.Module):
def __init__(self, in_channels, reduction=16):
super(CSE, self).__init__()
self.cSE = nn.Sequential(
nn.AdaptiveAvgPool2d(1),
nn.Conv2d(in_channels, in_channels // reduction, 1),
nn.ReLU(inplace=True),
nn.Conv2d(in_channels // reduction, in_channels, 1),
nn.Sigmoid(),
)
def forward(self, x):
return x * self.cSE(x)
2、sSE模块（空间维度的SE注意力机制）
sSE模块在特征图的空间维度展开信息增强整合，同通道维度一样，其也是通过先提取权重信息，再将权重信息同原始特征图相乘得到注意力增强效果，不过在提取权重信息时是在空间维度展开，不再是使用全局平均池化层，而是使用输出通道为1，卷积核大小为1×1 的卷积层，进行信息整合。
这里我们顺便简介一下1×1卷积层的作用：
① 改变通道数 （即升维降维）
② 信息整合（可实现跨通道的信息交互）
③ 增加非线性（基于奇异值分解，结合非线性激活函数，加深模型）
实现机制：
- 将特征图通过一个输出通道为1，卷积核大小为1×1 的卷积层，得到一个维度为（1, H, W）的权重矩阵。
- 将权重矩阵进行sigmod归一化处理，得到最终的权重矩阵。
- 将权重矩阵同原始特征图在空间维度相乘，得到最终空间信息增强特征图结果。
代码实现：
class SSE(nn.Module):
def __init__(self, in_channels):
super(SSE, self).__init__()
self.sSE = nn.Sequential(nn.Conv2d(in_channels, 1, 1), nn.Sigmoid())
def forward(self, x):
return x * self.sSE(x)
3、scSE模块（混合维度的SE注意力机制）
scSE模块是sSE模块和cSE模块的综合体，即同时对空间维度和通道维度进行信息整合增强，将两者的特征结果沿着通道维度进行相加（结果和原始特征图维度相同）。
实现机制：
- 将特征图通过cSE模块，得到特征图结果1。
- 将特征图通过sSE模块，得到特征图结果2.
- 将特征图结果1和2沿着通道维度相加，得到最终信息校正结果（前后特征图维度不变）。
代码实现：
class SCSE(nn.Module):
def __init__(self, in_channels, reduction=16):
super(SCSE, self).__init__()
self.cSE = nn.Sequential(
nn.AdaptiveAvgPool2d(1),
nn.Conv2d(in_channels, in_channels // reduction, 1),
nn.ReLU(inplace=True),
nn.Conv2d(in_channels // reduction, in_channels, 1),
nn.Sigmoid(),
)
self.sSE = nn.Sequential(nn.Conv2d(in_channels, 1, 1), nn.Sigmoid())
def forward(self, x):
return x * self.cSE(x) + x * self.sSE(x)
到了这里，关于【深度学习注意力机制系列】—— SCSE注意力机制（附pytorch实现）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
