介绍
文章来源:https://www.toymoban.com/news/detail-841096.html
摘要
先前的大量研究表明,注意力机制在提高深度卷积神经网络(CNN)的性能方面具有巨大潜力。然而,大多数现有方法要么忽略通道和空间维度的建模注意力,要么引入更高的模型复杂性和更重的计算负担。为了缓解这种困境,在本文中,我们提出了一种轻量级且高效的多维协作注意力(MCA),这是一种通过使用三分支架构同时推断通道、高度和宽度维度注意力的新方法,几乎没有额外的开销。对于MCA的基本组成部分,我们不仅开发了一种自适应组合机制,用于合并挤压变换中的双跨维度特征响应,增强特征描述符的信息性和可辨别性,而且还设计了激励变换中的门控机制,自适应地确定特征描述符的覆盖范围。交互来捕获局部特征交互,克服性能和计算开销权衡的悖论。我们的 MCA 简单而通用,可以作为即插即用模块轻松插入各种经典 CNN,并以端到端的方式与普通网络一起进行训练。 CIFAR 和 ImageNet-1K 数据集上图像识别的广泛实验结果证明了我们的方法相对于其他最先进 (SOTA) 方法的优越性。此外,我们还通过目视检查 GradCAM++ 可视化结果来深入了解 MCA 的实际优势。该代码可从 https://github.com/ndsclark/MCANet 获取。文章来源地址https://www.toymoban.com/news/detail-841096.html
创新点
- 通过三个平行分支同时建模通道、高度和宽度维度的注意力,实现多维度的协同注意力。
- 引入挤压变换和激励变换组件,通过自适应的方式聚合特征和捕获局部特征交互
到了这里,关于【YOLOv8改进】MCA:用于图像识别的深度卷积神经网络中的多维协作注意力 (论文笔记+引入代码)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!