基于大核注意力的高效鲁棒脑损伤分割-Toy模板网

这篇具有很好参考价值的文章主要介绍了基于大核注意力的高效鲁棒脑损伤分割。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Large-kernel Attention for Efficient and Robust Brain Lesion Segmentation

摘要

ViT是用于医学图像分割等视觉任务的有效深度学习模型。然而，与卷积神经网络(cnn)不同，它们缺乏效率和平移不变性。为了模拟三维脑损伤分割中的远程相互作用，我们提出了U-Net架构的全卷积Transformer变体。我们证明，我们的模型在三个因素中提供了最大的妥协:与最先进的性能竞争;CNN的参数效率;以及变压器有利的感应偏置
代码地址

本文方法

这项工作中所采用的架构的核心总结在图1中。如图1a所示，LKA单元通过组学习卷积，生成一个注意掩模，将其与输入特征相乘。这一系列的层相当于一个更大核的矩阵分解。在所有实验中，DWConv的核大小为53,dDWConv的核大小为73，膨胀率为33，得到的注意机制相当于核大小为213。然后在图1b中的整体注意力模块中使用该方法，其中包含一系列PConv、GELU、LKA和PConv，模块的输入与PConv层的输出之间存在残差连接
变压器层通常包含一个注意力模块和一个前馈模块——在这项工作中使用了卷积前馈(ConvFF)模块。如图1c所示，它由一个PConv、DWConv(内核大小为33)、GELU和最终的PConv组成。这些模块组合在一起创建了如图1d所示的整体LKA块，由重叠的patch embedding组成，其步幅为23，补丁大小为33 -这直接用作卷积U-Nets中用于降尺度的跨步卷积的替代。
基于大核注意力的高效鲁棒脑损伤分割,分割,论文阅读,transformer,深度学习,人工智能
深度卷积(DWConv)、扩展深度卷积(dDWConv)和点向卷积(PConv)