Deep is a Luxury We Don’t Have
摘要
医学图像具有高分辨率。高分辨率对于早期发现恶性组织至关重要。然而,这一解决方案在建模长期依赖性方面提出了挑战。浅层transformers消除了这个问题,但它们具有二次复杂性。
在本文中,通过利用线性自注意近似来解决这种复杂性。通过这种近似,我们提出了一种高效的视觉模型,称为HCT,代表高分辨率卷积Transformer。HCT以显著更低的成本将transformers的优点应用于高分辨率图像。使用高分辨率乳房X光摄影数据集评估HCT。HCT明显优于CNN。此外,通过评估其有效感受野来证明HCT对医学图像的适用性。
代码地址
本文方法
注意力卷积具有以下三种功能:
- 它能够进行下采样;在输出和输入标记数量相等的自然语言处理中,这一特性并不重要。然而,对于2D/3D图像,随着网络深度的增加,对空间分辨率进行下采样是很重要的;
- 所提出的AC块支持不同的输入分辨率。这使我们的模型能够对小图像块进行预训练,然后对高分辨率图像进行微调。此外,AC块在推理期间支持各种输入分辨率
- AC块消耗并生成空间特征图
Efficient Attention
用核化的方法分离SM
详情看代码更好文章来源:https://www.toymoban.com/news/detail-436206.html
The HCT Architecture
将3维特征降维
文章来源地址https://www.toymoban.com/news/detail-436206.html
到了这里,关于HCT:深度是我们没有的奢侈品的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!