3D卷积网络论文阅读笔记

这篇具有很好参考价值的文章主要介绍了3D卷积网络论文阅读笔记。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1、What is the best data augmentation approach for brain tumor segmentation using 3D U-Net?

实验

数据集

BraTS 2020

数据增强方法

• Flipping翻转: 以1/3的概率随机沿着三个轴之一翻转
• Rotation旋转: 从限定范围(0到 15◦或到30◦或到60◦或到90◦)的均匀分布中随机选择角度旋转
• Scale缩放: 通过从范围为±10%或为±20%的均匀分布中随机选择的因子,对每个轴进行缩放
• Brightness亮度调整: 幂律γ强度变换,其参数增益(g)和γ从均匀分布的0.8-1.2之间随机选择。亮度(I)根据公式:Inew=g·Iγ随机改变
• Elastic deformation弹性变形: 带正方形变形网格的弹性变形,位移采样来自标准差σ=2、4、6或8体素的正态分布,其中平滑由每个维的3阶样条滤波器完成

实验结果

3D卷积网络论文阅读笔记
PE:Patch extraction

结论

数据增强在许多情况下显著提高了分割网络的性能,且亮度增强和弹性形变的效果最好,并且与仅使用一种增强技术相比,不同的增强技术的组合并不能提供进一步的改进。

代码
(作者的EVALUATION OF AUGMENTATION METHODS IN CLASSIFYING AUTISM SPECTRUM DISORDERS FROM FMRI DATA WITH 3D CONVOLUTIONAL NEURAL NETWORKS表明,数据增强对分类的准确性只提供了微小的改进)

2、TransBTS: Multimodal Brain Tumor Segmentation Using Transformer

代码:https://github.com/Wenxuan-1119/TransBTS
论文:https://arxiv.org/abs/2103.04430

创新点

使用卷积提取局部特征,使用transformer得到全局特征;

网络结构

3D卷积网络论文阅读笔记
类似于3d U-net,有收缩路径和展开路径,但是用跨步卷积取代了双卷积+最大池化

实验

数据集

BraTS2019: 335 cases of patients for training and 125 cases for validation
BraTS2020: 369 cases for training, 125 cases for validation and 166 cases for testing

标签

标签具有四个类别:背景(0),坏死性和非增强性肿瘤(标记1),肿瘤周围水肿(2)和GD增强性肿瘤(4)。

评价指标

通过Dice系数和Hausdirff距离(95%)指标来测量分割的准确性,以增强区域(ET,1),肿瘤核心区域(TC,1,4)以及整个肿瘤区域(WT,1,2,4)。

数据增强

(1) random cropping: from 240 × 240 × 155 to 128 × 128 × 128
(2) random mirror flipping across the axial, coronal and sagittal planes by a probability of 0.5
(3) random intensity shift between [-0.1, 0.1] and scale between [0.9, 1.1].

训练细节

softmax Dice损失用于训练网络,L2 Norm用于正则化,权重衰减率为10-5

实验结果

3D卷积网络论文阅读笔记
3D卷积网络论文阅读笔记
(在评论区看到复现效果差,存疑)

3、TransBTSV2: Wider Instead of Deeper Transformer for Medical Image Segmentation

代码:https://github.com/Wenxuan-1119/TransBTS
论文:https://arxiv.org/abs/2201.12785

创新点

(1)Transformer中原始的自注意机制导致了关于序列长度的O(n2)时间和空间复杂度。同时Transformer的性能在很大程度上取决于数据集的规模,为了缓解这个问题,许多最先进的方法转向大规模数据集的预训练。然而,医学图像数据集普遍缺乏可用的训练样本,使得Transformer对医学图像的预训练变得不切实际
inspired by the inverted design in MobileNetV2, we propose a
novel insight to pursue wider instead of deeper Transformer
architecture.
采取这种方法,与最初的TransBTS相比,模型复杂性显著降低(参数减少了53.62%,FLOPs减少了27.75%)
(2)不规则形病变给医学图像分割带来了巨大的挑战。在U-Net体系结构中,编码器中的特征图对几何信息更为敏感,对目标区域的识别也至关重要。
为此,提出了一个有效的和高效的可变形瓶颈模块(DBM),它可以从编码器特征学习体积空间偏移,并适应分割目标的各种转换。

网络结构

3D卷积网络论文阅读笔记
Transformer部分由L个重新设计的Transformer模块组成,每个模块包含flexibly widened multihead self-attention (FW-MHSA) block和feed-forward
Network (FFN)
第l个模块的输出可以表示为:(LN(∗) is the layer normalization)
3D卷积网络论文阅读笔记
在最初的TransBTS中,transformer层的数量为L=4,Transformer部分占模型参数的70.81%。在本文章中,把transformer层数减为1,但是宽度变为2。

DBM模块

3D卷积网络论文阅读笔记
每个DBM由两个1×1×1卷积、一个3×3×3可变形卷积和传统残差连接组成。为了最大限度地减少提出的DBM带来的计算开销,作者部署了两个1 × 1 × 1卷积(即上图所示的Reduction和Restoration layer)来降低和恢复信道维数

实验

数据集和对应的数据增强方法

(1)BraTS 2019 and BraTS 2020
灰度强度归一化、
(2)LiTS 2017
(3)KiTS 2019
在LiTS2017和KiTS2019数据集上,由于这两个CT数据集的体素间隔是不均匀的,因此需要将所有情况重新采样到一个共同的体素间距。
random cropping, random mirror flipping and random intensity shift

实验结果

3D卷积网络论文阅读笔记
3D卷积网络论文阅读笔记
3D卷积网络论文阅读笔记
3D卷积网络论文阅读笔记

B, TR, FEM, DBM, QK↑ REFERS TO BASELINE, TRANSFORMER, FEATURE EXPANSION MODULE, DEFORMABLE BOTTLENECK MODULE, THE PROPOSED FW-MHSA IN REDESIGNED TRANSFORMER BLOCK.

TransBTS是一个中等大小的模型,具有32.99M参数和333G FLOPs。通过本文提出的改进架构设计,TransBTSV2只有15.30M参数和241G FLOPs,与作者原来的TransBTS相比,追求更宽而不是更深的Transformer可以大大降低复杂度(参数减少53.62%,FLOPs减少27.63%),但同时显著提高了模型性能。文章来源地址https://www.toymoban.com/news/detail-409236.html

4、Swin UNETR: Swin Transformers for Semantic Segmentation of Brain Tumors in MRI Images

5、Robust Semantic Segmentation of Brain Tumor Regions from 3D MRIs

6、Fully Transformer Networks for Semantic Image Segmentation

到了这里,关于3D卷积网络论文阅读笔记的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Zero-shot RIS SOTA:Text Augmented Spatial-aware Zero-shot Referring Image Segmentation 论文阅读笔记

    写在前面   好久没看到有做 Zero-shot RIS 的文章了,看到 arxiv 上面更新了这篇,特意拿出来学习一下。 论文地址:Zero-shot RIS SOTA:Text Augmented Spatial-aware Zero-shot Referring Image Segmentation 代码地址:原文未提供 预计投稿于:AAAI 等顶会 Ps:2023 年每周一篇博文阅读笔记,主页 更

    2024年02月19日
    浏览(48)
  • 【论文阅读】DeepLab:语义图像分割与深度卷积网络,自然卷积,和完全连接的crf

    DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs 深度学习解决了语义图像分割的任务 做出了三个主要贡献,这些贡献在实验中被证明具有实质性的实际价值   强调卷积与上采样滤波器,或“空洞卷积”,作为一个强大的工具在密集预测任

    2024年03月11日
    浏览(71)
  • 论文阅读:Retrieval-augmented Generation across Heterogeneous Knowledge

    跨异构知识的检索增强生成 NAACL 2022 论文链接 摘要 检索增强生成(RAG)方法越来越受到NLP社区的关注,并在许多NLP下游任务上取得了最先进的性能。与传统的预训练生成模型相比, RAG方法具有知识获取容易、可扩展性强、训练成本低等显著优点 。尽管现有的RAG模型已应用于

    2024年02月06日
    浏览(46)
  • 论文阅读+实战:SimGNN:A Neural Network Approach to Fast Graph Similarity Computation

    论文链接:SimGNN: A Neural Network Approachto Fast Graph Similarity Computation 图相似性搜索 是最重要的基于图的应用程序之一,例如查找与查询化合物最相似的化合物。图相似度/距离计算,例如 图编辑距离(GED) 和 最大公共子图(MCS) ,是图相似度搜索和许多其他应用程序的核心操作

    2024年02月11日
    浏览(50)
  • An Augmented Reality Approach for Teaching Electrical E

    作者:禅与计算机程序设计艺术 随着互联网、手机应用、AR技术的普及以及其他领域的应用飞速发展,数字绘图在工程应用中的地位越来越重要。但对于非计算机专业人员来说,对数字图像的理解仍然较为困难。因此,如何利用增强现实(AR)技术引导非计算机专业人员进行

    2024年02月07日
    浏览(42)
  • Benchmarking Augmentation Methods for Learning Robust Navigation Agents 论文阅读

    题目 :Benchmarking Augmentation Methods for Learning Robust Navigation Agents: the Winning Entry of the 2021 iGibson Challenge 作者 :Naoki Yokoyama, Qian Luo 来源 :arXiv 时间 :2022 深度强化学习和可扩展的真实感模拟的最新进展使得用于各种视觉任务(包括导航)的具体人工智能日益成熟。然而,虽然在

    2024年02月14日
    浏览(40)
  • 【论文阅读】Augmented Transformer network for MRI brain tumor segmentation

    Zhang M, Liu D, Sun Q, et al. Augmented transformer network for MRI brain tumor segmentation[J]. Journal of King Saud University-Computer and Information Sciences, 2024: 101917. [开源] IF 6.9 SCIE JCI 1.58 Q1 计算机科学2区 【核心思想】 本文提出了一种新型的MRI脑肿瘤分割方法,称为增强型transformer 网络(AugTransU-Net),

    2024年01月23日
    浏览(49)
  • 论文阅读-Neighbor Contrastive Learning on Learnable Graph Augmentation(AAAI2023)

            人为设计的图增强,可能会破坏原始图的拓扑结构,同时相邻节点被视为负节点,因此被推离锚点很远。然而,这与网络的同质性假设是矛盾的,即连接的节点通常属于同一类,并且应该彼此接近。本文提出了一种端到端的自动GCL方法,称为NCLA,将 邻居对比学习

    2024年02月14日
    浏览(39)
  • 【论文阅读】REPLUG: Retrieval-Augmented Black-Box Language Models

    原文地址:REPLUG: Retrieval-Augmented Black-Box Language Models 本文提出 REPLUG ,一个将语言模型视为黑盒检索增强的语言模型架构。在 REPLUG 中,仅将检索得到的文档拼接到原有输入前面即可,不需要像以前一样更新语言模型参数。该架构中可以通过更新检索器进一步提升性能。 给一

    2024年02月11日
    浏览(42)
  • [论文阅读]PillarNeXt——基于LiDAR点云的3D目标检测网络设计

    PillarNeXt: Rethinking Network Designs for 3D Object Detection in LiDAR Point Clouds 基于LiDAR点云的3D目标检测网络设计 论文网址:PillarNeXt 代码:PillarNeXt 这篇论文\\\"PillarNeXt: Rethinking Network Designs for 3D Object Detection in LiDAR Point Clouds\\\"重新思考了用于激光雷达点云3D目标检测的网络设计。主要的贡献

    2024年02月08日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包