深度学习论文精读[7]:nnUNet

这篇具有很好参考价值的文章主要介绍了深度学习论文精读[7]:nnUNet。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

深度学习论文精读[7]:nnUNet

相较于常规的自然图像,以UNet为代表的编解码网络在医学图像分割中应用更为广泛。常见的各类医学成像方式,包括计算机断层扫描(Computed Tomography, CT)、核磁共振成像(Magnetic Resonance Imaging, MRI)、超声成像(Ultrasound Imaging)、X光成像(X-ray Imaging)和光学相干断层扫描(Optical Coherence Tomography, OCT)等。对于临床而言,影像学的检查是一项非常重要的诊断方式。在各类模态的影像检查中,精准地对各种器官和病灶进行分割是影像分析的关键步骤,目前深度学习图像分割在各类影像检测和分割中大放异彩。比如基于胸部CT的肺结节检测、基于颅内MR影像的脑胶质瘤分割、基于心脏CT的左心室分割、基于甲状腺超声的结节检测和基于X光的胸片肺部器官分割等。

虽然基于UNet的系列编解码分割网络在各类医学图像分割上取得了长足的进展,并且部分基于相关模型的应用设计已经广泛用于临床分析中。但医学影像本身的复杂性和差异性也极度影响着分割模型的泛化性和通用性,主要体现在以下几个方面:

(1)各类模态的医学影像之间差异大,如研究队列的大小、图像尺寸和维度、分辨率和体素(voxel)强度等。

(2)分割的语义标签的极度不平衡。相较于影像中的正常组织,病变区域一般都只占极少部分,这就造成了正常组织的体素标签与病灶组织的体素标签之间极度的类不平常。

(3)不同影像数据之间的专家标注差异大,并且一些图像的标注结果会存在模棱两可的情况。

(4)一些数据集在图像几何和形状等属性上差异明显,切片不对齐和各向异性的问题也非常严重。

对于上述问题,学术界认为开发出通用的、可迁移的和强泛化性能的医学影像分割模型非常有必要。2018年,由医学图像领域的相关学者组织了一场医学图像分割的10项全能竞赛(The Medical Segmentation Decathlon,MSD),要求参赛者针对10个不同的医学影像分割任务设计通用性的分割模型,这些任务涵盖了医学图像分割各种典型的挑战,包括小样本问题、标签不平衡问题、多中心数据分布问题以及小目标分割问题等。如图1所示,10项全能的分割竞赛分为开发阶段和测试阶段,开发阶段包括脑部MRI影像的肿瘤分割、脑部MRI影像的海马体前部与后部分割、CT肺结节的分割、CT肝脏和肝癌的分割、CT胰腺与胰腺癌分割、MRI前列腺的外周带和移形带分割以及心脏MRI的左心房分割等7项任务,测试阶段3项任务均为CT影像任务,包括结肠癌病灶分割、肝脏血管分割和脾脏分割。图2是MRI脑部肿瘤分割的数据和标注示例。

深度学习论文精读[7]:nnUNet

深度学习论文精读[7]:nnUNet

针对上述分割任务,相关研究者认为自从UNet结构提出以后,基于其的改进版本众多,对其引入残差连接、密集连接、注意力机制、深度监督和特征校准等设计,总体上来看,对于特定分割任务来说效果提升有限,有时候甚至还会变差。之前大家聚焦的关键在于网络结构设计,对于模型之外的参数则很少关注。基于此,获得该项比赛第一名的团队,提出了一个统一的UNet框架:nnUNet,即no-new-Net,可以理解为不是新的网络结构设计,能够自动的根据数据任务配置参数和进行网络训练。提出nnUNet的论文为nnU-Net: Breaking the Spell on Successful Medical Image Segmentation,nnUNet在通用医学影像分割任务中取得了当时的SOTA水平的成绩。

相较于之前的各种UNet改进,nnUNet更注重图像的预处理工作,能够自动判断影像模态并进行与之对应的归一化操作,并且根据三次样条插值对不同的图像体素间距进行重采样。网络结构方面,nnUNet基于原始的UNet提出了3个网络,分别是2D UNet、3D UNet和2个级联的3D UNet,第一个用于生成粗分割结果,第二个则用于细化粗分割结果,如图3所示。3个UNet模型能够彼此独立的进行配置、设计和训练,相较于原始的UNet,nnUNet对其结构作了微调:使用填充卷积来实现相同的输出和输入形状,使用Leaky ReLU代替ReLU,使用实例归一化来代替批量归一化。nnUNet能够自动设置超参数,比如训练批次大小、图像分块大小、下采样次数等。所有的UNet架构均通过五折交叉验证,使用交叉熵损失和Dice损失作为训练时的损失函数,优化器使用Adam,并设置学习率动态调整策略,同时训练时也使用在线的数据增强策略。

深度学习论文精读[7]:nnUNet

虽然nnUNet没有提出新的结构设计,但打破以往医学图像分割领域的研究常规,通过一些网络结构外的设计统一了医学图像分割任务框架,使得其具备极佳的通用性。nnUNet更加关注网络结构以外的参数配置,包括图像预处理、训练设计、推理时的模型集成以及后处理等。nnUNet源码可参考:

https://github.com/MIC-DKFZ/nnunet

根据读者对于本系列的反馈,后续相关内容会逐步更新到深度学习语义分割与实战指南GitHub地址:

https://github.com/luwill/Semantic-Segmentation-Guide

往期精彩:

 深度学习论文精读[6]:UNet++

 深度学习论文精读[5]:Attention UNet

 深度学习论文精读[4]:RefineNet

 深度学习论文精读[3]:SegNet

 深度学习论文精读[2]:UNet网络

 深度学习论文精读[1]:FCN全卷积网络

 讲解视频来了!机器学习 公式推导与代码实现开录!

 完结!《机器学习 公式推导与代码实现》全书1-26章PPT下载文章来源地址https://www.toymoban.com/news/detail-451615.html

到了这里,关于深度学习论文精读[7]:nnUNet的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 卷积神经网络学习—Resnet50(论文精读+pytorch代码复现)

    如果说在CNN领域一定要学习一个卷积神经网络,那一定非Resnet莫属了。 接下来我将按照:Resnet论文解读、Pytorch实现ResNet50模型两部分,进行讲解,博主也是初学者,不足之处欢迎大家批评指正。 预备知识 :卷积网络的深度越深,提取的特征越高级,性能越好,但传统的卷积

    2024年01月19日
    浏览(45)
  • 经典神经网络论文超详细解读(六)——DenseNet学习笔记(翻译+精读+代码复现)

    上一篇我们介绍了ResNet:经典神经网络论文超详细解读(五)——ResNet(残差网络)学习笔记(翻译+精读+代码复现) ResNet通过短路连接,可以训练出更深的CNN模型,从而实现更高的准确度。今天我们要介绍的是 DenseNet(《Densely connected convolutional networks》) 模型,它的基本

    2024年02月03日
    浏览(62)
  • 经典神经网络论文超详细解读(八)——ResNeXt学习笔记(翻译+精读+代码复现)

    今天我们一起来学习何恺明大神的又一经典之作:  ResNeXt(《Aggregated Residual Transformations for Deep Neural Networks》) 。这个网络可以被解释为 VGG、ResNet 和 Inception 的结合体,它通过重复多个block(如在 VGG 中)块组成,每个block块聚合了多种转换(如 Inception),同时考虑到跨层

    2024年02月03日
    浏览(55)
  • 经典神经网络论文超详细解读(五)——ResNet(残差网络)学习笔记(翻译+精读+代码复现)

    《Deep Residual Learning for Image Recognition》这篇论文是何恺明等大佬写的,在深度学习领域相当经典,在2016CVPR获得best paper。今天就让我们一起来学习一下吧! 论文原文:https://arxiv.org/abs/1512.03385 前情回顾: 经典神经网络论文超详细解读(一)——AlexNet学习笔记(翻译+精读)

    2024年02月08日
    浏览(47)
  • 李沐论文精读系列三:MoCo、对比学习综述(MoCov1/v2/v3、SimCLR v1/v2、DINO等)

    传送门: 李沐论文精读系列一: ResNet、Transformer、GAN、BERT 李沐论文精读系列二:Vision Transformer、MAE、Swin-Transformer 李沐论文精读系列四:CLIP和改进工作串讲(LSeg、GroupViT、VLiD、 GLIPv1、 GLIPv2、CLIPasso) 1.1 导言 参考: 论文:Momentum Contrast for Unsupervised Visual Representation Learni

    2024年02月04日
    浏览(54)
  • 【论文阅读】视频理解系列论文精读

    视频理解论文串讲(上)【论文精读】 我们研究了多种扩展CNN在时域上的连接性的方法,以利用局部的时空信息,并建议采用多分辨率、凹陷的架构作为加速训练的一种有希望的方式。 在图像领域积极成果的鼓舞下,我们研究了CNN在大规模视频分类中的表现,在这种情况下

    2023年04月09日
    浏览(38)
  • YOLO系列论文精读

    基本思想: 采用预定义候选区,粗略覆盖图片整个区域,找到粗略候选区,再使用RCNN的边框回归调整到更接近真实的bounding box(one-stage) 基本结构: 【卷积+池化】+【dense+dense】,最后一层输出激活函数使用线性函数(预测bounding box需要数值型) YOLO与RCNN: RCNN需要两步:分

    2024年02月04日
    浏览(38)
  • Transformer模型原理—论文精读

    今天来看一下Transformer模型,由Google团队提出,论文名为《Attention Is All You Need》。论文地址。 正如标题所说的,注意力是你所需要的一切,该模型摒弃了传统的RNN和CNN结构,网络结构几乎由Attention机制构成,该论文的亮点在于提出了 Multi-head attention 机制,其又包含了 self-a

    2024年02月08日
    浏览(59)
  • 【论文精读】NeRF详解

    最近阅读了开启三维重建新纪元的经典文章《NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis》,接下来会​更新NeRF 系列 的论文精读、代码详解,力求做到全网最细!欢迎大家关注和交流! 论文链接:论文 代码链接:Github (这是官方代码,是tensorflow版本) 文章提出

    2024年02月05日
    浏览(39)
  • 【论文精读】TransE 及其实现

    TransE ( T ranslating E mbedding), an energy-based model for learning low-dimensional embeddings of entities. 核心思想 :将 relationship 视为一个在 embedding space 的 translation。如果 (h, l, t) 存在,那么 h + l ≈ t h + l approx t h + l ≈ t 。 Motivation :一是在 Knowledge Base 中,层次化的关系是非常常见的,transl

    2023年04月17日
    浏览(19)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包