Bui N T, Hoang D H, Tran M T, et al. Sam3d: Segment anything model in volumetric medical images[J]. arXiv preprint arXiv:2309.03493, 2023.【开源】
本文提出的SAM3D模型是针对三维体积医学图像分割的一种新方法。其核心在于将“分割任何事物”(SAM)模型的预训练编码器与一个轻量级的3D解码器相结合。与传统的逐层处理不同,SAM3D能够在整个体积上处理图像,更有效地捕捉切片间的深度关系,同时维持模型的简单性和计算效率。
主要特点包括:
-
预训练的SAM编码器:该编码器在大规模数据集上预训练,能够提取出鲁棒的低级特征,如边缘和边界,这些在不同的图像域中都有相关性。
-
去除了SAM中的prompts Encoder:因为解码器必须处理 3D 体积数据,所以不能使用 SAM 的掩模解码器,它是专门为 2D 自然图像设计的
-
轻量级3D解码器:为了处理3D体积数据,SAM3D提出了一个适当的3D解码器。这个解码器由四个3D卷积块和一个分割头组成,通过跳跃连接实现,有助于在保持模型简单的同时提高分割性能。
-
处理方式:SAM3D通过先将3D体积图像分解为2D切片,然后通过预训练的SAM编码器处理每个切片,生成3D切片嵌入。这些嵌入被3D解码器进一步处理,以捕获切片间的深度关系。
-
损失函数:模型训练使用了组合损失函数,包括dice loss和cross-entropy loss,以优化分割性能。文章来源:https://www.toymoban.com/news/detail-806500.html
-
实验结果:通过在多个医学图像数据集上的实验,只需要单2080TI GPU,SAM3D显示了与当前最先进的3D神经网络和基于Transformer的模型相当的性能(其实弱很多),同时在参数数量上大大减少。文章来源地址https://www.toymoban.com/news/detail-806500.html
到了这里,关于【论文阅读笔记】Sam3d: Segment anything model in volumetric medical images[的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!