心室、心房、血管
深度学习在心脏图像分割中的应用
总结了三种主要成像模式的基于深度学习的应用:MRI、CT 和超声,以及目标结构的特定应用
这些基于深度学习的方法提供了一种高效和有效的方法,以不同的方式分割特定器官或组织(例如,左心室、冠状血管、疤痕),促进心血管结构和功能的后续定量分析。在这些工作中,这些方法中有很大一部分是为心室分割而设计的,特别是在MRI和超声领域。心室分割的目的是描绘左心室和/或左心室的心内膜和心外膜。这些分割图对于得出临床指标非常重要,例如左心室舒张末期容积 (LVEDV)、左心室收缩末期容积 (LVESV)、右心室舒张末期容积 (RVEDV)、右心室收缩末期容积 (RVESV) 和 EF。此外,这些分割图对于 3D 形状分析 、3D + 时间运动分析 和生存预测 至关重要。
心脏MRI图像分割
心脏 MRI 可以准确量化心脏解剖结构和功能(例如,电影成像)和病理组织,例如疤痕(晚期钆增强 (LGE) 成像)。因此,心脏MRI目前被认为是定量心脏分析的金标准。
大多数工作都集中在心腔分割上(例如,LV左室内径、RV右室内径、LA左房内径)
对比增强图像中分割异常心脏组织区域(例如心肌瘢痕和心房纤维化)的工作相对较少。这可能是由于相关的公共数据集有限以及任务的难度;很少有将深度学习技术应用于心房壁分割的工作
心室分割
基于 Vanilla FCN 的分割:在这些基于 FCN 的方法中,大多数方法使用 2D 网络而不是 3D 网络进行分割。这主要是由于大多数心脏 MRI 扫描的典型低平面分辨率和运动伪影,这限制了 3D 网络的适用性
引入空间或时间上下文:使用 2D 网络进行心脏分割的一个缺点是,这些网络逐个切片工作,因此它们不利用任何切片间依赖关系,2D 网络可能无法在具有挑战性的切片上定位和分割心脏,例如心室轮廓不明确的顶端和基底切片,为了解决这个问题,许多工作试图引入额外的上下文信息来指导 2D FCN。
应用解剖学约束:限制 2D 和 3D FCN 分割性能的问题是,它们通常仅使用像素级损失函数(例如,交叉熵或软骰损失)进行训练。这些像素损失函数可能不足以学习代表底层解剖结构的特征;有几种方法侧重于设计和应用解剖约束来训练网络,以提高其预测准确性和鲁棒性。这些约束被表示为正则化项,考虑了拓扑、轮廓和区域信息 或形状信息
多任务学习
多级网络
混合分割方法:将神经网络与经典分割方法相结合,例如,水平集,可变形模型,基于图谱的方法和基于图切割的方法。神经网络应用于特征提取和模型初始化阶段,减少了对人工交互的依赖,提高了后续部署的传统分割方法的分割精度。
心房分割
心房颤动 (AF) 是最常见的心脏电疾病之一;心房分割在临床中至关重要,可改善术前心房颤动消融计划和术后随访评估中对心房解剖结构的评估。
例:应用 2D FCN 直接从标准 2D 长轴图像(即 心尖二腔(2CH)、心尖四腔(4CH) 视图)中分割 LA左房内径 和 RA右房内径)
疤痕分割
瘢痕表征通常使用 LGE MR 成像(能够识别心肌瘢痕和心房纤维化,从而改善心肌梗死和心房颤动的管理)
例:基于图谱的方法来识别左心房,然后应用深度神经网络来检测该区域的纤维化组织;
分割左心房和心房瘢痕;
基于U-net的网络从肥厚型心肌病(HCM)患者获得的LGE图像中同时分割心肌和瘢痕,实现了快速分割速度;
主动脉分割
升主动脉的平均 Dice 指标为 0.96,降主动脉的平均 Dice 指标为 0.95
全心分割
还可用于分割 3D MR 图像中心脏的主要子结构;采用了 3D 密集 FCN 从 3D MRI 扫描中分割心脏中的心肌和血池。分割更具体的子结构 [包括四个腔室、主动脉、肺静脉 (PV)]。
心脏CT图像分割
心脏 CT 扫描用于评估心脏解剖结构,特别是冠状动脉。有两种主要的成像方式:非增强 CT 成像和对比增强冠状动脉 CT 血管造影 (CTA)
心脏子结构分割
如(心脏射血分数)EF、心肌质量、壁厚等。通常,分割的心脏亚结构包括 LV、RV、LA、RA、Myo(肌红蛋白)、主动脉 (AO) 和肺动脉 (PA)。
两步分割:首先提取ROI,然后输入CNN进行后续分类。例如,Zreik等人提出了一个两步LV分割过程,其中首先使用de Vos等人中描述的方法检测LV的边界框,然后使用基于补丁的CNN在定义的边界框内进行体素分类。
多视图CNN:通过以 2D 方式训练多平面 CNN(轴向、矢状面和冠状面)来利用心脏的体积信息。
混合损失:将不同的损失函数(例如focal loss, Dice loss, and 加权分类交叉熵)组合在一起以解决类别不平衡问题,例如不同心室结构之间的体积大小不平衡,并提高分割性能
冠状动脉分割
与冠状动脉分割相关的方法主要可分为两类:中心线提取和管腔(即血管壁)分割。
CNN作为后处理/预处理步骤:
冠状动脉中心线摘除术是一项具有挑战性的任务,因为附近存在心脏结构和冠状静脉,以及心脏 CT 中的运动伪影。
有几种采用CNN作为传统方法的后处理或预处理步骤:
如多任务FCN中心线提取方法,该方法可以生成单像素宽的中心线,其中FCN同时预测冠状动脉和升主动脉分割面罩的中心线距离图和终点置信度图,然后将其用作后续最小路径提取器的输入,以获得最终的中心线提取结果。
如通过3D dilated CNN解决中心线提取问题,其中CNN在贴片上进行训练,以直接确定一组离散的可能方向上的后验概率分布,并估计给定点的动脉半径。
端到端CNN:
关于管腔或血管壁分割,大多数基于深度学习的方法使用端到端 CNN 分割方案来预测密集分割概率图,
冠状动脉钙化和斑块分割
冠状动脉钙化(CAC)是心血管疾病的直接危险因素。CAC的精确检测和分割对于Agatston评分的准确预测和疾病诊断非常重要。
两步分割:如第一个 CNN 粗略地识别出的体素可能是检测到的 ROI 中的CAC,第二个 CNN 进一步更准确地区分 CAC 和 CAC 样阴性(分类)
直接分割:从非增强心脏CT或胸部CT中直接分割CAC。如采用U-net和DenseNet的组合来精确定量CAC
对于冠状动脉中的非钙化斑块 (NCP) 和混合钙化斑块 (MCP):研究数量有限,从临床的角度来看,这是一项非常重要的任务,因为这些斑块可能会破裂并阻塞动脉,导致缺血事件和严重的心脏损伤。NCP 和 MCP 分割更具挑战性(外观和强度与邻近组织相似),通常需要生成沿血管中心线拉直的多平面重新格式化 (MPR) 图像;有人提出了一个以血管为中心的3D卷积网络,该网络具有注意力层,用于分割提取和重新格式化的冠状动脉MPR体积上的三种类型的斑块;有人提出了一种用于检测和表征冠状动脉斑块以及确定冠状动脉狭窄显着性的自动方法,其中使用多任务卷积RNN通过分析MPR图像中沿冠状动脉提取的特征来执行斑块和狭窄分类。
心脏超声图像分割
心脏超声成像,也称为超声心动图,是评估心血管功能不可或缺的临床工具。限制,例如低信噪比、变化的散斑噪声、低图像对比度(尤其是心肌和血池之间)、 边缘脱落和结构(如密集的肌肉和肋骨)投射的阴影。
几种基于 DL 的方法,以提高心脏超声图像分割在准确性和速度方面的性能。这些基于 DL 的方法大多侧重于左心室分割,只有少数方法解决了主动脉瓣和 LA (左房内径)分割的问题。
2D LV(左室内径)分割
深度学习与可变形模型相结合:用于 2D 图像中的左心室分割,一些作品首先通过边界框的刚性变换来定位目标 ROI,然后在 ROI 中分割目标结构。
利用时间相干性:心脏超声数据通常是记录图像的时间序列。有人将U-net、长短期记忆(LSTM)和帧间光流结合起来,利用多个帧来分割一个目标帧,证明了整体分割精度的提高。
利用未标记的数据:使用基于非DL的分割算法来帮助在未标记的图像上生成标签,从而有效地增加训练数据量。
利用来自多个域的数据:
3D 低压分割
虽然有可能得出更准确的体积相关临床指标,但是3D 超声心动图的时间分辨率较低,图像质量较低。此外,3D图像极大地增加了神经网络参数空间的维度,这给深度学习方法带来了计算挑战。
降低计算成本的一种方法是避免在深度学习网络中直接处理 3D 数据:提出了一种两阶段方法,首先应用2D CNN从3D体积生成2D切片上的粗分割图。粗略的2D分割图用于初始化3D形状模型,然后通过3D可变形模型方法对其进行细化。
左心房分割
多腔室分割
应用深度学习方法进行多腔室(包括左心室和左心室)分割
主动脉瓣分割
有人提出了一个基于边缘空间学习(MSL)、深度神经网络(DNN)和主动形状模型(ASM)的框架,用于分割3D心脏超声体积中的主动脉瓣
心动图视图分类(心尖四腔4CH、心尖二腔2CH、心尖长轴等)
小儿超声心动图分类
室壁运动分析
二尖瓣瓣叶分割
瓣膜性心脏病分类
心室功能评估
论文:
1、严重主动脉瓣狭窄(AS)检测
数据集:17570个视频;使用三维卷积神经网络3D CNN
该模型可以用显着图来解释,显着图将主动脉瓣、二尖瓣环和左心房识别为预测区域。
2、心肌应变分析(左心室心肌)
应变分析为心肌收缩提供了时空特征,有助于早期发现心功能不全。
工作:心肌分割,3DCNN 以及估计感兴趣区域DOI中像素运动的光流网络(光流CNN)
网络:3D-CSN获取ROI(可识别心内膜心外膜)
视频大小:256x256xt(帧数)
光流网络(获取每个像素运动场,更新心肌中心线C位置):RAFT(使用),PWC-net,FLOWnet
3、超声心动图分割
二尖瓣反流分类:心尖两腔,心尖三腔,心尖四腔
网络:VDS-UNET;VGG16
提取视频若干帧,图像分割
(a) 两个顶腔的标记;(b)顶点三腔标记;(c)顶端四室标记。文章来源地址https://www.toymoban.com/news/detail-788710.html
4、超声心动图检查风湿性心脏病的自动诊断
数据集由 11 646 个 MP4 格式(分辨率 320 × 240 像素)的超声心动图视频组成
网络:3D 卷积神经网络 (C3D) 解决了 RHD 识别
工作:将C3D性能与超声心动图文献中常用的 2D 卷积神经网络 (VGG16) 进行了比较
文章来源:https://www.toymoban.com/news/detail-788710.html
(a) 两个顶腔的标记;(b)顶点三腔标记;(c)顶端四室标记。
到了这里,关于动态视频——心脏的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!