动态视频——心脏

这篇具有很好参考价值的文章主要介绍了动态视频——心脏。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

动态视频——心脏,学习笔记,音视频,人工智能,深度学习,神经网络,计算机视觉

心室、心房、血管

深度学习在心脏图像分割中的应用

总结了三种主要成像模式的基于深度学习的应用:MRI、CT 和超声,以及目标结构的特定应用

这些基于深度学习的方法提供了一种高效和有效的方法,以不同的方式分割特定器官或组织(例如,左心室、冠状血管、疤痕),促进心血管结构和功能的后续定量分析。在这些工作中,这些方法中有很大一部分是为心室分割而设计的,特别是在MRI和超声领域心室分割的目的是描绘左心室和/或左心室的心内膜和心外膜。这些分割图对于得出临床指标非常重要,例如左心室舒张末期容积 (LVEDV)、左心室收缩末期容积 (LVESV)、右心室舒张末期容积 (RVEDV)、右心室收缩末期容积 (RVESV) 和 EF。此外,这些分割图对于 3D 形状分析 、3D + 时间运动分析 和生存预测 至关重要。

心脏MRI图像分割

心脏 MRI 可以准确量化心脏解剖结构和功能(例如,电影成像)和病理组织,例如疤痕(晚期钆增强 (LGE) 成像)。因此,心脏MRI目前被认为是定量心脏分析的金标准。

大多数工作都集中在心腔分割上(例如,LV左室内径、RV右室内径、LA左房内径)

对比增强图像中分割异常心脏组织区域(例如心肌瘢痕和心房纤维化)的工作相对较少。这可能是由于相关的公共数据集有限以及任务的难度;很少有将深度学习技术应用于心房壁分割的工作

心室分割

基于 Vanilla FCN 的分割:在这些基于 FCN 的方法中,大多数方法使用 2D 网络而不是 3D 网络进行分割。这主要是由于大多数心脏 MRI 扫描的典型低平面分辨率和运动伪影,这限制了 3D 网络的适用性

引入空间或时间上下文:使用 2D 网络进行心脏分割的一个缺点是,这些网络逐个切片工作,因此它们不利用任何切片间依赖关系,2D 网络可能无法在具有挑战性的切片上定位和分割心脏,例如心室轮廓不明确的顶端和基底切片,为了解决这个问题,许多工作试图引入额外的上下文信息来指导 2D FCN。

应用解剖学约束:限制 2D 和 3D FCN 分割性能的问题是,它们通常仅使用像素级损失函数(例如,交叉熵或软骰损失)进行训练。这些像素损失函数可能不足以学习代表底层解剖结构的特征;有几种方法侧重于设计和应用解剖约束来训练网络,以提高其预测准确性和鲁棒性。这些约束被表示为正则化项,考虑了拓扑、轮廓和区域信息 或形状信息

多任务学习

多级网络

混合分割方法:将神经网络与经典分割方法相结合,例如,水平集,可变形模型,基于图谱的方法和基于图切割的方法。神经网络应用于特征提取和模型初始化阶段,减少了对人工交互的依赖,提高了后续部署的传统分割方法的分割精度。

心房分割

心房颤动 (AF) 是最常见的心脏电疾病之一;心房分割在临床中至关重要,可改善术前心房颤动消融计划和术后随访评估中对心房解剖结构的评估。

例:应用 2D FCN 直接从标准 2D 长轴图像(即 心尖二腔(2CH)、心尖四腔(4CH) 视图)中分割 LA左房内径 和 RA右房内径)

疤痕分割

瘢痕表征通常使用 LGE MR 成像(能够识别心肌瘢痕和心房纤维化,从而改善心肌梗死和心房颤动的管理)

例:基于图谱的方法来识别左心房,然后应用深度神经网络来检测该区域的纤维化组织;

分割左心房和心房瘢痕;

基于U-net的网络从肥厚型心肌病(HCM)患者获得的LGE图像中同时分割心肌和瘢痕,实现了快速分割速度;

主动脉分割

升主动脉的平均 Dice 指标为 0.96,降主动脉的平均 Dice 指标为 0.95

全心分割

还可用于分割 3D MR 图像中心脏的主要子结构;采用了 3D 密集 FCN 从 3D MRI 扫描中分割心脏中的心肌和血池。分割更具体的子结构 [包括四个腔室、主动脉、肺静脉 (PV)]。

心脏CT图像分割

心脏 CT 扫描用于评估心脏解剖结构,特别是冠状动脉。有两种主要的成像方式:非增强 CT 成像和对比增强冠状动脉 CT 血管造影 (CTA)

心脏子结构分割

如(心脏射血分数)EF、心肌质量、壁厚等。通常,分割的心脏亚结构包括 LV、RV、LA、RA、Myo(肌红蛋白)、主动脉 (AO) 和肺动脉 (PA)。

两步分割:首先提取ROI,然后输入CNN进行后续分类。例如,Zreik等人提出了一个两步LV分割过程,其中首先使用de Vos等人中描述的方法检测LV的边界框,然后使用基于补丁的CNN在定义的边界框内进行体素分类。

多视图CNN:通过以 2D 方式训练多平面 CNN(轴向、矢状面和冠状面)来利用心脏的体积信息。

混合损失:将不同的损失函数(例如focal loss, Dice loss, and 加权分类交叉熵)组合在一起以解决类别不平衡问题,例如不同心室结构之间的体积大小不平衡,并提高分割性能

冠状动脉分割

与冠状动脉分割相关的方法主要可分为两类:中心线提取和管腔(即血管壁)分割。

CNN作为后处理/预处理步骤:

冠状动脉中心线摘除术是一项具有挑战性的任务,因为附近存在心脏结构和冠状静脉,以及心脏 CT 中的运动伪影。

有几种采用CNN作为传统方法的后处理或预处理步骤:

如多任务FCN中心线提取方法,该方法可以生成单像素宽的中心线,其中FCN同时预测冠状动脉和升主动脉分割面罩的中心线距离图和终点置信度图,然后将其用作后续最小路径提取器的输入,以获得最终的中心线提取结果。

如通过3D dilated CNN解决中心线提取问题,其中CNN在贴片上进行训练,以直接确定一组离散的可能方向上的后验概率分布,并估计给定点的动脉半径。

端到端CNN:

关于管腔或血管壁分割,大多数基于深度学习的方法使用端到端 CNN 分割方案来预测密集分割概率图,

冠状动脉钙化和斑块分割

冠状动脉钙化(CAC)是心血管疾病的直接危险因素。CAC的精确检测和分割对于Agatston评分的准确预测和疾病诊断非常重要。

两步分割:如第一个 CNN 粗略地识别出的体素可能是检测到的 ROI 中的CAC,第二个 CNN 进一步更准确地区分 CAC 和 CAC 样阴性(分类)

直接分割:从非增强心脏CT或胸部CT中直接分割CAC。如采用U-net和DenseNet的组合来精确定量CAC

对于冠状动脉中的非钙化斑块 (NCP) 和混合钙化斑块 (MCP):研究数量有限,从临床的角度来看,这是一项非常重要的任务,因为这些斑块可能会破裂并阻塞动脉,导致缺血事件和严重的心脏损伤。NCP 和 MCP 分割更具挑战性(外观和强度与邻近组织相似),通常需要生成沿血管中心线拉直的多平面重新格式化 (MPR) 图像;有人提出了一个以血管为中心的3D卷积网络,该网络具有注意力层,用于分割提取和重新格式化的冠状动脉MPR体积上的三种类型的斑块;有人提出了一种用于检测和表征冠状动脉斑块以及确定冠状动脉狭窄显着性的自动方法,其中使用多任务卷积RNN通过分析MPR图像中沿冠状动脉提取的特征来执行斑块和狭窄分类。

心脏超声图像分割

心脏超声成像,也称为超声心动图,是评估心血管功能不可或缺的临床工具。限制,例如低信噪比、变化的散斑噪声、低图像对比度(尤其是心肌和血池之间)、 边缘脱落和结构(如密集的肌肉和肋骨)投射的阴影。

动态视频——心脏,学习笔记,音视频,人工智能,深度学习,神经网络,计算机视觉

几种基于 DL 的方法,以提高心脏超声图像分割在准确性和速度方面的性能。这些基于 DL 的方法大多侧重于左心室分割,只有少数方法解决了主动脉瓣和 LA (左房内径)分割的问题。

2D LV(左室内径)分割

深度学习与可变形模型相结合:用于 2D 图像中的左心室分割,一些作品首先通过边界框的刚性变换来定位目标 ROI,然后在 ROI 中分割目标结构。

利用时间相干性:心脏超声数据通常是记录图像的时间序列。有人将U-net、长短期记忆(LSTM)和帧间光流结合起来,利用多个帧来分割一个目标帧,证明了整体分割精度的提高。

利用未标记的数据:使用基于非DL的分割算法来帮助在未标记的图像上生成标签,从而有效地增加训练数据量。

利用来自多个域的数据:

3D 低压分割

虽然有可能得出更准确的体积相关临床指标,但是3D 超声心动图的时间分辨率较低,图像质量较低。此外,3D图像极大地增加了神经网络参数空间的维度,这给深度学习方法带来了计算挑战。

降低计算成本的一种方法是避免在深度学习网络中直接处理 3D 数据:提出了一种两阶段方法,首先应用2D CNN从3D体积生成2D切片上的粗分割图。粗略的2D分割图用于初始化3D形状模型,然后通过3D可变形模型方法对其进行细化。

左心房分割
多腔室分割

应用深度学习方法进行多腔室(包括左心室和左心室)分割

主动脉瓣分割

有人提出了一个基于边缘空间学习(MSL)、深度神经网络(DNN)和主动形状模型(ASM)的框架,用于分割3D心脏超声体积中的主动脉瓣

心动图视图分类(心尖四腔4CH、心尖二腔2CH、心尖长轴等)

小儿超声心动图分类

室壁运动分析

二尖瓣瓣叶分割

瓣膜性心脏病分类

心室功能评估

论文:

1、严重主动脉瓣狭窄(AS)检测

数据集:17570个视频;使用三维卷积神经网络3D CNN

该模型可以用显着图来解释,显着图将主动脉瓣、二尖瓣环和左心房识别为预测区域。

2、心肌应变分析(左心室心肌)

应变分析为心肌收缩提供了时空特征,有助于早期发现心功能不全。

工作:心肌分割,3DCNN 以及估计感兴趣区域DOI中像素运动的光流网络(光流CNN)

网络:3D-CSN获取ROI(可识别心内膜心外膜)

视频大小:256x256xt(帧数)

光流网络(获取每个像素运动场,更新心肌中心线C位置):RAFT(使用),PWC-net,FLOWnet

动态视频——心脏,学习笔记,音视频,人工智能,深度学习,神经网络,计算机视觉

动态视频——心脏,学习笔记,音视频,人工智能,深度学习,神经网络,计算机视觉

3、超声心动图分割

二尖瓣反流分类:心尖两腔,心尖三腔,心尖四腔

网络:VDS-UNET;VGG16

提取视频若干帧,图像分割

动态视频——心脏,学习笔记,音视频,人工智能,深度学习,神经网络,计算机视觉

a) 两个顶腔的标记;(b)顶点三腔标记;(c)顶端四室标记。文章来源地址https://www.toymoban.com/news/detail-788710.html

4、超声心动图检查风湿性心脏病的自动诊断

数据集由 11 646 个 MP4 格式(分辨率 320 × 240 像素)的超声心动图视频组成

网络:3D 卷积神经网络 (C3D) 解决了 RHD 识别

工作:将C3D性能与超声心动图文献中常用的 2D 卷积神经网络 (VGG16) 进行了比较

动态视频——心脏,学习笔记,音视频,人工智能,深度学习,神经网络,计算机视觉

a) 两个顶腔的标记;(b)顶点三腔标记;(c)顶端四室标记。

到了这里,关于动态视频——心脏的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包赞助服务器费用

相关文章

  • 音视频BUG学习

    音视频BUG学习

    1、首先看出现概率是偶现还是必现 2、如果是必现,则复现整个bug过程,看Bug是否出现 如果是偶现,则分析问题视频 在复现问题过程中,刚开始没下载到本地,直接点击播放发生慢放,因为流量网速较低,15s,40Mb 平均网速要超过2.7Mb/s,因此误以为复现了bug 0 问题复现 找设

    2024年02月11日
    浏览(7)
  • 音视频入门知识学习

    音视频入门知识学习

    1920x1080的屏幕,32位,30帧的fps。一秒钟需要1920x1080x32x30字节,所以需要压缩 压缩的核心思想就是去除冗余信息 空间冗余 空间冗余 == 相邻像素重复:图像内部相邻像素之间存在较强的相关性多造成的冗余 比如一张图片中间的一个位置大小20x20,它的表现肉眼看起来其实是一

    2024年02月12日
    浏览(7)
  • 从数字图像到音视频学习:我的学习之旅

    从数字图像到音视频学习:我的学习之旅

    数字图像是一门广泛应用于计算机视觉、图像处理和计算机图形学等领域的学科,而音视频学习则涵盖了音频和视频的处理、分析和应用。 如果你最开始接触数字图像,可能会学习一些基本概念,例如像素、分辨率、色彩空间和图像处理算法等。这可能涉及到使用编程语言(

    2024年02月11日
    浏览(9)
  • 5G 时代来了;还不赶紧学习音视频?

    5G 时代来了;还不赶紧学习音视频?

    随着 5G 时代的到来 , 移动技术 的发展不仅带来 网速的提升 ,同时也推动 流量单位成本下降 , 企业通信方式 从 文本消息 到 富媒体消息 ,如今也逐渐向 实时高清音视频升级 ; 防护 工作的持续使得 视频会议、远程办公、线上教学 成为许多人工作中的**“常态” ;对于

    2023年04月14日
    浏览(10)
  • ffmpeg系列学习——FFmpeg的音视频处理

    1.音视频的采样率、采样位深度和声道数 音频和视频的采样率、采样位深度和声道数是媒体文件中的重要参数,它们会直接影响到音视频的质量和文件大小。下面对它们进行详细解释: 采样率 采样率指音频每秒钟采样的次数,用赫兹(Hz)表示。采样率越高,音频的还原度越

    2024年02月04日
    浏览(37)
  • 音视频学习(二十)——rtsp收流(udp方式)

    音视频学习(二十)——rtsp收流(udp方式)

    本文主要介绍通过udp方式实现rtsp拉流。 流程说明: 相较于tcp方式“信令+数据”复用同一连接拉流,udp方式拉流“信令+数据”采用不同的连接,信令传输采用tcp,流数据传输采用udp; 客户端向服务端(设备等)发起tcp请求,用于后续信令交互; tcp连接成功后,开始rtsp信令

    2024年02月04日
    浏览(10)
  • 音视频学习(二十一)——rtmp收流(tcp方式)

    音视频学习(二十一)——rtmp收流(tcp方式)

    本文主要介绍rtmp协议收流流程,在linux上搭建rtmp服务器,通过自研的rtmp收流库发起取流请求,使用ffmpeg+qt实现视频流的解码与播放。 关于rtmp协议基础介绍可查看:https://blog.csdn.net/www_dong/article/details/131026072 下载nginx 解压,将nginx-rtmp-module拷贝至nginx-1.24.0目录,如下所示:

    2024年02月03日
    浏览(19)
  • 如何找到更多音视频开发学习资料和资源?

    如何找到更多音视频开发学习资料和资源?

    如果你对学习音视频开发感兴趣,以下是一些建议,可以帮助你获取更多相关的资料和资源: 在线学习平台:参考一些知名的在线学习平台,如Coursera、Udemy、edX等,搜索他们的课程目录,看是否有与音视频开发相关的课程。这些平台通常提供高质量的学习资源,包括视频教

    2024年02月12日
    浏览(11)
  • 【音视频 ffmpeg 学习】 RTMP推流 mp4文件

    【音视频 ffmpeg 学习】 RTMP推流 mp4文件

    1.RTMP(实时消息传输协议)是Adobe 公司开发的一个基于TCP的应用层协议。 2.RTMP协议中基本的数据单元称为消息(Message)。 3.当RTMP协议在互联网中传输数据的时候,消息会被拆分成更小的单元,称为消息块(Chunk)。 (1). linux 环境准备 安装nginx 和 rtmp模块 下载nginx安装包 下载

    2024年02月03日
    浏览(16)
  • 【音视频笔记】Mediacodec+Muxer生成mp4,浏览器无法播放问题处理

    最近在测试视频录制功能时发现,AudioRecord + MediaCodec + MediaMuxer生成的MP4,PC浏览器无法播放 ,但是Android、Windows、Mac的播放器应用都能正常播放。虽然不禁想吐槽浏览器视频组件的容错性差,但我也意识生成的文件格式肯定也是有问题的。 然后尝试了合成MP4视频时,只保留视

    2024年02月07日
    浏览(48)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包