预测神经胶质瘤基因型的多模态学习-Toy模板网

这篇具有很好参考价值的文章主要介绍了预测神经胶质瘤基因型的多模态学习。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Multi-modal learning for predicting the genotype of glioma

摘要

背景
异柠檬酸脱氢酶（IDH）基因突变是神经胶质瘤诊断和预后的重要生物标志物。
通过将局灶性肿瘤图像和几何特征与MRI衍生的脑网络特征相结合，可以更好地预测神经胶质瘤基因型。卷积神经网络在预测IDH突变方面表现出合理的性能，然而，它不能从非欧几里得数据中学习，例如几何数据和网络数据。
本文方法

提出了一个多模态学习框架，使用三个独立的编码器来提取局灶性肿瘤图像、肿瘤几何和全局脑网络的特征。
为了缓解扩散MRI的有限可用性，我们开发了一种自监督方法，从解剖多序列MRI生成大脑网络
为了从脑网络中提取与肿瘤相关的特征，我们为脑网络编码器设计了一个分层注意力模块
设计了一个双水平的多模态对比损失，以对齐多模态特征
最后，我们提出了一个加权总体图来整合多模态特征，用于基因型预测

本文方法

预测神经胶质瘤基因型的多模态学习
模型包括三个阶段：（1）从多序列MRI中生成肿瘤图像、肿瘤几何图和脑网络的多模态数据；（2）多模态对比学习从局灶性肿瘤图像、几何图形和全局脑网络中提取特征；（3）特征集成，构建用于患者分类和基因型预测的群体图。

多模态数据生成

三种数据模型：
（1）通过在肿瘤掩模和MRI上指定布尔值来获得局灶性肿瘤的图像数据（表示为xI）；
（2）通过使用标准的最远点采样策略对肿瘤掩模的表面网格进行采样，生成点云形式的肿瘤几何数据（表示为xP）；
（3）大脑网络（表示为xB）由下面详述的两个自监督神经网络（NN）生成

Brain networks construction via self-supervised NNs

大脑网络由重建的节点和边缘组成，是基于先前的神经解剖学图谱生成的
节点属性表示分离的大脑区域的独立区域特征。大脑边缘属性被定义为由预先训练的边缘编码器从解剖MRI中提取的特征，该特征表示由解剖先验定义的不同大脑区域之间的白质通道连通性。
预测神经胶质瘤基因型的多模态学习
经过训练的编码器从先前的大脑图谱中提取节点属性（作为大脑网络的节点）。具体而言，由图谱上的90个皮层/皮层下大脑区域包围的体素被提取并输入到基于神经网络的自动编码器（AE）中，以产生大脑网络的大脑节点属性。
AE由从大脑节点中的体素中提取高级表示向量的NN编码器和试图从表示向量中恢复体素的NN解码器组成。

通过采用这种自监督模型，可以提取大脑区域中体素的表示作为大脑节点属性。相反，边缘属性的对比学习编码器（MLP）的输入在训练阶段包括FA图和解剖MRI，而在测试阶段不再需要FA图和相应的编码器。经过训练的解剖MRI编码器从束图谱中提取边缘属性（作为大脑网络的边缘）。

使用束图谱作为重建大脑边缘属性bE的感兴趣区域，表明连接90个大脑区域的2309条白质束通路。
由于扩散MRI得出的分数各向异性（FA）图在表征大脑连接/边缘方面具有临床意义，我们利用FA图来指导解剖MRI的属性提取。
首先，将解剖MRI的体素和束图谱所包围的相应FA图输入到两个多层感知器（MLP）中

脑边缘LE的对比损失定义为：
预测神经胶质瘤基因型的多模态学习
其中i是目标患者的指数，而j是mini-batch中其他患者的指数；S（·）是相似性得分；τ是温度参数，设置为0.1；M是mini-batch的尺寸。负对是不同患者的边缘属性对（FA，解剖MRI），而正对是同一患者的边缘-属性对。
该损失最大化了正极对之间的距离，并最小化了负极对之间的间距，以从解剖MRI中提取与FA最相关的特征

Multi-modal learning for image, geometrics and brain networks

所提出的多模态学习框架从三种模态的数据中提取特征，即局灶肿瘤图像、局灶肿瘤几何和全局脑网络。

此外，为脑网络编码器开发了层次注意力，以提取与肿瘤相关的脑网络特征。

最后，将提取的特征投影到一个共享的潜在空间中，用于双水平多模态对比学习，这可以最大限度地减少从肿瘤水平（图像和几何图形）到全局大脑水平（局灶肿瘤和大脑网络）的领域差距。

预测神经胶质瘤基因型的多模态学习
注意力机制由边缘级注意力和节点级注意力构成。前者是通过将肿瘤边界的几何注意力投影到边缘上而获得的。具体而言，点云被投影到边缘图集。然后为交叉边指定点云的边界注意力。边缘注意力定义为：
预测神经胶质瘤基因型的多模态学习
其中aEi是连接第i个患者的第m个节点和第n个节点的第（m，n）个边缘的边缘注意力。K是第（m，n）条边穿过的点云中的点数，aPi，K是第（m，n）个边穿过的第K个点的注意力

Bi-level multi-modal contrastive loss

预测神经胶质瘤基因型的多模态学习
通过最小化来自同一患者i的多模态潜在特征（zIi，zPi）之间的余弦距离（吸引）并最大化多模态潜在特性对（zIi，zPj）的余弦距离，开发了双水平多模态对比损失，以首先减小肿瘤水平特征的域间隙，（zPi、zIj）。其次，针对脑网络（zBi）和局灶性肿瘤（zFi）的特征，使用类似的方法优化脑水平域间隙。
设计了三种对比损失，分别是肿瘤图像与肿瘤几何图、肿瘤几何图与肿瘤图像和全局脑网络与局灶性肿瘤。最后，我们用加权系数λ对这三个子损失进行积分。