【论文阅读笔记】M3Care: Learning with Missing Modalities in Multimodal Healthcare Data

这篇具有很好参考价值的文章主要介绍了【论文阅读笔记】M3Care: Learning with Missing Modalities in Multimodal Healthcare Data。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本文介绍了一种名为“M³Care”的模型,旨在处理多模态医疗保健数据中的缺失模态问题。这个模型是端到端的,能够补偿病人缺失模态的信息,以执行临床分析。M³Care不是生成原始缺失数据,而是在潜在空间中估计缺失模态的任务相关信息,利用来自具有相似未缺失模态的其他病人的辅助信息。该模型通过任务引导的模态适应性相似性度量来找到相似的病人,并据此进行临床任务。实验表明,M³Care在多种评估指标上超越了现有的基线模型,并且其发现与专家意见和医学知识一致,显示出提供有用见解的潜力。【开放源码】

一.论文概述

  1. 端到端模型设计:M³Care是一个端到端的模型,能够直接处理具有缺失模态的患者数据,补偿这些缺失信息,以执行临床分析。

  2. 任务相关信息的估计:与传统方法不同,M³Care不是直接生成原始缺失数据,而是在潜在空间中估计缺失模态的任务相关信息。这种方法避免了直接处理原始数据的不稳定性和复杂性。

  3. 利用相似患者的辅助信息:M³Care模型通过任务引导的模态适应性相似性度量来识别相似的患者,并利用这些相似患者的未缺失模态数据来估计目标患者的缺失信息。

  4. 临床任务的有效执行:模型能够利用估计出的任务相关信息来有效执行临床任务,如疾病诊断或预后预测。

  5. 实验验证:作者通过在真实世界数据集上的实验,展示了M³Care在各种评估指标上优于现有基线模型的性能,并且其发现与专家意见和医学知识一致,显示出提供有用见解的潜力。

二.模型结构

【论文阅读笔记】M3Care: Learning with Missing Modalities in Multimodal Healthcare Data,多模态与缺失模态,深度学习,论文阅读,笔记

【论文阅读笔记】M3Care: Learning with Missing Modalities in Multimodal Healthcare Data,多模态与缺失模态,深度学习,论文阅读,笔记
  • Unimodal Representation Extraction:使用不同的特征抽取模型抽取各自模态特征,图上很清楚,不赘述。

  • Similar Patients Discovery and Information Aggregation:包含如下:

    • task-guided modality-semantic-adaptive similarity metric:使用特殊的核函数方法度量,而不是传统的余弦相似度。

      k ω m (   h i m ,   h j m ) = [ ( 1 − δ m ) k ( ϕ ω m (   h i m ) , ϕ ω m (   h j m ) ) + δ m ] q (   h i m ,   h j m ) k_{\omega_{m}}\left(\mathrm{~h}_{i}^{m}, \mathrm{~h}_{j}^{m}\right)=\left[\left(1-\delta_{m}\right) k\left(\phi_{\omega_{m}}\left(\mathrm{~h}_{i}^{m}\right), \phi_{\omega_{m}}\left(\mathrm{~h}_{j}^{m}\right)\right)+\delta_{m}\right] q\left(\mathrm{~h}_{i}^{m}, \mathrm{~h}_{j}^{m}\right) kωm( him, hjm)=[(1δm)k(ϕωm( him),ϕωm( hjm))+δm]q( him, hjm)

      1. 核函数 k ω m (   h i m ,   h j m ) k_{\omega_{m}}\left(\mathrm{~h}_{i}^{m}, \mathrm{~h}_{j}^{m}\right) kωm( him, hjm):这个函数用于计算两个患者在特定模态 m m m中特征表示的相似度。这里, h i m \mathrm{h}_{i}^{m} him h j m \mathrm{h}_{j}^{m} hjm分别表示第 i i i和第 j j j 个患者在模态 m m m中的特征表示。
      2. 混合项:公式中的第一个部分 ( 1 − δ m ) k ( ϕ ω m (   h i m ) , ϕ ω m (   h j m ) ) \left(1-\delta_{m}\right) k\left(\phi_{\omega_{m}}\left(\mathrm{~h}_{i}^{m}\right), \phi_{\omega_{m}}\left(\mathrm{~h}_{j}^{m}\right)\right) (1δm)k(ϕωm( him),ϕωm( hjm)),其中 ϕ ω m \phi_{\omega_{m}} ϕωm 是一个转换函数,将原始特征空间映射到一个新的空间,以便更好地捕捉相似度。 δ m \delta_{m} δm是一个模态特定的调整参数,它决定了在核函数中保留多少原始特征空间的信息。
      3. 权重项 δ m \delta_{m} δm:这个参数调节着在相似度计算中原始特征空间和转换后空间的相对重要性。它的值在 0 和 1 之间,用于平衡两种不同的相似度计算方式。
      4. 附加项 q (   h i m ,   h j m ) q\left(\mathrm{~h}_{i}^{m}, \mathrm{~h}_{j}^{m}\right) q( him, hjm):这个项用于在相似度计算中添加额外的信息,可能是基于特定模态 m m m 的特定特征或考虑的其他因素
    • 信息聚合:

      Π ~ = ∑ 1 M Π m ⋅ mask ⁡ m ∑ 1 M mask ⁡ m + ϵ Π ~ i , j = { Π ~ i , j  if  Π ~ i , j > Λ 0  if  Π ~ i , j ≤ Λ \begin{array}{c} \tilde{\Pi}=\frac{\sum_{1}^{M} \Pi^{m} \cdot \operatorname{mask}^{m}}{\sum_{1}^{M} \operatorname{mask}^{m}+\epsilon} \\ \tilde{\Pi}_{i, j}=\left\{\begin{array}{cc} \tilde{\Pi}_{i, j} & \text { if } \tilde{\Pi}_{i, j}>\Lambda \\ 0 & \text { if } \tilde{\Pi}_{i, j} \leq \Lambda \end{array}\right. \end{array} Π~=1Mmaskm+ϵ1MΠmmaskmΠ~i,j={Π~i,j0 if Π~i,j>Λ if Π~i,jΛ

      1. Π ~ \tilde{\Pi} Π~:这代表最终聚合后的结果。
      2. ∑ 1 M Π m ⋅ mask ⁡ m \sum_{1}^{M} \Pi^{m} \cdot \operatorname{mask}^{m} 1MΠmmaskm:这里, Π m \Pi^{m} Πm 表示第 m m m 个模态的某种计算结果或特征表示,而 mask ⁡ m \operatorname{mask}^{m} maskm 是一个掩码(mask),用于指示第 m m m个模态是否可用或重要。掩码通常是二进制的(0或1),用于选择性地考虑(或忽略)特定模态。
      3. ∑ 1 M mask ⁡ m + ϵ \sum_{1}^{M} \operatorname{mask}^{m}+\epsilon 1Mmaskm+ϵ:分母是对所有模态的掩码求和,再加上一个小常数 ϵ \epsilon ϵ(通常接近0)以避免除以零的情况。这种求和确保了当某些模态缺失时,计算结果仍然是有意义的。
      4. Π ~ i , j \tilde{\Pi}_{i, j} Π~i,j:这是聚合后的结果矩阵中的一个元素,代表第 i个样本和第 j j j个样本之间的某种度量。
      5. 条件语句:这里的条件语句用于应用一个阈值 Λ \Lambda Λ。如果 Π ~ i , j \tilde{\Pi}_{i, j} Π~i,j的值大于阈值 Λ \Lambda Λ,它将被保留;如果小于或等于 Λ \Lambda Λ,则将该值设置为0。这种方法用于过滤掉那些低于特定重要性水平的元素。

​ 总体来说,这个公式描述了一个两步过程:首先是结合多个模态的信息,然后通过应用阈值来过滤和精细化结果。目标是通过合并来自相似患者的辅助信息来推断模态缺失样本。因此,为了聚合来自相似的信息,将一批患者的表示表示为每个模态中的一个图,相似度矩阵 Π ~ \tilde{\Pi} Π~作为图的邻接矩阵(即,然后使用图卷积层(GCN),利用结构信息增强表示学习。

  • Adaptive Modality Imputation:
  • Multimodal Interaction Capture:这部分没有什么好说,就是常规Transformer融合多模态特征。

三.数据集

Ocular Disease Intelligent Recognition (ODIR) Dataset and Ophthalmic Vitrectomy
(OV) Dataset 眼病智能识别(ODIR)数据集和眼科玻璃体切除术(OV)数据集

四 .实验结果文章来源地址https://www.toymoban.com/news/detail-756760.html

【论文阅读笔记】M3Care: Learning with Missing Modalities in Multimodal Healthcare Data,多模态与缺失模态,深度学习,论文阅读,笔记【论文阅读笔记】M3Care: Learning with Missing Modalities in Multimodal Healthcare Data,多模态与缺失模态,深度学习,论文阅读,笔记

到了这里,关于【论文阅读笔记】M3Care: Learning with Missing Modalities in Multimodal Healthcare Data的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【论文阅读笔记】UNSUPERVISED REPRESENTATION LEARNING FOR TIME SERIES WITH TEMPORAL NEIGHBORHOOD CODING

     本文提出了一种自监督框架,名为“时间邻域编码”(Temporal Neighborhood Coding,TNC),用于学习非平稳时间序列的可泛化表示。该方法利用信号生成过程的局部平滑性来定义具有平稳性质的时间邻域。通过使用去偏差对比目标,该框架通过确保在编码空间中,来自邻域内的信

    2024年02月21日
    浏览(61)
  • 【论文阅读笔记】Attack-Resistant Federated Learning with Residual-based Reweighting

    个人阅读笔记,如有错误欢迎指出 Arxiv 2019        [1912.11464] Attack-Resistant Federated Learning with Residual-based Reweighting (arxiv.org) 问题:         联邦学习容易受到后门攻击 创新:         提出一种基于残差的重新加权聚合算法         聚合算法将重复中值回归和加权

    2024年02月15日
    浏览(44)
  • 【论文导读】- Subgraph Federated Learning with Missing Neighbor Generation(FedSage、FedSage+)

    Subgraph Federated Learning with Missing Neighbor Generation 原文链接:Subgraph Federated Learning with Missing Neighbor Generation:https://arxiv.org/abs/2106.13430 Graphs have been widely used in data mining and machine learning due to their unique representation of real-world objects and their interactions. As graphs are getting bigger and bigger no

    2024年02月02日
    浏览(40)
  • 【自监督论文阅读笔记】Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture

    2023         本文展示了一种 学习高度语义图像表示 的方法,而 不依赖于手工制作的数据增强 。本文介绍了 基于图像的联合嵌入预测架构 (I-JEPA) ,这是一种用于从图像进行自监督学习的 非生成方法 。 I-JEPA 背后的想法很简单: 从单个上下文块,预测同一图像中各种目

    2024年02月09日
    浏览(44)
  • 论文阅读 - Learning Human Interactions with the Influence Model

    NIPS\\\'01 早期模型 要求知识背景: 似然函数,极大似然估计、HMM、期望最大化 目录 1 Introduction 2 The Facilitator Room 3 T h e I n f l u e n c e M o d e l 3 . 1 ( R e ) i n t r o d u c i n g t h e I n f l u e n c e M o d e l 3 . 2 L e a r n i n g f o r t h e I n f l u e n c e M o d e l 3. 2. 1 期望——影响力最大化模型 3

    2024年02月07日
    浏览(46)
  • 《论文阅读27》SuperGlue: Learning Feature Matching with Graph Neural Networks

    研究领域: 图像特征点匹配 论文:SuperGlue: Learning Feature Matching with Graph Neural Networks CVPR 2020 veido 论文code  [参考] [参考] [参考]    SuperGlue:使用图神经网络学习特征匹配 本文介绍了SuperGlue,一种神经网络,通过 共同寻找对应点和拒绝不匹配点 来匹配两组本地特征。分配估

    2024年02月05日
    浏览(46)
  • 论文阅读---Albert :Few-shot Learning with Retrieval Augmented Language Models

    增强语言模型 Augmented Language Models https://arxiv.org/abs/2208.03299 提前知识: BERT (Bidirectional Encoder Representations from Transformers)是一种预训练语言模型,它通过在大规模文本数据上进行预训练,学习文本的双向表示,并在多种NLP任务中展现出卓越的性能。BERT的双向性意味着它能够

    2024年04月23日
    浏览(37)
  • 论文阅读《Vision-Language Pre-Training with Triple Contrastive Learning》

    本文是2022年CVPR上的一篇 多模态 论文,利用对比学习和动量来进行图片与文本信息的上游预训练。 作者提出问题 简单的跨模态比对模型无法确保来自同一模态的相似输入保持相似。(模态内部语义信息损失) 全局互信息最大化的操作没有考虑局部信息和结构信息。 对于上

    2024年04月13日
    浏览(48)
  • Multi-Task Learning based Video Anomaly Detection with Attention 论文阅读

    文章信息: 原文链接:https://ieeexplore.ieee.org/document/10208994/ 源代码:无 发表于:CVPR 2023 基于多任务学习的视频异常检测方法将多个代理任务结合在不同的分支中,以便在不同情境中检测视频异常。然而,大多数现有方法存在以下一些缺点: I) 它们的代理任务组合方式不是以

    2024年01月20日
    浏览(46)
  • 【论文阅读笔记】4篇Disentangled representation learning用于图像分割的论文

    4篇应用解耦表示学习的文章,这里只关注如何解耦,更多细节不关注,简单记录一下。 Chen C, Dou Q, Jin Y, et al. Robust multimodal brain tumor segmentation via feature disentanglement and gated fusion[C]//Medical Image Computing and Computer Assisted Intervention–MICCAI 2019: 22nd International Conference, Shenzhen, China, O

    2024年01月17日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包