《Pattern Recognition》:A unified medical incomplete multimodal diagnosis framework based on optimal feature disentanglement
编辑推荐:
•统一的医疗不完整多模态诊断框架。•通过最优传输实现高效特征解耦。•在各种模态缺失场景下的优越性能。•无缝融合完整与不完整模态学习。•不完整多模态诊断的新颖解决方案。引言多模态诊断整合来自多种数据源的信息,如医学影像数据、生化数据、人口学数据和基因组数据,以提供对复杂疾病特征
- •
统一的医疗不完整多模态诊断框架。
- •
通过最优传输实现高效特征解耦。
- •
在各种模态缺失场景下的优越性能。
- •
无缝融合完整与不完整模态学习。
- •
不完整多模态诊断的新颖解决方案。
引言
多模态诊断整合来自多种数据源的信息,如医学影像数据、生化数据、人口学数据和基因组数据,以提供对复杂疾病特征更全面和准确的理解。每种模态都提供了独特的视角和互补的见解。通过融合多模态数据,临床医生可以获得患者病情的整体视图,从而实现更精确的治疗规划。因此,多模态诊断目前是热点话题,在社区中获得了广泛关注 [1], [2], [3]。
然而,在实际临床实践中,多模态医学数据的采集往往面临挑战,导致模态缺失问题,即由于设备限制、患者隐私担忧或高昂的数据采集成本,导致某些模态的数据不可用或不完整 [4]。模态缺失导致信息不完整,损害多模态诊断模型的性能并降低诊断准确性。此外,某些模态的缺失可能导致其他模态的数据得不到充分利用,从而造成资源浪费。
为了缓解模态缺失问题,研究者们提出了一些杰出的方法,这些方法主要可以分为传统数据生成和表示对齐方法。传统数据生成是最直接的方法 [5], [6],它涉及特定的生成模型来为缺失的模态生成数据,如图1(a)所示。然而,这种方法不可避免地引入了大量噪声信息,可能 adversely 影响多模态诊断模型的性能。为了进一步减少噪声的负面影响,一些研究提出了表示对齐方法 [7]。这些方法不是在输入层面进行模态补全,而是将完整和不完整模态的特征映射到共享的潜在空间中进行对齐,如图1(b)所示。这种方法通常需要为完整和不完整模态构建独立的网络,导致计算成本高昂。例如,基于知识蒸馏(KD)的方法,如图1(b)所示,旨在使一个学生模型(即不完整模态网络)模仿教师模型(即完整模态网络)的学习行为,从而间接获取嵌入在完整模态中的与任务相关的信息。虽然当只涉及少量模态时这种范式是有效的,但随着模态数量的增加,其可扩展性变得日益有限。这是因为可能的缺失模态组合数量随模态数量呈指数增长,使得单个学生模型难以有效地在所有不完整模态场景下进行泛化。一个理论上可行的解决方案是使用多个学生模型,每个模型专门针对一种特定的缺失模态场景。然而,这种策略会带来令人望而却步的训练开销。因此,在复杂的不完整多模态诊断设置中,基于KD的范式在模型性能和训练成本之间实现令人满意的权衡方面面临巨大挑战。
为此,我们提出了一个基于最优特征解耦的统一不完整多模态诊断框架(Uni-IMD)。Uni-IMD仅使用一个网络架构,但融合了两个紧密耦合的学习模式:完整模式和不完整模式,如图1(c)所示。在训练或推理过程中,模型可以根据可用的输入模态灵活地在模式之间切换。具体来说,Uni-IMD将模态解耦为公共特征和特定特征,然后最小化它们之间的互信息以增强公共特征的共享性质。同时,为了进一步纯化公共特征,Uni-IMD利用最优传输策略学习不同模态公共特征之间的最优映射关系。纯化后的公共特征包含跨多个模态共享的信息。这些特征还被额外用于学习一个特殊的模态重建函数。当模态缺失时,公共特征编码器被暂时冻结,仅模态重建函数学习如何在模态不完整条件下利用可用模态的公共特征来重建缺失模态的特征。与现有方法相比,Uni-IMD具有两大主要优势:(1)更强的鲁棒性:Uni-IMD专注于尽可能最大限度地提取可用模态之间共享的模态不变信息,而不是强迫模型恢复每个模态的模态特定特征。这种设计有效地缓解了噪声累积,并在各种缺失模态条件下提升了鲁棒性。(2)更好的可扩展性:在Uni-IMD的学习范式下,增加模态数量仅需添加一对对应的特征提取网络,从而带来模型复杂度的线性增长。在多个数据集上的大量实验证明了我们所提出方法的优越性。本文的主要贡献如下:
- •
我们设计了一个统一的不完整多模态诊断框架(Uni-IMD),将完整和不完整模态的学习整合到一个双模式网络中。通过利用模态间公共特征作为桥梁,Uni-IMD最大限度地利用完整模态的信息来恢复缺失模态的有价值信息,而无需额外训练用于不完整模态的独立网络。
- •
我们提出了一种基于最优传输的特征解耦方法,该方法最大限度地提高了模态间公共特征的纯度,并减少了重建特征中的噪声信息。
- •
在多个数据集上的大量实验表明,所提出的方法具有高效的多模态特征解耦能力,其在不同程度模态缺失场景下的不完整多模态诊断性能超越了当前的最先进方法。
各章节摘要
不完整多模态诊断
模态缺失是多模态医学数据中普遍存在的问题。现有的不完整多模态诊断方法主要可以分为传统数据生成方法和表示对齐方法。
传统数据生成方法在输入层面对缺失的模态进行补全。目前大多数此类方法使用生成模型,如GAN [8], [9], [10]、自编码器 [11], [12] 和条件扩散模型 [13], [14], [15],来重建缺失的模态。
方法论
我们提出的Uni-IMD由三个模块组成:特征解耦(FD)模块、最优特征提取(OFE)模块和缺失模态重建(MMR)模块。在此统一框架下,Uni-IMD整合了两种训练/推理模式:完整模式和不完整模式。FD和OFE模块在完整模式下学习如何解耦纯模态间公共特征,它们的参数在不完整模式下被冻结。MMR模块训练一个模态重建函数。
数据集
我们使用了两个数据集来评估所提出方法的有效性:胸部X光片(CXR)数据集 [39] 和多模态肝病变分类(MLLC)数据集。
胸部X光片(CXR)是印第安纳大学公开的一个医学图像数据集,主要包含胸部X光片图像及其对应的放射学报告。该数据集包括3794名患者的X光片图像,以及专家诊断的疾病类别和相应标注,涵盖120种疾病。
结论
在本文中,我们提出了一个名为Uni-IMD的不完整多模态诊断统一框架。为了解决不完整多模态诊断中重建特征噪声的问题,我们提出了一种基于最优传输算法的高效多模态特征解耦方法。利用解耦后的高质量模态间公共特征作为桥梁,Uni-IMD为缺失的模态重建了更清洁的特征。同时,为了减少额外的训练开销,我们整合了
CRediT作者贡献声明
吕崇文:原稿撰写、验证、软件、方法论、形式化分析、概念设计。韩凯:审阅与编辑、方法论、形式化分析。陈俊:审阅与编辑、监督、调研。张家琪:可视化、软件。滕巧颖:审阅与编辑、软件。徐伟:验证、监督、调研。刘哲:审阅与编辑、监督、资源、项目管理、资金获取。
生成式AI声明
作者声明,本工作在任何阶段均未使用生成式AI。
利益冲突声明
作者声明,他们没有已知的竞争性经济利益或个人关系可能会影响本文所报道的工作。
致谢
本工作得到了国家自然科学基金(批准号:62276116)和江苏省研究生科研与实践创新计划(批准号:26CXJH7183)的支持。作者感谢江苏大学附属医院为本工作提供的数据支持。
吕崇文|韩凯|陈俊|张家琪|滕巧颖|徐伟|刘哲