结合多粒度对比学习与质量感知自适应融合的多模态诊断模型

《Pattern Recognition》:A multimodal diagnosis model combining multi-granularity contrastive learning and quality-aware adaptive fusion

【字体: 大 中 小 】 时间:2026年10月11日 来源:Pattern Recognition 9.1

编辑推荐:

   • 一种用于疾病可靠诊断的新型两阶段跨模态网络。 • 多粒度对比学习用于细粒度跨模态对齐。 • 双重表征建模,捕获判别性和泛化性特征。 • 具有质量感知机制的有效融合模块,以获得更好的鲁棒性。 引言 在传统临床研究中,医师通过整合多模态信息来提高诊断的准确性和可靠性,这些

  • 一种用于疾病可靠诊断的新型两阶段跨模态网络。• 多粒度对比学习用于细粒度跨模态对齐。• 双重表征建模,捕获判别性和泛化性特征。• 具有质量感知机制的有效融合模块,以获得更好的鲁棒性。引言在传统临床研究中,医师通过整合多模态信息来提高诊断的准确性和可靠性,这些数据包括三维医学影像、电子健康档案(EHR)和医学报告[1]、[2]。这种方法弥补了单一模态数据固有的局限性。在医学人工智能领域,整合来自不同来源的数据的必要性日益凸显,因为每种模态都提供了独特的见解[3]、[4]。在医学实践中常见数据类型包括三维影像,如计算机断层扫描(CT)和磁共振成像(MRI)[5]。这些成像技术生成高分辨率三维影像,揭示复杂的内部细节[6]。与此同时,电子健康档案提供了对医疗决策至关重要的全面背景信息,涵盖临床病史、人口统计学特征、用药情况及更多内容[7]。三维影像与电子健康档案的整合,使得对患者健康状况有更完整的理解成为可能[8]。例如,肺栓塞(PE)的准确诊断通常需要结合CT肺动脉造影(CTPA)影像与电子健康档案。这种整合通过提供对患者数据的整体视角,显著提高了诊断的准确性和效率[9]。深度学习的最新进展催生了专门设计的复杂多模态学习技术,旨在整合来自不同来源的数据,从而改善疾病诊断[10]。通过融合不同的数据模态,研究人员力求超越单模态方法的固有局限性并提高诊断准确性[11]。通常,多模态数据整合采用诸如早期融合等策略,即在特征层面实现融合。例如,一种利用长短期记忆(LSTM)网络的多模态融合方法通过LSTM聚合拼接后的特征[12]。然而,由于数据模态之间存在显著差异,简单的特征组合可能会引入冗余信息和噪声。为解决部分此类挑战,DAFT[13]通过利用多模态数据生成的参数来实现特征的动态仿射变换。尽管具有创新性,但这种线性变换限制了模态间的交互,可能影响模型在数据融合方面的有效性。另一种替代策略是晚期融合,即在决策层面整合数据;例如,PEFusion[14]分别处理图像和表格数据并对输出结果取平均值。虽然这种方法具有实用价值,但缺乏足够的模态交互,阻碍了模型捕获跨模态深层语义关联的能力。尽管上述方法强调交互和融合策略以实现联合诊断,但往往忽视了样本质量异质性相关的问题。低质量图像样本(如存在组织塌陷的样本)可能损害分析的可靠性[14]。目前尚无专门针对这一特定问题的方法。此外,考虑到模态间数据的异质性,有效的对齐至关重要。现有方法在交互和对齐方面存在缺陷;如图1所示,其交互过程过于粗糙,缺乏细粒度设计。这种不足未能充分考虑特征的多粒度特性,导致丢失了同一模态内样本层面及全局视角下潜在的交互信息指导。本文提出了一种两阶段多模态诊断框架,旨在解决现有挑战。在第一阶段,我们提出了一种多粒度对比学习方法。该方法在三个层面对多模态特征进行比较和学习:模态内、模态间和样本级别。通过引入特征的多粒度特性并采用标签软化策略,该方法促进了跨模态更深层次、更精细的特征交互与对齐。为应对数据质量差异,我们引入了特定-共享表征学习和动态原型融合(DPF)。首先,我们使用不同的损失函数解耦模态特定表征和模态共享表征。在DPF模块中,我们为特定表征和共享表征构建正负原型对。通过度量特定特征和共享特征与其各自原型对的相似度,我们获得双重分类预测。表现出预测不一致的样本被识别为低质量样本,并根据不一致分数动态调整融合权重,以最小化质量差异的影响。最终,采用晚期融合范式来最大化各模态的优势。本文的主要贡献包括:• 我们引入了一种多粒度对比学习范式,用于细粒度跨模态对齐和交互,利用了特征的多粒度特性和标签软化。• 我们开发了一种解耦表征学习框架,通过不同的约束联合优化模态特定和模态共享特征。• 我们设计了一个DPF模块,以高效评估样本质量并动态调整特征融合权重,解决了质量异质性问题。• 充分且广泛的实验结果表明,我们的方法在定性和定量方面均取得了卓越且有效的诊断性能。本文其余部分组织如下:第2节回顾相关工作,重点介绍多模态疾病诊断和对比学习在该领域的应用与局限。第3节详细介绍所提出的网络架构。第4节展示并分析实验结果。最后,第5节总结本文内容。章节摘要多模态疾病诊断尽管已有大量研究致力于多模态联合疾病诊断,但由于不同模态间固有的复杂异质性,该任务仍然充满挑战[15]、[16]。研究人员探索了各种技术方法,包括元素级加法、拼接、特征学习[17]以及注意力机制[18]。例如,Huang等人采用了元素级加法[14],而Hayat等人使用了拼接[12],各自采用了不同的策略。方法图2展示了我们提出方法的框架。首先,我们采用联合训练方法同时处理图像和表格数据。在这些数据类型充分交互之后,我们对每个模态进行独立训练,以利用其独特特征,两者使用相同的网络结构。在最后阶段,我们采用晚期融合策略整合各模态的结果以做出最终决策。数据集我们使用两个多模态疾病诊断数据集进行了实验,以评估所提方法,详情见表1。第一个数据集是RadFusion[33],旨在诊断肺栓塞。该数据集包含来自1794名患者的1837项研究,包括1111例阴性病例和726例阳性病例。每项研究包含完整的CTPA和电子健康档案数据。CTPA数据集由多幅单通道二维图像组成,切片厚度为1.25毫米,每项研究的切片数在28至2600之间。结论本文提出了一种两阶段方法,旨在有效整合和利用三维医学影像与电子健康档案,以增强疾病诊断。在第一阶段,我们引入了一种多粒度对比学习方法。该技术通过在各层级比较特征并结合标签软化方法对其进行整合来对齐跨模态特征,从而解决了以往方法中交互信息丢失的问题,促进了细致且全面的……作者贡献声明**Ge Ruiquan(葛瑞泉)**:写作——审阅与编辑、方法论、资金获取、形式化分析、概念构思。**Wang Zhipeng(王志鹏)**:写作——初稿撰写、验证、软件、方法论。**Xiao Deqiang(肖德强)**:项目管理、方法论。**Jia Gangyong(贾刚永)**:软件、数据整理。**Xing Zhihao(邢志浩)**:验证、资源。**Wan Xiang(万翔)**:可视化、验证。**Wang Changmiao(王长淼)**:写作——审阅与编辑、项目管理、资金获取。**Ahmed Elazab**:写作——审阅与编辑、监督指导。利益冲突声明作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。致谢本工作得到以下项目资助:**浙江大学计算机辅助设计与图形学国家重点实验室开放项目计划**[资助编号:A2410];**浙江省自然科学基金**[编号:LY21F020017,2023C03090];**国家自然科学基金**[编号:61702146,62076084,U20A20386,U22A2033];**广东省基础与应用基础研究基金**[编号:2025A1515011617,2022A1515110570];**深圳市龙岗区科技创新专项基金**[编号:LGKCYLWS2023018]。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号