融合CT影像、放射学属性与解剖感知临床文本的多模态可解释肺结节良恶性诊断框架
《IEEE Transactions on Radiation and Plasma Medical Sciences》:A Multimodal Interpretable Approach to Lung Nodule Diagnosis from CT with Radiology and Anatomy-Aware Text
【字体:
大
中
小
】
时间:2026年10月10日
来源:IEEE Transactions on Radiation and Plasma Medical Sciences 3.8
编辑推荐:
摘要:多模态结节分析(MNA)已成为一种有前景的方法,用于区分恶性肺结节与良性肺结节。然而,现有的多模态方法通常融合同质的输入模态(例如CT和PET),或者集成来自相同输入数据的多个机器学习(ML)预测结果,这限制了它们捕获真正判别性特征的能力。此外,缺乏可解释性,以及临床
摘要:
多模态结节分析(MNA)已成为一种有前景的方法,用于区分恶性肺结节与良性肺结节。然而,现有的多模态方法通常融合同质的输入模态(例如CT和PET),或者集成来自相同输入数据的多个机器学习(ML)预测结果,这限制了它们捕获真正判别性特征的能力。此外,缺乏可解释性,以及临床医生诊断方法与机器学习预测过程之间的差异,阻碍了临床应用。为应对这些挑战,我们提出了一种新颖的多模态可解释结节诊断(MIND)框架,该框架整合了三种互补模态的潜在表示:影像数据、放射学属性和文本描述。为开发MIND框架,我们首先引入了一种基于临床信息的语义表示,将放射学发现转化为结构化、解剖感知型文本,从而增强可解释性和模态多样性。然后,为了生成与临床语义对齐的结节描述潜在空间表示,我们利用了领域特定的预训练语言模型PubMedBERT。MIND通过提供放射学特征归因和基于集成梯度的语言解释高亮显示来增强可解释性。我们的两个主要贡献是:(1)开发了MIND,它首次将CT影像、放射学属性和生成的解剖感知型临床文本结合起来,用于良恶性肺结节分类,同时保持临床诊断流程;(2)集成全面的可解释性机制以增强模型可信度。在LIDC-IDRI数据集的两个子集上,MIND分别取得了91.38%±0.21%和87.58%±0.53%的F1分数,以及96.03%±0.11%和95.70%±0.36%的AUC值。结果表明,多模态学习在性能和……方面均优于单模态和双模态模型。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号