用于医学报告生成的因果多模态去混淆方法
《Neurocomputing》:Causal multimodal deconfounding for medical report generation
【字体:
大
中
小
】
时间:2026年10月09日
来源:Neurocomputing 6.7
编辑推荐:
• CMD-MRG解决了医学报告生成(MRG)中的视觉和语言混淆问题。
• VCAI减少了对于表面外观线索的依赖。
• LCBI通过后门调整减轻了高频率报告的先验影响。
• 该框架提高了胸部X光报告生成中的证据基础。
• 在IU X-Ray和MIMIC-CXR上的结果证明了其强大
• CMD-MRG解决了医学报告生成(MRG)中的视觉和语言混淆问题。
• VCAI减少了对于表面外观线索的依赖。
• LCBI通过后门调整减轻了高频率报告的先验影响。
• 该框架提高了胸部X光报告生成中的证据基础。
• 在IU X-Ray和MIMIC-CXR上的结果证明了其强大的有效性。
• 针对性分析支持了提出的因果去混淆动机。
**引言**
医学报告生成(MRG)旨在从医学图像自动生成临床连贯且描述性强的报告。这种技术可以减轻手动编写报告的负担,并为初级临床医生提供关于潜在异常发现的辅助提示,从而提高临床诊断的效率和准确性[22]。在临床实践中,MRG不仅需要生成长而结构化的报告,还需要准确识别细微的异常,并确保生成的结论有足够的视觉证据支持[6]。因此,如何从复杂的医学图像中提取关键病变线索[28]、[54],并生成在临床上可信且在语义上连贯的报告,仍然是当前MRG研究的核心挑战。
**方法**
为了解决上述挑战,现有的MRG方法已经做出了大量努力。例如,一些方法通过关系记忆和共享跨模态记忆等机制改进了视觉表示与文本语义之间的交互,从而减轻了长报告生成过程中的信息丢失和错误积累[6]、[7]、[41]。同时,知识注入方法通过结合异常区域线索、医学知识图谱或专家先验来增强疾病诊断能力和临床事实一致性[4]、[28]、[48]。此外,一些研究将大型模型的语言建模能力通过视觉适应转移到放射学报告生成中,从而进一步提高生成文本的流畅性和表现力[27]、[49]。尽管这些方法显著提高了MRG的性能,但它们主要改进了图像-文本对齐、知识利用或来自观测训练数据的语言生成能力。在视觉-语言学习[26]、[43]、[44]、[45]和医学报告生成[5]中也探索了因果和偏差缓解方法,但在MRG中对成像外观快捷方式以及语言先验驱动的解码偏差的显式和统一控制仍然有限。这一限制使得现有的MRG容易受到混淆因素引起的虚假关联的影响,导致生成的报告偏离真实的图像证据,从而影响其真实性和临床可靠性。基于这一观察,我们从因果多模态去混淆的角度重新审视了MRG。
**视觉方面的混淆**
MRG受到一个尚未充分研究的混淆因素的影响。在胸部X光摄影中,采集设备、成像协议和后处理流程的变化可能会导致外观上的显著差异,包括亮度、对比度、背景纹理和噪声统计数据的偏差[42]。先前的研究表明,模型可能依赖于特定机构或数据集的表面视觉线索来进行胸部X光任务的决策,从而导致快捷方式学习[10]、[34]、[57]。如图1(a)和(b)所示,我们从归因分析和外观扰动的角度说明了成像外观混淆的问题。图1(a)展示了BASE与我们提出的视觉因果外观不变性(VCAI)在两个案例上的比较。尽管BASE对一个图像给出了正确的描述,但其高度分散的激活区域表明这种预测并非由真实的病变证据驱动。相比之下,BASE+VCAI倾向于生成与视觉证据稳定一致的发现。图1(b)通过外观扰动实验进一步提供了初步的定量支持,结果显示BASE在目标短语支持分数上的变化大于BASE+VCAI。这种不稳定性表明其预测可能是由依赖于表面视觉线索的快捷方式学习驱动的。基于这一观察,我们将这种视觉方面的混淆定义为成像外观混淆:表面级的外观变化可能会错误地与报告语义耦合,从而导致报告生成的偏差。
**文本方面的混淆**
为了检验MRG中的文本方面混淆,我们对MIMIC-CXR训练报告中几种代表性发现的频率和共现模式进行了统计分析。如图2(a)所示,这些发现表现出明显的分布不平衡:高频观测占主导地位,而许多具有临床意义的发现位于长尾区域。例如,“主动脉结节钙化”的频率远低于“气胸”。因此,一旦解码器进入特定的解剖学上下文,它往往会遵循偏向性的高频模式。更重要的是,这些发现并不是独立分布的。如图2(b)所示,一些发现形成了稳定的共现模式,例如“心脏正常 && 胸腔积液 && 气胸”。这表明解码偏差不仅涉及个别的高频概念,还涉及高频共现模式:一旦生成了共现链的一部分,后续的预测往往会跟随该链,而不是完全基于真实的视觉证据。需要注意的是,我们并不认为自然疾病流行率或临床有效的共现本身是有害的混淆因素。相反,问题在于当这种语料库级的规律在视觉证据薄弱或模糊的情况下主导自回归解码时,会导致模型生成看似合理但缺乏图像支持的发现。基于上述观察,我们将MRG中的文本方面混淆定义为语言先验混淆:解码器可能首先被一个高频概念吸引,然后继续沿着共现链生成,从而形成虚假的文本方面关联。
** proposing Causal Multimodal Deconfounding for Medical Report Generation (CMD-MRG)**
受上述观察的启发,我们提出了医学报告生成的因果多模态去混淆方法(CMD-MRG)。在视觉方面,我们设计了一个视觉因果外观不变性模块(VCAI),通过扰动对外观敏感的统计特征并强制原始分支和经过外观干预的分支之间保持一致性,来减轻成像外观混淆,从而鼓励与病变相关的语义在外观干预下保持稳定。在文本方面,我们提出了一个语言因果后门干预模块(LCBI),它使用离线构建的语言混淆词典作为语言先验混淆的可观测代理。在解码过程中,LCBI进一步估计混淆期望,进行上下文感知的后门调整,从而减轻语言先验混淆。
**总结**
我们的主要贡献如下:
- 我们识别并阐述了MRG中的两个关键混淆因素,即语言先验混淆和成像外观混淆。此外,我们通过语料库统计、归因分析、外观扰动因果分析和临床错误分解分析提供了实证支持。
- 我们提出了CMD-MRG,这是一个统一的多模态去混淆框架。它联合使用VCAI和LCBI来减轻成像外观混淆和语言先验混淆引入的虚假关联,从而使MRG在视觉真实性上得到提高,语言偏差减少。
- 在IU X-Ray和MIMIC-CXR上的实验结果表明,CMD-MRG在报告质量和临床效果上均取得了持续的改进,并超越了多种现有方法。进一步的针对性分析表明,CMD-MRG在外观扰动下减少了目标短语支持的变化,并降低了标签-wise的假阳性(FP)和假阴性(FN)临床错误比例,为去混淆目标和临床真实性提供了更直接的证据。
**章节片段**
**图像字幕**
图像字幕是一个典型的视觉-语言生成任务,为MRG提供了重要的架构基础。早期的方法主要遵循编码器-解码器范式,其中卷积网络提取视觉特征,循环语言模型自回归地生成字幕[55]。随后,基于注意力和Transformer的模型[8]、[51]改进了词-区域对齐,同时进一步增强了长距离依赖建模和多模态交互。
**方法**
如图4所示,我们提出了CMD-MRG,一个多模态去混淆框架,用于解决第1节中识别的两个混淆因素。具体来说,我们首先在自回归生成过程上构建了一个结构化因果模型来描述视觉方面和文本方面的混淆(第3.1节)。基于这一建模,我们在视觉编码器中引入了视觉因果外观不变性(VCAI)(第3.2节)来减轻成像外观混淆,并提出了语言因果...
**数据集**
我们在两个广泛使用的胸部X光报告生成基准数据集上进行实验,即IU X-Ray和MIMIC-CXR。IU X-Ray数据集[9]包含7470张胸部X光图像和3955份相应的报告,而MIMIC-CXR[19]是一个更大的临床基准数据集,包含377,110张图像和227,827份报告。根据先前的研究[6]、[7],我们生成了发现部分,并排除了两个数据集中没有发现的样本。
**结论**
在这项工作中,我们提出了CMD-MRG,一个基于因果关系的多模态去混淆框架,用于医学报告生成。CMD-MRG针对两个尚未充分研究的虚假关联来源,即成像外观混淆和语言先验混淆。为了解决这些问题,我们首先在视觉方面引入了VCAI。VCAI执行控制性的成像外观干预,并通过双分支一致性约束鼓励保留与病变相关的语义。在文本方面,我们随后...
**作者贡献声明**
Jiawei Pan:撰写 - 原始草案。
Haipeng Chen:资源。
Yu Liu:方法论。
Hongyu Zhang:撰写 - 审阅与编辑。
Yingda Lyu:监督。
**利益冲突声明**
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
**致谢**
本工作得到了中国国家自然科学基金(项目编号62276112)和中国国家重点研发计划(项目编号2024YFB3311600)的支持。
Jiawei Pan获得了中国安徽大学的学士学位,目前正在吉林大学软件学院攻读硕士学位。他的研究兴趣包括医学报告生成、医学图像处理和医学图像分析。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号