面向长尾放射学报告生成的临床上下文引导与双曲原型学习
《Computerized Medical Imaging and Graphics》:Clinical-context guidance and hyperbolic prototype learning for long-tailed radiology report generation
【字体:
大
中
小
】
时间:2026年10月13日
来源:Computerized Medical Imaging and Graphics 5.5
编辑推荐:
双通路调制将临床语义直接注入特征。
双曲原型在长尾数据中实现优异的罕见病分离效果。
在 MIMIC-CXR 和 IU X-Ray 基准上达到最先进结果。
罕见类别 F1 提升 6.2%,同时保持常见疾病性能。
引言
放射学报告为诊断和治疗规划提供信息,但生成这些报告需要大量
双通路调制将临床语义直接注入特征。双曲原型在长尾数据中实现优异的罕见病分离效果。在 MIMIC-CXR 和 IU X-Ray 基准上达到最先进结果。罕见类别 F1 提升 6.2%,同时保持常见疾病性能。引言放射学报告为诊断和治疗规划提供信息,但生成这些报告需要大量专科医师时间(X. Wang 等,2025)。自动放射学报告生成(RRG)(Liu 等,2024)旨在通过将医学图像及相关信息转换为临床相关的文本来减轻这一负担。大多数特定任务的 RRG 系统采用编码器-解码器架构。视觉编码器提取图像表示,语言解码器确定报告内容和措辞(Chen 等,2020,Wang 等,2023a)。近期方法已在此基础上增加了诊断感知提示(Jin 等,2024)、检索(Zhou 等,2025)、知识图谱(Li 等,2024)和大语言模型(Wang 等,2023b,Bannur 等,2024)。尽管取得了这些进展,许多 RRG 系统仅通过提示或其他解码器端输入,在提取通用视觉特征后纳入患者特异性临床背景。此外,长尾识别通常通过类别平衡重加权、分布感知边距或对数调整来解决(Cui 等,2019,Cao 等,2019,Menon 等,2020)。在 RRG 中,一些模型也从不同角度处理此问题。例如,PromptMRG 应用自适应对数调整,而 REVTAF 结合长尾分类器与基于检索的指导(Jin 等,2024,Zhou 等,2025)。这些策略主要通过训练目标、分类器输出或解码器端信息起作用。然而,它们仅部分解决了两个表示层面的问题。第一,如何在解码前使视觉表示条件化于患者特异性临床背景?第二,疾病状态表示如何在提供给解码器之前减少对类别频率的敏感性?因此,本研究将 RRG 框架化为解码前表示问题,而非仅仅是语言生成问题。在视觉证据层面,模型应在生成报告前使编码后视觉特征条件化于可用的临床背景字段。在疾病状态层面,分类器应以减少对类别频率敏感性的方式表示每种状态,然后再将预测转换为标记。因此,CSMH-RRG 是一个临床引导框架,整合临床语义调制(CSM)和基于双曲原型的分类(HPC),在报告解码前结合临床背景调制与双曲疾病状态预测。在 CSMH-RRG 中,这些功能通过两个互补组件实现。CSM 模块通过患者特异性语义注入和通道重校准修改编码后视觉标记。HPC 模块将每种疾病的可能状态表示为庞加莱球上的可学习原型,并使用测地距离预测状态。预测的状态随后转换为疾病状态标记,并作为前缀附加到解码器输入。因此,解码器从临床条件化视觉特征和疾病状态标记两者生成报告。为突出基线模型与 CSMH-RRG 之间的差异,表 1 在背景、检索、疾病状态、几何和解码器端接口方面将 CSMH-RRG 与其他代表性 RRG 方法进行对比。主要贡献总结如下:1. 提出 CSMH-RRG,一种新型双层解码前框架,旨在解决报告解码前临床背景特征级整合有限和疾病频率偏差问题。2. 引入 CSM 模块,通过门控语义注入和通道重校准使编码后视觉标记条件化于患者特异性临床背景。3. 设计 HPC 模块,将多种疾病状态表示为可学习的庞加莱球原型,并将基于距离的预测转换为疾病状态标记用于报告生成。4. 在 MIMIC-CXR 和 IU X-ray 上的广泛实验表明,CSMH-RRG 在自然语言生成和临床疗效指标上具有竞争性性能。此外,该模型将尾部组宏平均 F1 从 35.5% 提升至 41.4%,展示了改进的代表不足类别的疾病状态预测。章节片段放射学报告生成早期 RRG 方法很大程度上遵循图像字幕范式(Vinyals 等,2015,Aneja 等,2018,Tran 等,2020),采用卷积神经网络进行视觉特征提取,循环神经网络或长短期记忆网络进行语言解码,并使用注意力机制更好地利用关键病变区域。Jing 等(2018)引入了段落级报告的层次生成框架,使用注意力解决长篇内容中的连贯性问题。方法总体而言,CSMH-RRG 由四个组件组成:多模态特征提取器、CSM 模块、HPC 模块和报告生成器。本节其余部分组织如下。回顾问题形式化和双曲几何的初步知识。然后概述 CSMH-RRG 的整体架构。最后,详细描述框架的关键组件 CSM 和 HPC 模块。数据集CSMH-RRG 在两个公开可用的 RRG 数据集上进行了评估:MIMIC-CXR(Johnson 等,2019)和 IU X-ray(Demner-Fushman 等,2015)。MIMIC-CXR。MIMIC-CXR 数据库包含 377,110 张胸部 X 光片和 227,827 份相关报告。遵循先前研究(Bannur 等,2024,X. Zhang 等,2025,Hou 等,2025),使用了 162,955 个训练样本、1,286 个验证样本和 2,461 个测试样本。此划分与这些研究中使用的主要评估协议保持一致。局限性尽管 CSMH-RRG 表现强劲,仍存在四个局限性。第一,该框架仅处理单视图图像,未纳入多视图或纵向信息,如既往报告和既往检查,这些信息提供了宝贵的时间上下文。第二,CSMH-RRG 旨在作为临床决策支持系统,其生成的报告可由放射科医师审核和修改,结合计算效率与临床专业知识。第三,当前泛化性证据……结论CSMH-RRG 解决了报告解码前的临床背景特征级整合和频率感知疾病状态预测问题。CSM 使视觉特征条件化于患者特异性背景,而 HPC 将疾病状态表示为双曲原型并将其预测转换为疾病状态标记。在 MIMIC-CXR 上,CSMH-RRG 的 B-4 分数达到 0.262,疾病级别宏平均 CE F1 分数达到 0.564。未经 IU X-ray 微调,相应分数分别为 0.118 和 0.289。CRediT 作者贡献声明Fanou Yang:撰写 – 初稿、验证、软件、方法论、调查、资金获取、形式分析、数据管理、概念化。Guangli Li:撰写 – 审阅与编辑、验证、软件、调查、资金获取、数据管理。Zhihao He:验证、软件、调查。Renzhong Wu:资源、调查、形式分析。Gongning Luo:资源、调查。Yuanhao Yue:资源、调查。Donghong Ji:形式分析。Jianguo Wu:未引用参考文献Lee 等(2025)利益冲突声明作者声明他们没有已知的竞争性经济利益或个人关系,这些可能影响本文中报告的工作。致谢本研究部分由中国国家自然科学基金(资助号:62361027 和 62161011)、江西省科学技术厅重点研发计划(重点项目)(资助号:20223BBE51036)和江西省研究生创新专项基金计划(资助号:YC2025-S514)资助。Fanou Yang|Guangli Li|Zhihao He|Renzhong Wu|Gongning Luo|Yuanhao Yue|Donghong Ji|Jianguo Wu|Hongbin Zhang
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号