大语言模型引导的临床语义与深度学习融合用于溃疡性结肠炎内镜自动分级

《Displays》:LLM-guided bridging of clinical semantics and deep learning for automated endoscopic grading in ulcerative colitis

【字体: 大 中 小 】 时间:2026年09月24日 来源:Displays 3.9

编辑推荐:

   • 基于真实标签条件的多模态大模型蒸馏——采用真实的Mayo评分标签作为诊断锚点,对多模态大模型(MLLM)的提示进行条件化,从而实现更精确的逐体征临床评估,并为每张结肠镜图像生成校准后的软标签Mayo概率分布。 • 可解释的多任务MES分级——蒸馏后的模型不仅预测综合ME

  

• 基于真实标签条件的多模态大模型蒸馏——采用真实的Mayo评分标签作为诊断锚点,对多模态大模型(MLLM)的提示进行条件化,从而实现更精确的逐体征临床评估,并为每张结肠镜图像生成校准后的软标签Mayo概率分布。

• 可解释的多任务MES分级——蒸馏后的模型不仅预测综合MES等级,还预测四个独立临床体征(红斑、血管纹理、黏膜易碎性和溃疡),提供细粒度的可解释性,与胃肠病学家的临床推理过程相呼应。

• 结合Transformer时序聚合器的ConvNeXt多尺度编码器——多尺度视觉骨干网络在多个分辨率下提取空间特征,基于Transformer的时序聚合器在连续帧之间综合证据,以建模结肠镜评估的序列特性。

• 在LIMUC基准测试上取得有竞争力的性能——完整方法实现了86.08%的准确率、85.33%的宏平均F1和97.09%的AUROC,超越了特征级融合基线,同时产生与明确临床分级标准对齐的结构化多任务输出。

引言

炎症性肠病(IBD),包括克罗恩病和溃疡性结肠炎(UC),是一组由免疫介导的胃肠道慢性炎症性疾病,影响全球数百万患者,并持续带来沉重的临床和经济负担[1]。光学结肠镜是IBD诊断、治疗规划与疾病监测的基石,可直接进行结肠黏膜的内窥镜可视化,并支持炎症活动的实时评估。尤其是针对UC,Mayo内镜亚评分(MES)已成为标准内镜严重度指标[2][3]。MES根据四个临床体征的综合评估,将黏膜外观分为四个等级:正常或静止黏膜、轻度红斑伴血管纹理减少、明显红斑伴溃疡与接触性出血,以及严重的自发性出血伴渗出性溃疡。MES评分直接影响关键临床决策,包括治疗升级、治疗反应评估以及内镜缓解的定义。然而,MES分级本质上具有主观性,胃肠病学家之间的观察者间变异性仍是长期挑战,这推动了能够一致、可重复地评估严重度的计算工具的开发[4][5][6]。

深度学习(DL)在内镜图像分析方面已取得重大进展[7][8]。包括ResNet、EfficientNet和视觉Transformer在内的卷积神经网络已被广泛作为黏膜严重度分类的视觉骨干网络[9][10][11]。在UC内镜检查中,深度神经网络在从静态图像自动评分MES方面展现出有前景的性能,报告的准确率接近经验丰富的内镜医师[4][5][6][12]。可解释AI技术如Grad-CAM也被用于提高基于深度学习模型的临床可解释性[13]。尽管如此,这些方法共享根本性局限:它们作为黑盒单任务分类器,仅预测综合MES等级,而未建模胃肠病学家在得出综合评分之前明确评估的各个临床体征(例如血管纹理保存、红斑分布、黏膜易碎性和溃疡形态)。对临床从业者而言,预测的可信度取决于其背后的推理过程:一个能够说明它观察到哪些具体体征及其如何贡献于最终等级的模型,远比一个只返回不透明分数的模型更具可操作性。黑盒分类器无法提供这种临床可解释性,使胃肠病学家难以在真实实践中理解、验证并最终信任基于模型的预测。

大语言模型(LLM)和多模态大语言模型(MLLM)的快速发展为医学图像分析开辟了新的范式。通用视觉-语言模型如LLaVA和LLaVA-NeXT[14][15][16]、BLIP-2[17]、Qwen-VL系列[18][19][20]以及InternVL[21][22],展现了强大的视觉理解和自然语言推理能力。医学专用系统包括Med-PaLM[23]、Med-PaLM M[24]和LLaVA-Med[25],进一步证明了将MLLM适配到临床知识表示与生物医学图像解释中的可行性,而Med-Flamingo[26]则探索了医学场景中的少样本多模态学习。这些模型具有内在优势:当提示以结构化的临床标准进行时,它们能够产生详细的、可解释的内镜特征评估,与Mayo分级系统直接对齐,包括逐体征评估和置信度校准的Mayo概率分布。这提出了自动MES分级中的一个关键问题:MLLM中嵌入的、基于临床的多任务知识,是否可以被蒸馏到一个紧凑的深度学习模型中,产生不仅包含综合MES预测,也包含与临床推理相呼应的细粒度逐体征评估?

实现这一目标需要将MLLM集成落实到MES评估的真实世界条件中。在临床实践中,胃肠病学家并非基于孤立帧进行分级,他们观察连续的视频流,并在多个视角间综合证据后形成判断。此外,MES评分系统本质上是多维度的:四个临床体征各自拥有独立的严重度分级,而综合MES等级反映了它们的联合评估。仅预测最终等级的单任务分类器丢弃了这种结构化知识。此外,真实MES数据存在内在难点。在数据层面,长尾类分布(例如Mayo 0占所有样本的一半以上,而Mayo 2和Mayo 3稀少)使模型偏向多数类。在临床层面,区分相邻等级需要关注不同的视觉线索:区分Mayo 0与Mayo 1需要细粒度分析血管纹理的保存情况,而区分Mayo 2与Mayo 3则依赖于识别宏观溃疡和自发性出血。这些实际考量定义了构建临床可行的自动MES分级器必须解决的三个关键挑战:(1)临床MES评估本质上是一项时序任务,胃肠病学家在结肠镜检查中观察连续帧序列以形成整体判断。(2)传统深度学习模型作为单任务分类器,仅预测综合等级,忽视了MES评分涵盖四个不同临床体征的结构化多维本质。(3)嵌入在MLLM中的丰富临床知识,包括逐体征评估和校准的Mayo概率估计,尚未被有效地蒸馏到用于内镜分级的紧凑深度学习模型中。

为解决这些挑战,我们提出面向MES的多任务内镜蒸馏与解释(Multi-task Endoscopic Distillation and Interpretation for MES,MEDI-MES),一个将MLLM临床知识蒸馏到紧凑深度学习模型中的多任务框架。为应对临床评估的时序特性,我们引入基于Transformer的时序聚合器,在每位患者结肠镜序列的多帧之间综合证据,建模胃肠病学家顺序观察的过程。为超越单任务预测,我们将MES分级重构为多任务学习问题:模型不仅被训练预测综合MES等级,还被训练预测四个独立临床体征(即红斑严重度、血管纹理完整性、易碎性和溃疡),每个体征作为共享同一视觉骨干的独立分类头。这种多任务监督促使网络发展出与胃肠病学家使用的明确标准相对应的、基于临床的特征表示。为弥合MLLM知识与紧凑深度学习模型之间的鸿沟,我们引入真实标签(GT)条件蒸馏:一个预训练的MLLM(Qwen2.5-VL-7B-Instruct)作为离线临床标注器,其提示以真实Mayo标签作为诊断锚点进行条件化,从而实现更可靠的体征级评估。MLLM生成:(i)以离散索引编码的逐体征类别评估,作为临床体征预测头的训练标签;以及(ii)置信度校准的Mayo概率分布,通过带置信度掩码的KL散度蒸馏损失作为软标签目标。该蒸馏过程将MLLM基于临床的多维推理转移到可部署的紧凑CNN中,测试时完全不需要在线MLLM推理。视觉骨干是基于ConvNeXt的特征金字塔网络,提取多尺度特征,为时序聚合和多任务预测提供基础。

本文主要贡献总结如下,每一项都直接对应上述识别出的挑战之一:

(1)我们引入基于Transformer的时序聚合器,建模结肠镜视频序列中的帧间关系,使网络能够像临床胃肠病学家一样在多个帧之间综合证据,而非孤立处理每一帧。

(2)我们提出用于自动MES分级的多任务框架,同时预测综合MES等级和四个独立临床体征(即红斑、血管纹理、易碎性、溃疡),反映结构化的临床分级过程,并促使共享骨干学习到基于临床的特征表示。

(3)我们引入GT条件的离线知识蒸馏策略,其中预训练MLLM以真实Mayo标签作为诊断锚点进行提示,从而实现更可靠的逐体征临床评估和校准的Mayo概率分布。

本文其余部分结构如下:第2节回顾基于深度学习和MLLM的内镜MES分级相关工作,以及多尺度和时序建模。第3节提出MEDI-MES框架,涵盖GT条件的离线临床蒸馏流程、混合训练方案、多任务架构、时序聚合器、复合损失设计和训练策略。第4节报告数据集、实验设置、主要结果、消融研究、对比研究和可解释性分析。第5节讨论临床意义、局限性与未来方向。最后,第6节总结本工作。

相关研究片段

用于内镜MES分级的深度学习与LLM引导模型

多项研究表明,深度神经网络可以达到接近经验丰富的内镜医师的MES评分准确率[4][5][6][12],近期荟萃分析也确认了AI辅助MES评估的诊断有效性[3]。除直接分类外,近期LIMUC研究探索了自监督表示学习[27][28]、有序感知损失与CNN–Transformer混合架构[29][30],以及在图像质量下的课程学习。

概览

图1展示了MEDI-MES的整体架构,包括离线蒸馏阶段和紧凑的多任务推理模型。具体来说,我们通过GT条件蒸馏部署预训练的MLLM(Qwen2.5-VL-7B-Instruct)作为专家临床标注器。即MLLM接收真实Mayo标签作为诊断锚点,然后评估四个临床定义的黏膜属性:(i)血管纹理完整性,(ii)红斑严重度,(iii)……

数据集与实现细节

我们在LIMUC数据集[43]上进行所有实验,这是一个面向UC患者内镜MES评估的大规模公开基准。表2展示了数据集的类别分布,该数据集由来自多个三级医疗中心的多个患者的结肠镜图像序列组成。图像标注有患者级MES评分及三个亚评分:红斑(Erythema)、血管纹理(Vascular Pattern)和糜烂/溃疡(Erosion/Ulceration),每个均为四级量表{0, 1, 2, 3}。

讨论

Mayo内镜亚评分是UC疾病评估的基石,指导着临床实践与随机试验中的治疗决策[2]。然而,观察者间变异性即使在经验丰富的内镜医师之间仍是长期挑战[3][6]。我们的结果表明,MEDI-MES与此前报道的基于CNN的系统具有竞争力,同时额外提供可由胃肠病学家直接解释的结构化逐体征临床输出。

最

结论

我们提出了MEDI-MES,一个将GT条件的MLLM蒸馏与多尺度、多任务视觉架构集成的UC自动MES分级框架。在LIMUC数据集上的实验结果表明,多尺度特征提取带来最大的性能提升,时序聚合对多帧证据综合提供适度收益,而GT条件蒸馏则在特征级融合之上提升了排序质量。完整方法……

CRediT作者贡献声明

Yuan Chen:调查、概念化、论文修改与编辑。Jiajun Wan:数据整理、验证、形式化分析。Tian Zhang:调查、可视化。Zhijiang Wan:方法学、软件、论文修改与编辑。Youpeng Jin:资源获取、资金获取、监督、论文修改与编辑。

利益冲突声明

作者声明不存在任何可能影响本文报道工作的已知竞争性财务利益或个人关系。

致谢

本工作得到国家自然科学基金委(C类)资助,项目编号82400641。

Yuan Chen | Jiajun Wan | Tian Zhang | Zhijiang Wan | Youpeng Jin
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号