神经肿瘤学与胃肠病学领域的多模态视觉问答:一项领域特定可行性研究
《Computers in Biology and Medicine》:Multimodal visual question answering in neuro-oncology and gastroenterology: A domain-specific feasibility study
【字体:
大
中
小
】
时间:2026年10月13日
来源:Computers in Biology and Medicine CS11.3
编辑推荐:
• 两个经专家验证的医学视觉问答(Med-VQA)数据集分别涵盖脑部MRI和胃肠内窥镜成像。
• 一套可复现的BERT-ViT流水线提供了受控的参考评估。
• 在脑部MRI上的准确率达到80.86%,在胃肠内窥镜成像上达到75.95%。
• 单模态和融合消融实验支持了模态互补
• 两个经专家验证的医学视觉问答(Med-VQA)数据集分别涵盖脑部MRI和胃肠内窥镜成像。
• 一套可复现的BERT-ViT流水线提供了受控的参考评估。
• 在脑部MRI上的准确率达到80.86%,在胃肠内窥镜成像上达到75.95%。
• 单模态和融合消融实验支持了模态互补使用的有效性。
• 临床专家在受控环境中报告了积极的可用性反馈。
**引言**
人工智能(AI)近期已成为医疗领域的变革性力量,在医学影像分析[1]、临床数据解读[2]、预测建模[3][4]以及支持个性化治疗并提高患者依从性的移动健康应用[5]等广泛领域中推动了技术进步。与此同时,信息检索、自然语言处理和计算机视觉领域的快速进展——主要得益于深度神经架构和先进的优化技术——大幅拓展了现代AI系统的能力[6][7]。
视觉问答(VQA)结合了计算机视觉和自然语言处理,针对图像内容回答相关问题。VQA系统必须识别问题所请求的信息,提取相应的视觉证据,并整合两种模态以预测适当的答案。近年来,基于Transformer的视觉与语言模型取得了显著进展,通过实现视觉特征与文本特征之间的上下文表示和显式交互,大幅提升了这种多模态推理能力[8][9][10]。在医学领域,这些能力推动了医学视觉问答(Med-VQA)的发展,其中问题涉及医学影像中所呈现的发现、解剖位置、成像特征或诊断类别[11][12]。
Med-VQA被研究作为提供医学影像中信息交互式访问的潜在机制。原则上,用户可以提出有针对性的自然语言问题,而不仅仅是接收预定义的图像级预测。这种交互范式可能对于影像理解和人机交互的研究很有用,特别是在所请求信息可能涉及不同病理或解剖属性的领域。脑部肿瘤磁共振成像(MRI)扫描和胃肠内镜图像等医学影像因其诊断复杂性和临床意义而需要精确解读[13][14]。然而,在受控VQA基准上的高性能本身并不能证明诊断有效性、临床安全性或临床医生工作量的减少。这些成果需要在真实临床工作流程中进行前瞻性评估。
Med-VQA面临的挑战与通用领域VQA不同。医学发现可能由细微的强度、纹理、形态或空间分布变化来表示,而相关证据取决于成像方式和问题所请求的临床属性。医学问题还包含专业术语,可能需要区分视觉上或语义上相似的答案类别。与此同时,与通用领域资源相比,专家标注的图像-问答数据的可用性有限。这些特征使得评估模型是否真正受益于两种模态,还是主要依赖问题模板、答案频率或图像级类别先验变得尤为重要[11][12][15]。
Med-VQA的研究得到了VQA-Med[16][17][18]、VQA-RAD[19]和SLAKE[20]等基准的支持。这些资源涵盖了放射学图像、多个解剖区域和不同问题类别,使得医学视觉语言(VL)模型的开发和比较成为可能。然而,现有基准主要涉及通用放射学或异质性医学影像集合。尽管脑部肿瘤MRI和胃肠内窥镜这两个领域具有独特的视觉特征和术语,但针对它们的专业VQA资源仍然相对有限。这一限制制约了领域特定模型的受控评估以及对其视觉和语言信息依赖性的分析。
为弥补这一差距,本研究调查了两个专业成像领域——脑部肿瘤MRI和胃肠内窥镜——中的封闭词汇Med-VQA。目标是评估完全指定的双流Transformer流水线能否在两个新构建的领域特定数据集上有效结合图像和问题信息。本研究设计为可行性分析和参考评估,而非临床部署或所有Med-VQA场景下最先进性能的展示。本工作的主要贡献如下:
- 引入了两个领域特定的Med-VQA数据集,分别针对脑部肿瘤MRI和胃肠内窥镜。数据集包含经专家验证的问答对,涉及疾病存在性、病理类型以及解剖或背景属性。
- 评估了一套有文档记录的双流参考架构,使用BERT进行问题编码,ViT进行图像编码,并使用基于注意力的模块化协同注意力(MCAoA)进行跨模态处理,随后进行池化特征融合和封闭词汇答案分类。
- 通过受控实验方案评估整体、问题类型和疾病类别性能,并在共同的数据集特定分类设置下将所提出的模型与ViLT和BLIP进行比较。
- 使用单模态基线和匹配的多模态配置来检验图像和问题模态的预测贡献、后注意力融合策略以及端到端编码器微调。由于MCAoA在所有多模态配置中均被保留,本研究并未估计其独立贡献。
- 一项与临床专家的合作研究,在受控的非临床环境中考察了感知可用性和交互质量。
所进行的实验评估了模态级依赖性,但并未建立空间正确的解剖定位、诊断有效性或常规临床使用的准备就绪状态。这些区别定义了应解读所报告结果的适用范围。
本文其余部分组织如下。第2节回顾相关的VQA架构、Med-VQA数据集以及医学VL建模的最新方法。第3节描述两个数据集的构建、所提出的架构、实验方案、受控消融研究和可用性评估。第4节呈现定量、比较、消融和可用性结果。第5节讨论其含义和局限性,第6节总结主要发现和未来工作方向。
**相关工作**
VQA的发展已从基于循环问题编码器和卷积图像特征的架构逐步转向基于Transformer的VL模型[8][21][22]。注意力机制使模型能够根据问题的语言内容对视觉处理进行条件化,而大规模多模态预训练则支持了视觉和语言表示向下游任务的迁移。统一视觉语言预训练模型(UNITER)联合建模……
**数据集**
本节描述为胃肠和脑部肿瘤MRI图像上的Med-VQA任务开发的数据集构建过程。这些数据集旨在支持能够回答神经肿瘤学和胃肠成像中临床相关问题的AI模型的训练和评估。数据集创建过程包括三个主要阶段:i)图像选择,ii)问答对(QA)的构建与增强,以及iii)标注的验证。
**消融研究与模态贡献分析**
多数答案基线在表2中单独报告,因为它是确定性的且不涉及模型训练。在五次独立运行中重复训练的的单模态和多模态配置在表4中报告。
如表2所示,多数答案基线在脑部肿瘤MRI测试分区上达到37.70%的准确率,在胃肠疾病测试分区上达到40.00%。这些值为解释……提供了基于频率的参考点。
**讨论**
本工作针对两个临床相关且代表不足的成像领域——脑部肿瘤MRI和胃肠内窥镜——研究了用于Med-VQA的双流Transformer架构。除整体、问题类型、疾病类别和基线比较外,评估还包括受控的单模态、融合和编码器训练消融实验。可用性研究通过考察受控环境中的感知交互质量来补充这一技术评估。
在脑部肿瘤MRI方面……
**结论**
本研究引入了两个经专家验证的数据集,并评估了一种用于脑部肿瘤MRI和胃肠内窥镜中封闭词汇Med-VQA的双流Transformer架构。该框架结合了基于BERT的问题编码、基于ViT的图像编码、基于MCAoA的跨模态处理以及乘积融合。
完整模型在脑部肿瘤MRI数据集上达到80.86%的准确率(81.32% WUPS),在胃肠疾病数据集上达到75.95%的准确率(76.77% WUPS)。性能方面……
**CRediT作者贡献声明**
Faheem Shehzad:撰写——初稿、软件、资源。
Ciro Mennella:撰写——审阅与编辑、撰写——初稿、方法论、形式化分析。
Hamido Fujita:撰写——审阅与编辑、方法论。
Massimo Esposito:撰写——审阅与编辑、方法论。
Aniello Minutolo:撰写——审阅与编辑、撰写——初稿、监督、方法论、形式化分析。
**数据声明**
两个领域特定的Med-VQA数据集可在同行评审期间应合理请求从作者处获取。发表后,经验证的问答标注和固定的图像级训练与测试分区文件将以JSON格式通过以下仓库公开:https://github.com/CNR-LKE/VQA。这些文件将提供重建本研究所使用数据集组织所需的经验证标注和固定分区定义。
**伦理出版声明**
所有作者同意:
- 本研究准确呈现了所进行的工作,所有呈现的数据均准确无误,方法学描述充分以允许他人复现该工作。
- 本文代表完全原创的工作,若使用了他人工作和/或文字,已适当引用或引用标注,并在必要时获得了许可。
- 本材料未在任何地方整体或部分发表过。
- 本手稿目前未……
**生成式AI和AI辅助技术在写作过程中的声明**
在准备本工作期间,作者使用了由OpenAI的GPT-5模型驱动的ChatGPT,仅用于支持英文编辑,包括语法修正以及提升文本的流畅性、清晰度和可读性。使用该工具后,作者根据需要审阅并编辑了内容,并对已发表文章的内容承担全部责任。
**利益冲突声明**
作者声明不存在可能影响本文所报告工作的已知竞争性财务利益或个人关系。
**致谢**
本工作部分由意大利PNRR MUR项目PE0000013-FAIR以及CNR-FOE STRIVE-MeSAS项目支持。
Faheem Shehzad | Ciro Mennella | Hamido Fujita | Massimo Esposito | Aniello Minutolo
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号