医学视觉基础模型:从技术演进到临床转化的全面综述
《Computerized Medical Imaging and Graphics》:Medical Vision Foundation Models: A comprehensive review from technical evolution to clinical translation
【字体:
大
中
小
】
时间:2026年10月12日
来源:Computerized Medical Imaging and Graphics 5.5
编辑推荐:
- 本综述提出了"数据—技术—转化三元组"(Data–Technology–Translation Triad),一个统一框架,明确地将医学视觉基础模型的技术生命周期与内在数据约束及临床转化挑战相互关联。
- 对2019至2025年间136篇核心研究的系统分析揭示了一条具有明
- 本综述提出了"数据—技术—转化三元组"(Data–Technology–Translation Triad),一个统一框架,明确地将医学视觉基础模型的技术生命周期与内在数据约束及临床转化挑战相互关联。
- 对2019至2025年间136篇核心研究的系统分析揭示了一条具有明显三阶段特征的演化轨迹,其标志是向Transformer或混合架构的收敛,以及混合预训练与参数高效微调的广泛应用。
- 本研究展示了根本性的数据约束——稀缺性、极端异质性和隐私治理——如何主动催化技术选择,推动了自监督学习的广泛采用,并确立了领域泛化作为主要评估议程。
- 提出了一项全面的可信性差距诊断,涵盖分布外泛化中的技术脆弱性、与临床工作流程的系统性不匹配,以及阻碍部署的监管不确定性。
- 提出了四条可操作的实现可信通用医学视觉智能的路径:从相关性转向因果推理、从静态快照转向动态数据流、从自动化转向人机协作、从孤立开发转向生态系统层面的协调。
引言
医学影像对现代精准医学至关重要,其解读的准确性直接影响疾病诊断、治疗规划和预后评估。在过去十年中,针对特定任务的卷积神经网络(CNN)模型在糖尿病视网膜病变分级和肺结节检测等离散应用中达到了专家级性能,催生了第一代获得监管批准的AI辅助诊断工具(Benjamens等,2020;Topol,2019)。然而,随着这种单任务范式从实验室验证转向常规临床部署,一些系统性局限性变得显而易见,包括对大规模标注数据的严重依赖、对新设备或患者群体的泛化能力有限、开发周期效率低下,以及阻碍有效临床医生协作的不透明决策机制(Kelly等,2019;Rajpurkar等,2022;Zech等,2018;Azad等,2023;Amann等,2020)。这些局限性表明,特定任务框架无法满足临床对高效、稳健、通用且可解释智能系统的需求。
因此,医学影像AI必须从具有狭窄能力的专用模型转向具备广泛适用性和快速适应能力的通用模型。这一需求奠定了医学视觉基础模型(Medical Vision Foundation Models, MVFMs)近期发展的基础。
借鉴通用人工智能的范式转变,视觉基础模型(Vision Foundation Models, VFMs)通过大规模预训练后的高效微调来接近医学影像分析(Bommasani,2021;Moor等,2023)。这一范式基于两大主要优势。
首先,在大规模多模态医学数据上进行自监督学习,使VFMs能够捕捉通用的解剖学先验知识,如器官间的空间关系和组织纹理统计特征,以及病理表现模式(Azad等,2023;K. He等,2022)。所学到的表征具有强大的可迁移性,允许以数据高效的方式适应各种下游任务。
其次,参数高效微调技术大幅降低了将大规模预训练模型专业化用于临床应用的计算成本(Houlsby等,2019;Hu等,2022;X. He等,2022)。通过仅更新极少量参数(通常低于1%),这些方法使通用模型能够获得新的特定任务能力,同时避免灾难性遗忘,从而支持在统一平台上进行多任务分析。此外,以Segment Anything Model(SAM)为代表的提示驱动交互式模型,通过点击或边界框等用户输入实现零样本或少样本分析,建立了一个更加灵活和交互式的临床工作流程(Ma等,2024a)。
VFMs在从放射学到计算病理学的各种影像模态中展现了强大的少样本学习性能和跨任务泛化能力(Hatamizadeh等,2022;Sowrirajan等,2021;Vorontsov等,2024;Z. Wang等,2023)。这些进展为克服传统特定任务模型的局限性提供了可行路径,推动医学AI向统一、通用的分析平台发展(Esteva等,2021)。
医学AI的近期进展产生了两个相关但不同的概念:多模态大型医学模型和VFMs。由于本综述聚焦于后者,有必要对其范围进行精确定义。
医学视觉基础模型:MVFMs以医学影像作为唯一输入模态,生成视觉表征或视觉预测(例如分割掩膜、检测结果、图像级评分)。它通过预训练学习解剖结构、组织纹理和病理形态的层次表征(Zhou等,2019;Filiot等,2023),作为仅需视觉输入的下游任务的通用视觉编码器。值得注意的是,训练信号不一定仅限于视觉:在预训练过程中可以使用图文对比目标或其他跨模态弱监督,前提是最终模型在推理时仅基于视觉输入运行。
多模态大型医学模型:这类模型以图像和文本(或其他模态)作为联合输入,执行跨模态生成或推理(Chen等,2023)。典型任务包括自动生成报告、视觉问答和跨模态检索(S. Zhang等,2023)。与MVFMs的区别在于输入—输出接口,而非训练信号:推理时需要跨模态交互的模型被排除在本综述之外,而使用跨模态监督训练的独立视觉编码器则被纳入。
范围边界:在此定义下,我们区分两类模型。(i)医学领域预训练的MVFMs:其编码器在医学影像数据上经历大规模预训练或继续预训练,构成本综述的核心语料(第2.2节中确定的136篇研究)。(ii)适配用于医学用途的通用VFMs:其编码器仅在自然图像上预训练(例如DINOv2),未经过医学领域编码器预训练即被迁移到医学任务中,作为提供方法论趋势背景信息的发展进行讨论;然而,它们不计入136篇核心研究,并排除在所有定量统计和趋势分析之外。在叙述或总结表中出现此类模型时,均明确标记为核心语料之外的适配范例。虽然这些范式在目标上有所不同,但它们在层次上是相关联的。在大规模医学影像数据上预训练的VFM为多模态模型的构建提供了关键编码器(Radford等,2021),多模态模型的性能在很大程度上取决于该编码器提取的视觉特征质量(Li等,2025)。反之,用于训练多模态模型的图文对齐数据可以作为纯视觉预训练的弱监督,从而提高视觉特征的语义可判别性(MH Nguyen等,2023)。
本综述仅聚焦于MVFMs,原因有三:
1. 基础地位。VFMs构成一条独立的研究路线,关注仅从视觉数据中学习通用表征。这一能力为医学影像AI的进步提供了支撑。
2. 临床相关性。许多临床工作流程,包括病灶分割和关键发现检测,仅依赖视觉分析。因此,VFMs的改进直接提升诊断准确性和效率。
3. 范围管理。将范围限定在VFMs允许系统分析医学影像的独特统计特性、视觉表征学习的核心挑战以及特定任务适应策略的优化。更宽泛的范围将损害分析深度。
因此,MVFMs的研究服务于两个目的:推进核心医学视觉任务,并为后续多模态医学AI系统建立视觉理解的前提条件(Azad等,2023)。
最后,我们注意到专有通用模型——如GPT、Gemini和Claude系列——的并行崛起,它们在医学知识任务上展现了令人印象深刻的性能,如HealthBench评估套件所展示的那样(Arora等,2025)。这些系统代表了一条不同的技术轨迹:它们在互联网规模上主要在自然图像和文本上训练,其架构和训练数据未公开披露,且其医学影像能力仍然有限,在影像特定基准下基本未经检验。因此,我们将它们定位为更广泛格局中的背景发展,而非技术分析的对象,并在第4节(可信性导向评估)中重新审视其相关评估范式。
尽管取得了令人振奋的进展,但MVFMs研究仍然碎片化,缺乏系统性整合。现有综述已从不同角度记录了这一演化过程,包括深度学习的成熟(Esteva等,2021)、伦理和可解释性担忧(Amann等,2020),以及通用医学人工智能的愿景(Moor等,2023)。近期工作已开始为医学影像基础模型建立分类框架(Azad等,2023),并回顾了领域自适应和联邦学习等特定技术领域的进展(X. Chen等,2024)。虽然这些研究提供了重要基础,但MVFMs的快速创新和临床转化的紧迫需求暴露了现有文献中四个关键且相互关联的缺口。这些缺口阻碍了该领域从技术性能竞赛转向创造真正的临床价值:
1. 缺乏动态演化视角:现有研究通常提供静态技术描述,而非对核心架构、预训练范式和适应策略如何随时间共同演化和相互影响的纵向分析。该领域目前缺乏对其内部驱动力和收敛模式的理解。
2. 对核心数据约束的分析不足:医学数据的规模、质量、异质性和隐私要求对技术进步施加了根本性约束。现有研究未充分考察这些数据局限性如何推动自监督学习的采用以及塑造模型评估的主要目标。
3. 缺乏全链条临床转化视角:实验室表现强劲与实际临床效用之间存在着相当大的可信度差距,源于技术脆弱性、工作流程不匹配和监管不确定性。将技术性能与临床效用相连接的系统和整合分析仍然有限。
4. 技术趋势与临床路线图之间的脱节:尽管新技术不断涌现,但缺乏聚焦分析如何将这些进展整合为连贯且临床可执行的计划,以解决特定的转化瓶颈。
总之,这些缺口表明现有框架尚未以动态整合的方式跨越技术生命周期、根本数据约束和临床转化壁垒。虽然先前的分类和概念范式映射了各个维度,但追踪其共同演化的结构化分析视角仍然不成熟。
为应对碎片化的研究格局和上述缺口,本综述围绕一个由三个相互关联维度——数据、技术和临床转化——组成的概念框架组织对MVFMs的分析。该框架认为,MVFMs的开发和临床影响取决于三个核心要素之间的动态相互作用(图1):
1. 技术生命周期:预训练和适应的技术基础,包括模型架构、学习范式和专业化策略。
2. 数据约束:源于医学数据稀缺性、异质性和隐私要求的局限性,这些约束同时驱动和限制技术发展。
3. 临床转化差距:实验室表现与临床效用之间的差异,涵盖技术稳健性、工作流程集成和监管合规性。
我们的核心论点是,MVFMs的发展并非遵循线性轨迹,而是在这三个维度上进行迭代适应。数据约束是技术创新的主要驱动力。例如,标注数据有限需要自监督学习策略,而参数高效微调的进展则减少了对大规模标注数据集的依赖。反之,技术能力决定了在多大程度上可以规避数据局限性。最终,MVFMs的价值取决于其弥合实验室指标与临床效用之间差距的能力,这需要数据管理、技术方法和实施标准方面的同步进步以建立系统性可信度。
基于三元组框架和对2019至2025年间发表的136篇核心研究的系统综述,本文提供了以下贡献:
1. 统一分析框架。我们引入了"数据—技术—转化三元组",一个将MVFMs的技术发展与医学数据的基本约束及临床部署的实际需求相连接的概念模型。该框架识别了当前瓶颈并指明了未来研究优先级。
2. 可信性差距的诊断分析。我们系统考察了临床转化的障碍,将分析范围从技术泛化扩展至模型开发与临床工作流程之间的不匹配,以及缺乏明确的监管标准。这一分析阐明了为何强劲的基准性能并不能确保临床就绪。
3. 数据特性在塑造技术发展中的作用。通过定量趋势分析,我们展示了医学数据的固有特征——包括稀缺性、异质性和隐私约束——如何直接推动了自监督学习的广泛使用,并确立了领域泛化作为核心评估标准。这一发展已将研究重心从单纯的绩效转向稳健性。
4. 可信临床转化的实用路径。综合三元组中的见解,我们提出了四条相互依存的策略,以开发可靠的通用医学视觉系统。
这些策略涵盖了四项必要转型:从相关性到因果性,从静态数据处理到动态数据处理,从完全自动化到人机协同,以及从孤立开发到生态系统层面的协同。以上述三维度框架构为指导,本文其余部分围绕引言中概述的四项贡献展开论证。第2节和第3节考察多模态视觉基础模型的技术演进,追溯该领域的宏观发展轨迹,并分析当代模型趋同的技术架构——这些架构构成了三元框架的能力基础。第4节探讨医学影像中的数据约束,考察医学数据生态系统固有的局限性及其结构性挑战如何引导研究议程,从而回应贡献3。第5节聚焦临床转化鸿沟,对当前模型的可靠性缺陷进行多维分析,为贡献2提供实证支持。第6节提出构建可信赖通用智能体的策略,提出整合性建议以构成贡献4,描述技术、数据与临床转化三个维度的协同进展如何弥合所识别的差距。通过整合这三个维度的分析,本综述为研究人员、临床医生和政策制定者提供了结构化参考,推动多模态视觉基础模型从实验原型发展为临床可靠且广泛部署的系统。
章节片段:系统文献检索策略
为确保本综述的全面性、系统性和可重复性,我们设计并执行了一套多阶段、多平台的文献检索策略。该策略旨在全面覆盖多模态视觉基础模型相关研究的完整范围。本综述严格遵循系统综述和荟萃分析的首选报告条目(PRISMA)指南(Page等,2021)。我们将检索时间窗口定义为2019年1月1日至2025年12月20日。
两阶段生命周期
已有综述强调,开发有效的多模态视觉基础模型需要一种系统方法,覆盖从大规模表示学习到高效任务特化的完整技术管线(Azad等,2023)。构建临床可行的多模态视觉基础模型是一个结构化、分阶段推进的工程项目,而非单点突破;它最好通过明确定义的技术生命周期来理解。如图4所示,该生命周期包含两个顺序推进的阶段。
数据在多模态视觉基础模型生命周期中的双重角色
多模态视觉基础模型的开发依赖于预训练与适配范式。在此框架下,数据在模型整个生命周期中发挥两项关键作用。首先,大量无标签数据使模型能够学习通用视觉表示。其次,精心整理的标注数据集为评估和针对特定临床任务特化模型提供基准真值。这两项功能在数据、模型与应用之间形成反馈循环,塑造了整个领域的发展方向。
然而,从任务专用模型到可适配平台
多模态视觉基础模型的开发代表了医学影像人工智能的重大变革。传统的为每个特定任务构建独立模型的方法存在明显局限,包括高数据需求、有限泛化能力和碎片化开发。这些局限性使其越来越难以满足复杂的临床需求。该方法正被预训练与适配范式所取代,在这种范式中,一个在大规模数据上训练的通用视觉基础模型可以……
通往可信通用医学视觉智能的路径
前述章节回顾了多模态视觉基础模型的技术发展及其巨大潜力。然而,正如第5节所讨论的,一个持续的可靠性鸿沟将高性能实验室原型与能够安全、可靠地整合到临床工作流程中的智能系统分隔开来。这一鸿沟超越了技术性能,还包括数据生态系统、临床集成和监管适应等方面的系统性挑战。多模态视觉基础模型开发的下一阶段将……
结论
多模态视觉基础模型已将医学影像研究从任务专用架构转向通用视觉智能。本综述追溯了该领域从2019年到2025年的发展,记录了快速扩张、围绕混合Transformer架构日益集中的趋势,以及自监督预训练结合参数高效适配方法的普遍使用。通过本文提出的数据、技术与临床转化框架,我们分析了固有的数据局限性如何……
CRediT作者贡献声明
林能建:撰写——初稿。丁一:撰写——审阅与编辑。秦震:概念化。曹明胜:数据管理。张吉元:撰写——审阅与编辑,数据管理。夏宇超:调查研究。钟宇航:监督指导。张晓勇:验证。
生成式AI及AI辅助技术在写作过程中的使用声明
在本文撰写过程中,作者使用了AI辅助工具来提升语言可读性,并协助绘制示意图的初稿。所有AI辅助内容均经作者人工审阅、核实;对于图表内容,作者进行了重新绘制以确保科学准确性。作者对本出版物的完整性和内容承担全部责任。
利益冲突声明
作者声明,不存在可能影响本文所述工作的已知竞争性经济利益或个人关系。
致谢
本研究部分由国家自然科学基金(编号:62576079,62372083)、四川省自然科学基金(编号:2026NSFSC0415)、四川省科技支撑计划(编号:2024NSFTD0005)、成都医学院2024年度第一批临床科研基金重点项目(编号:24LHXX1-01,24LHXX1-02)、四川省卫生健康委员会2023年科技项目——临床研究专项基金(资助编号……)资助。
林能建 | 丁一 | 秦震 | 曹明胜 | 张吉元 | 夏宇超 | 钟宇航 | 张晓勇
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号