面向临床诊断的可信赖大语言模型:关于证据、安全性、验证与部署就绪度的医学信息学综述

《International Journal of Medical Informatics》:Trustworthy large language models for clinical diagnosis: a medical informatics review of evidence, safety, validation, and deployment readiness

【字体: 大 中 小 】 时间:2026年10月10日 来源:International Journal of Medical Informatics 5.0

编辑推荐:

   摘要背景大型语言模型(LLMs)和多模态基础模型越来越多地被提议用于诊断决策支持、症状分诊、报告解读以及基于电子健康记录(EHR)的工作流程。由于医学信息学关注的是信息和通信技术如何在临床实践中运作,因此工作流程评估和部署准备度是核心环节而非可选项。目标通过医学信息学的视角综

  

摘要

背景

大型语言模型(LLMs)和多模态基础模型越来越多地被提议用于诊断决策支持、症状分诊、报告解读以及基于电子健康记录(EHR)的工作流程。由于医学信息学关注的是信息和通信技术如何在临床实践中运作,因此工作流程评估和部署准备度是核心环节而非可选项。

目标

通过医学信息学的视角综合诊断性LLM的证据,并提出一个分阶段门控框架,辅以相应的自我评估工具,以实现可信赖的临床应用。

方法

我们进行了一项批判性叙述性综述,并以针对性证据映射为支撑,共纳入64条引文记录,这些记录主要发表或更新于2019年至2026年8月之间,在直接相关时保留了精选的基础来源,并重点聚焦2022年及以后的LLM证据。未计算合并估计值。

结果

20项实证性诊断评估或患者面向评估被映射至八级证据阶梯:第1级(基准测试或考试)2项,跨第1–2级1项,第2级(病例情境或合成推理)10项,第3级(回顾性临床记录)3项,第6级(临床医生参与的工作流程)4项,其中一项为前瞻性单中心部署,同时也报告了运营结果。已发表示例涵盖偏差测量、改进策略和实施导向的结果,但外部验证、前瞻性静默模式评估、对照性临床影响试验以及部署后监测仍然罕见。反复出现的风险包括幻觉、危险的遗漏、过早闭合、不安全的安抚、校准不佳、自动化偏差、隐私泄露、提示注入和模型漂移。结论诊断性LLM应作为临床信息系统组件进行评估。我们提出了一个五门部署准备度框架,要求明确预期用途、证据与临床风险相匹配、经过测试的安全性案例、工作流程和互操作性准备度以及上市后监测,并操作化为29项条目、按用例分层的自我评估工具。

章节摘要

摘要表

.

已知内容
  • •
    LLMs在医学问答和选定诊断情境中表现良好。
  • •
    临床决策支持和对话代理需要工作流程、可用性和安全性评估。
  • •
    健康人工智能的报告和治理指南越来越强调透明度、验证和监测。
本综述新增内容
  • •
    一种医学信息学框架,将诊断性LLM视为临床信息系统组件,而非独立模型。
  • •

检索策略和纳入标准

我们进行了一项批判性叙述性综述,以针对性证据映射为支撑,而非正式的综述性系统评价或荟萃分析。文献来源通过PubMed/MEDLINE、PubMed Central、Google Scholar(用于引文追踪)、ScienceDirect文章页面、出版商网站,以及从2019年1月1日至2026年8月15日的官方监管或指导来源的针对性检索来确定。在诊断安全、症状检查器、决策支持和社会技术方面保留了精选的基础文献

诊断性LLM的角色作为医学信息学用例

诊断性LLM最好被理解为不是单一技术,而是一组具有不同用户、不同数据依赖和不同失败后果的信息系统功能。图1将六个此类用例按临床风险递增的顺序标记为U1至U6,置于一个序数线上,并为每个用例声明了在部署前应达到的最低证据门槛。排序仅为序数关系:排名重要,标记之间的间距不重要,且任何距离

证据成熟度和评估终点

为了描述某项研究实际建立了什么,我们将诊断性LLM证据分为八个级别。第1级是基准测试或考试表现。第2级是病例情境或合成诊断推理。第3级是在临床记录上的回顾性评估。第4级是跨场景或人群的外部验证。第5级是前瞻性静默模式评估。第6级是临床医生参与的工作流程评估。第7级是临床影响试验。第8级是受监测的部署

诊断性LLM安全性案例

当失效模式与其可能造成的危害、旨在防止该危害的保护措施以及衡量该保护措施是否有效的终点配对时,安全性声明就变得可测试。图3列出了七个此类安全性案例,标记为SC1至SC7。每一行是一个完整案例,从左至右阅读。以下子章节按相同顺序逐一阐述各行。

实施、互操作性和治理

诊断性LLM应作为自适应临床信息系统进行治理。实施应明确预期用户、使用场景、输入数据、输出格式、升级路径、文档要求、负责临床医生和失败响应。面向临床医生的第二意见工具、急诊科分诊助手、EHR问题列表生成器和患者聊天机器人需要不同的验证和不同的治理。如果……则人工监督本身并不充分

可信赖的诊断性LLM部署准备度框架

图5展示了本综述提出的框架。这是一个临床信息系统的采用门控,而非营销清单,它仅在证据和保障措施与预期用途的临床风险相匹配时,才允许从任务定义推进到部署后监测。
第一门是预期用途。开发者和健康系统应声明用户、临床场景、输入数据、输出类型、行为后果和边界条件;这正是分配风险的依据

对研究和实践的影响

研究者应从基准报告转向路径评估。研究应报告模型版本、提示设计、数据来源、比较对象、参考标准、不确定性、人口学表现、危险遗漏和预期用途。当诊断风险较高时,前瞻性静默模式研究应先于工作流程试验进行。试验应衡量患者和系统结果,包括诊断延迟、可避免的检查、工作负荷、升级、安全事件和临床医生

局限性

未注册方案,也未报告PRISMA流程图。检索侧重于公开书目来源、出版商页面和英语文献;仅收录于Embase、Scopus、Web of Science、IEEE Xplore、ACM数字图书馆、Cochrane图书馆、非英语数据库或本地存储库中的相关研究可能被遗漏。由于筛选由一名作者单独进行而非独立重复,可能存在选择和解释偏倚;

结论

诊断性LLM是有前景但高风险的临床信息系统组件。其价值将更多地取决于能否在真实临床系统中被验证、监督、集成、治理和监测,而非能否在精致的案例中产生合理的诊断。医学信息学适合引领这一转型,因为它已经在数据溯源、工作流程、互操作性、人机交互和患者安全等层面评估技术。

CRediT作者贡献声明

Amar Singh:撰写——审查与编辑,撰写——原稿,验证,方法学。Ajay Singh:撰写——审查与编辑,撰写——原稿,验证,调查,概念化。Shakti Kumar:撰写——审查与编辑,验证,监督,项目管理,方法学。Sahraoui Dhelim:撰写——审查与编辑,概念化。Chatter Singh:撰写——审查与编辑,撰写——原稿,验证,方法学,概念化。

伦理批准和知情同意

本综述不涉及人类参与者、患者级数据、患者图像或可识别的健康信息;无需伦理批准和知情同意。

生成式AI和AI辅助技术在写作过程中的声明

在准备本工作期间,作者使用了一个大型语言模型助手来帮助语言编辑、稿件组织、参考文献列表一致性检查和用于生成可复现科学图表的Python代码起草。使用该工具后,作者对内容进行了审查和编辑,并对稿件内容承担全部责任。该工具未被列为作者,未被用于做出最终证据纳入决策,且

资金支持

本研究未获得公共、商业或非营利部门资助机构的任何专项资助。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:
Matthijs de Jong报告与TenneT TSO BV存在以下关系:雇佣。Jan Viebahn报告与TenneT TSO BV存在以下关系:雇佣。如有其他作者,他们声明不存在已知可能影响本文所述工作的竞争财务利益或个人关系。
Amar Singh|Ajay Singh|Shakti Kumar|Sahraoui Dhelim|Chatter Singh
Lovely Professional University计算机科学与应用学院,印度旁遮普邦法格瓦拉
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号