《PLOS Digital Health》:Augmenting patient safety surveillance in radiation oncology with large language model-based root cause analysis: A proof-of-concept study
编辑推荐:
研究人员调查了大语言模型(large language models, LLMs)在支持患者安全工作方面的潜在效用。具体而言,研究人员评估了LLMs利用放射肿瘤学事件学习系统(Radiation Oncology Incident Learning Syste
研究人员调查了大语言模型(large language models, LLMs)在支持患者安全工作方面的潜在效用。具体而言,研究人员评估了LLMs利用放射肿瘤学事件学习系统(Radiation Oncology Incident Learning System, RO-ILS)的叙述性报告执行放射肿瘤学事件根本原因分析(root cause analysis, RCA)的推理能力。研究人员使用19个公开可用的RO-ILS病例的“背景与事件概述”部分,提示四个最先进的LLMs,即Gemini 2.5 Pro、GPT-4o、o3和Grok 3。每个模型均被指示依据基于美国医学物理学家协会(AAPM)RCA指南的标准化提示执行RCA,并生成根本原因、经验教训和建议措施。模型输出采用客观语义相似性指标(通过Sentence Transformer计算余弦相似度)、半主观评估(精确率、召回率、F1分数、专家裁定阳性预测值(Positive Predictive Value, PPV)、幻觉率及相关性、全面性、论证质量和解决方案质量等性能标准)以及由五位委员会认证医学物理学家进行的主观评分(推理质量和总体表现)相结合的方式进行评价。LLMs在所有评估指标上均表现出令人满意的性能。所有模型均表现出一定程度的幻觉,范围从11%到61%。所有被评估的LLMs在客观因果提取方面表现出相当的基线能力,其中Gemini 2.5 Pro在四个模型中表现出最高的总体性能得分。在专家裁定PPV、幻觉率以及主观评分方面观察到各模型之间存在统计学显著差异(p < 0.05)。LLMs作为放射肿瘤学RCA的辅助工具展现了有前景的结果,能够生成与专家期望一致的相关且准确的分析。LLMs可支持事件分析并有助于质量改进工作,以促进临床放射肿瘤学实践中的患者安全。
**基于大语言模型的放射肿瘤学事件根本原因分析:概念验证研究解读**
**一、研究背景与目的**
生成式人工智能(generative artificial intelligence, GAI)的快速发展,尤其是大语言模型(Large Language Models, LLMs)的出现,正在深刻改变临床医学的实践方式。LLMs已从单纯的模式识别系统演进为具备涌现推理能力的架构,在医学问答、临床决策支持等领域展现了广阔前景。然而,其推理能力的可靠性与安全性,特别是在高风险专科领域的应用,仍缺乏系统性验证。
放射肿瘤学是一门高度复杂的医学学科,整合了先进技术、精密流程和多学科协作。从影像获取、靶区勾画到治疗计划制定、质量保证及日常照射实施,患者治疗过程跨越多个环节,形成大量潜在的系统性失效或人为错误接口。鉴于放射治疗涉及高剂量电离辐射,保障患者安全至关重要。放射肿瘤学事件学习系统(Radiation Oncology Incident Learning System, RO-ILS)由美国放射肿瘤学会(American Society for Radiation Oncology, ASTRO)管理,通过叙述性文本实现对错误、近似差错和不安全条件的保密报告、收集与分析,旨在通过共享经验预防未来事件。根本原因分析(root cause analysis, RCA)是分析报告事件的核心环节。现有的RCA方法多依据美国医学物理学家协会(American Association of Physicists in Medicine, AAPM)指南,依靠多学科团队对事件进行系统剖析,是一个由人力驱动、结构化的分析流程。
本研究正是基于上述背景与需求展开:将LLMs快速演进的推理能力与放射肿瘤学领域对安全性分析的迫切需求相结合,探究LLMs在该高度专业化、安全关键领域中执行RCA的能力,并评估其推理能力的实际水平,以明确其在临床工作流优化、质量改进和患者安全保障方面的潜在价值。作为概念验证,研究人员将LLMs定位为安全审查流程中辅助性的初步步骤,强调其应以支持人类专家为目标,而非替代正式的、多学科的综合性RCA流程。
**二、关键技术方法**
研究人员采用来自RO-ILS的19个公开发布病例(截至2025年5月)作为研究数据集,以各病例的“背景与事件概述”部分作为模型输入,以专家审核后的事件报告作为参考标准。使用基于AAPM指南设计的标准化提示语,提示四种前沿LLMs(Gemini 2.5 Pro、GPT-4o、o3和Grok 3)完成RCA任务。评估体系结合客观语义相似性指标、半主观与主观评价方法:采用Sentence Transformer计算余弦相似度进行客观评估;由五位委员会认证的医学物理学家对模型输出进行精确率、召回率、F1分数、专家裁定阳性预测值(PPV)、幻觉率以及多项性能量表的半主观评估;再对模型推理质量和总体表现进行主观评分。另以两个去标识化的机构内部病例进行定性验证。统计方法包括Friedman检验、Conover事后检验及Holm-Bonferroni校正,评分者间一致性使用Gwet's AC1/AC2评估。
**三、研究结果**
**3.1 客观语义相似性评估**
模型生成的RCA报告与参考文本之间的余弦相似度整体表现良好。在总体文本上,Gemini 2.5 Pro、o3、GPT-4o和Grok 3的余弦相似度分别为0.80±0.08、0.79±0.07、0.83±0.05和0.80±0.07。在“根本原因/促成因素”部分,Gemini 2.5 Pro获得最高相似度;在“经验教训/建议与行动”部分,GPT-4o表现最佳。Friedman检验显示,总体相似度差异不显著(p=0.126),但在“根本原因/促成因素”(p=0.022)和“经验教训/建议与行动”部分(p=0.001)存在统计学显著差异,Gemini 2.5 Pro在根因获取方面显著优于o3,而o3在经验教训部分显著落后于其他三个模型。
**3.2 物理学家评估的性能指标**
在识别根本原因和促成因素方面,Gemini 2.5 Pro取得了平均值精确率0.71±0.30、召回率0.80±0.26和F1分数0.73±0.27;其专家裁定PPV达到0.92±0.19。四种模型在精确率(p=0.091)、召回率(p=0.113)和F1分数(p=0.225)上无显著差异,表明各LLMs在提取相关因果条目方面具有相当的基线能力。然而,专家裁定PPV在模型间存在显著差异(p=0.002):Gemini 2.5 Pro与GPT-4o均显著优于o3,而两者之间无显著差异。幻觉评估显示,Gemini 2.5 Pro的幻觉率最低,为11%,o3为61%,GPT-4o为32%,Grok 3为29%,差异显著(p<0.001)。
**3.3 主观评估与评分者间一致性**
在相关性、全面性、论证质量、解决方案质量以及推理质量和总体表现的各项评分中,所有模型均表现出令人满意的水平,但模型间差异显著(p<0.001)。其中Gemini 2.5 Pro总体上获得最高的专家评分,在论证质量和总体表现方面显著优于其他三个模型。评分者间一致性分析显示,二分类变量的精确一致性为78.9%,Gwet's AC1为0.623;序数域的相邻一致性(±1分)为76.3%至82.9%,Gwet's AC2介于0.590至0.707之间,提示评分者之间具有中等至较高的一致性,同时反映了RCA评估固有的主观性。
**3.4 内部病例验证**
作为定性可行性验证,同一提示框架在两个去标识化的机构内部事件叙述中表现出满意的性能,与公开数据集上的表现一致,在一定程度上支持了研究结果的普适性。
**四、讨论与结论**
讨论部分指出,本研究表明LLMs在放射肿瘤学RCA任务中展现出有前景但仍在发展的推理能力。LLMs生成的RCA输出与专家分析具有高度一致性,且所有模型均存在一定程度幻觉,即使是最优模型的11%幻觉率在面向患者的应用中也是不可忽视的,因此必须采用人类在环的工作流程,由委员会认证的物理学家和放射肿瘤学家对模型输出进行系统审核。LLMs在此类专业、逻辑驱动且开放性任务上生成相关输出的能力,显示出领域感知推理的良好潜力,但研究人员也指出,当前性能可能部分反映高水平的语义概括和模式匹配,而非真正独立的机制性推理。此外,评估方法本身仍面临挑战:客观相似度指标无法完全捕捉语义正确性,而专家评分虽提供了重要定性见解,但不可能完全消除主观性。该研究还强调,实际临床部署中必须依托符合健康保险流通与责任法案(HIPAA)的企业级API或机构内本地部署的开源模型以保护患者隐私;将LLMs与机构内部事件报告系统集成,有望将RCA从被动应对转化为持续性质量改进机制。提示工程也被证明至关重要——基于AAPM指南的结构化提示可促使模型展开深度领域推理。研究局限性包括:公开病例可能已进入训练集(数据污染)、样本量有限限制了病例类型敏感度分析、公开教育性报告比原始临床叙述更“干净”、默认温度设置带来的随机性,以及LLMs快速演进导致研究结论的时效性。未来需在更大规模的原始机构数据上,结合多轮运行检验和因果推断框架进行更严谨的评估。
研究结论翻译如下:本研究证明了使用LLMs对放射肿瘤学事件进行RCA的潜在价值。通过提示四种最先进的LLMs分析RO-ILS事件报告,研究人员观察到这些模型能够生成与专家生成参考材料具有高度语义相似性的RCA输出,并获得经验丰富的医学物理学家的良好评价。尽管存在幻觉等重要局限,这项概念验证研究表明,在强制性人类监督下,LLMs有望用于工作流优化、质量改进和事件分析等临床应用,以支持患者安全。