《Diagnostics》:Evaluating a Large Language Model for Emergency Triage Using Synthetic Clinical Dialogues: Toward a Multimodal Clinical Safety Framework
编辑推荐:
背景/目的:在大规模集会(Mass-Gathering)事件如朝觐和副朝期间,通过准确的急诊分诊优先保障患者安全至关重要,因为高患者流量会显著增加临床错误的风险。尽管紧急严重程度指数(Emergency Severity Index, ESI)提供了标准化的分
背景/目的:在大规模集会(Mass-Gathering)事件如朝觐和副朝期间,通过准确的急诊分诊优先保障患者安全至关重要,因为高患者流量会显著增加临床错误的风险。尽管紧急严重程度指数(Emergency Severity Index, ESI)提供了标准化的分诊方案,但其仍依赖人工判断,而传统人工智能(Artificial Intelligence, AI)模型往往难以捕捉患者叙述中蕴含的细微临床背景。为弥补这一不足,本研究在合成生成对话的基础上评估GPT-5.2,作为迈向概念性临床决策支持框架的一步,该框架旨在通过临床对话弥合结构化电子健康档案(Electronic Health Records, EHRs)与分诊交互之间的鸿沟。通过将叙述性输入与结构化生理指标相结合,本研究探索了在受控模拟条件下支持更知情临床决策的潜力。方法:为评估这一贡献,研究人员使用一个包含1000例模拟朝觐情境的平衡分层数据集,系统评估了临床对话在分诊性能中的作用。结果:结果表明,纳入临床对话可显著改善分诊性能,所有ESI级别的欠分诊(Under-Triage)相对减少79.7%。在高急性度病例中观察到更为显著的改善,欠分诊相对减少91.9%。此外,该模型实现了94.5%的高急性度召回率,突显其识别关键“红旗”(Red-Flag)症状的能力,而这些症状通常无法在结构化数据中捕获。这些发现提示,叙述性背景可能有助于更准确的分诊评估和改善高急性度病例的识别。结论:因此,在受控决策支持环境中评估时,本研究表明基于大语言模型(Large Language Model, LLM)的系统可提高分诊可靠性,并可能有助于在高需求临床环境中实现更安全的分诊决策。
急诊分诊是急诊科(Emergency Department, ED)日常运转的核心环节,其目标是根据患者临床紧迫程度合理分配有限医疗资源。然而,全球范围内普遍存在的急诊科过度拥挤、资源紧张以及分诊决策高度依赖临床医生个人经验等问题,使得欠分诊(Under-Triage)和过度分诊(Over-Triage)难以完全避免,患者安全面临严重威胁。这一问题在大规模集会(Mass-Gathering)场景中尤为突出。以伊斯兰朝觐为例,每年数百万朝圣者在有限地域内集中进行宗教仪式,高温、拥挤、体力消耗等因素显著增加了急症和创伤事件的发生率,急诊部门通常在极短时间内承受巨大的诊疗压力。尽管紧急严重程度指数(Emergency Severity Index, ESI)被广泛用作标准化分诊工具,但其本质上仍需分诊护士结合主诉、生命体征和临床经验进行人工判断。与此同时,传统机器学习(Machine Learning, ML)和深度学习(Deep Learning, DL)模型虽然已被尝试用于自动化分诊,却大多局限于结构化变量(如生命体征和就诊理由),难以理解患者叙述中蕴含的动态临床背景,尤其容易漏掉提示危重病情的“红旗”(Red-Flag)线索。近年来,大语言模型(Large Language Model, LLM)展现出复杂的临床语言理解和推理能力,但其在真实分诊对话中的应用探索尚属早期,且现有工作鲜有将结构化数据与对话信息联合用于急诊分诊。为弥补上述空缺,研究人员在受控模拟条件下系统评估了GPT-5.2模型,探索将结构化临床数据与合成临床对话相结合对ESI分诊性能的影响,并提出一种概念性多模态临床决策支持框架,以期在朝觐等大规模集会情境中提升分诊的可靠性和安全性。
研究人员在实验中构建了四种输入配置:零样本(Zero-Shot)仅结构化数据、零样本结构化数据结合对话、规则约束思维链(Rule-Constrained Chain-of-Thought, R-CoT)仅结构化数据,以及R-CoT结构化数据结合对话。通过对比分析,纳入合成临床对话的零样本配置取得了最优的分诊表现:总体准确率达到71.1%,F
1分数为0.690,欠分诊率从基线31.6%降至6.4%,相对降幅达79.7%。进一步针对高急性度病例的分析表明,该配置将ESI 1-2级患者的欠分诊率从68.5%降至5.5%,相对降幅达91.9%,高急性度召回率高达94.5%,显著提升了对危重患者的识别能力。相比之下,仅应用R-CoT提示工程而不加入对话信息的配置几乎未改善结构化基线性能,说明叙述性临床背景的贡献远大于提示策略本身。随后,研究人员将对话增强的LLM分诊结果与六种传统监督学习基线(随机森林、梯度提升、LightGBM、XGBoost、逻辑回归、决策树)进行了对比。使用相同结构化变量训练时,随机森林最高准确率为54.5%,高于仅使用结构化数据的LLM配置(41.8%),但明显低于引入对话后的LLM配置(71.1%),表明LLM结合临床对话具有相对优势。统计检验证实各实验配置间的差异显著,而消融比较进一步确认临床对话是性能提升的主要驱动因素。为评估临床可靠性,研究人员对50例随机病例进行了盲法人类评分者对照实验,结果显示GPT-5.2与两名资深急诊护士在ESI分级上具有高度一致性(加权科恩卡帕系数分别为0.850和0.866),GPT-5.2自身的加权科恩卡帕系数高达0.902,表明该模型的分诊推断与专家判断十分接近。
为平衡各严重级别和性别的代表性并保证实验可控性,本研究的样本数据来源于两个大型公开电子健康档案(Electronic Health Records, EHRs)数据库,即MIMIC-IV-ED v2.2和MIMIC-IV v3.1(由MIT计算生理学实验室维护)。研究人员先从425,087条急诊就诊记录中排除不完整记录、儿科病例和非朝觐相关疾病病例,得到188,453例符合条件的记录,再按ESI级别和性别进行平衡分层随机抽样,最终选定1000例构成评估数据集。合成对话的生成使用GPT-4.1,通过标准化提示模板将年龄、性别、生命体征、主诉、疼痛评分和预定义ESI级别等结构化患者数据转化为3至5轮阿拉伯语护士-患者分诊对话,并邀请两名急诊护士对对话的临床真实性和相关性进行验证,以确保生成质量。分诊评估则使用GPT-5.2,并在四种不同输入和提示配置下进行;评估指标包括准确率、加权F
1分数、精确率、召回率、欠分诊率、过度分诊率和加权科恩卡帕(Weighted Cohen's Kappa)系数,同时采用Cochran's Q检验和McNemar检验进行统计分析。此外,所有基线模型均在相同结构化变量和分层80/20训练-测试划分下进行评估,以保证结果的可比性。
**结果部分解读**
**1. 临床对话对分诊性能的影响**:实验发现,当条件为仅使用结构化数据时,模型分诊准确率仅为41.8%,欠分诊率为31.6%。加入生成的临床对话后,准确率跃升至71.1%,欠分诊率降至6.4%,总体准确率相对提升70.1%,欠分诊相对减少79.7%。同时,精确率、召回率和F
1分数均获得同步改善,表明临床对话提供了结构化变量所不具备的情境化信息,显著增强了模型对分诊决策的理解能力。
**2. 提示工程对分诊性能的影响**:与零样本基线相比,仅使用R-CoT提示且不加入对话的配置未带来明显性能提升(准确率41.9% vs. 41.8%);但是,当R-CoT提示与对话信息同时使用时,性能提升仍然显著(准确率65.5%,欠分诊降至9.0%),说明叙述性临床信息对模型的分类能力起主导作用,而提示工程仅能产生有限的增量改善。
**3. 与常规机器学习基线的比较**:在仅使用结构化变量的条件下,六个监督学习基线中随机森林取得最高准确率(54.5%),高于结构化-only LLM配置(41.8%);但对话增强的LLM配置以71.1%的准确率显著优于所有传统基线,证实引入对话可为基于LLM的分诊系统带来实质性的性能优势。
**4. 实验结果的统计分析**:Cochran's Q检验显示四种实验策略的分类性能存在显著差异;随后进行的McNemar两两比较表明,除Exp 1与Exp 3之间无显著差异外,其余配对比较均达到统计学显著水平。Exp 2和Exp 4均显著优于不含对话的对应配置,且Exp 2进一步优于Exp 4,说明对话信息对分诊性能的贡献在统计上得到了稳健验证。
**5. 临床安全与欠分诊分析**:在纳入对话的配置中,高急性度病例(ESI 1-2级)的欠分诊率从68.5%大幅下降至5.5%,高急性度召回率达到94.5%。同时,模型在识别关键危重案例时,大部分误判仅发生在相邻的较低风险级别,且过度分诊率并未相应上升,提示对话信息有助于在不额外消耗医疗资源的前提下提升分诊安全性。
**6. 实验结果的稳定性**:逐级别分析显示,加入对话后,模型对ESI 1级和ESI 2级病例的识别准确率分别从9.5%和53.5%大幅提升至93.0%和93.5%,改善最明显的是最危重患者。混淆矩阵结果也显示,ESI 1级病例中正确识别数从19例上升到186例,对角线集中度显著提高,进一步说明对话信息帮助模型更好地捕捉危重病情线索,并与结构化数据形成互补。
**7. 与急诊护士的人类评估和评分者间一致性**:在50例随机病例上,以相同结构化数据和对话作为输入进行盲法比较,GPT-5.2准确率达72.0%,加权科恩卡帕系数为0.902;两名急诊护士的加权科恩卡帕分别为0.833和0.838,GPT-5.2与护士间的评分者间加权科恩卡帕为0.850和0.866,结果提示模型的分诊判断与资深急诊护士存在高度一致性,进一步增强了对话增强分诊策略的可信度。
**讨论与结论总结**:讨论部分指出,相较于单纯追求总体准确率,降低欠分诊率对于保障临床安全具有重要意义。本研究发现,整合临床对话虽然会引入约0.4至2秒的响应延迟,但相对于常规急诊分诊流程的总时长可接受,且换取的是高急性度病例召回率的大幅改善,未伴随过度分诊率的显著上升,有利于在保障安全性的同时避免医疗资源浪费。研究提出了一个概念性多模态框架,以结构化数据与对话信息联合输入为核心,并引入双层反馈机制,即即时临床反馈(人类监督)和回顾性反馈(系统迭代优化),以支持更安全的人机协作分诊。同时,研究强调了算法公平性、透明性和问责制在AI辅助分诊部署中的重要性。研究局限方面,合成对话基于结构化数据驱动而非真实护患交互,实验条件为文本模拟,未纳入语音、多语言和真实环境噪音,且未与其他先进LLM进行跨模型对比,因此未来仍需在真实临床场景、多语言及噪声环境、多模态输入和更大规模专家验证条件下开展进一步研究。综合而言,研究结论表明,将临床对话与结构化数据结合能够改善LLM在急诊分诊中的表现;零样本(结构化与对话)配置在准确率和欠分诊率方面达到最优,提示情境化患者叙述比单独依赖提示工程更具临床价值。该概念性框架通过双层反馈机制,为未来在高需求急诊环境中开发更安全、更可靠的LLM辅助分诊系统提供了结构化的设计基础与实证依据。