《Rheumatology International》:Automating the triage of rheumatology outpatient referrals: a comparative evaluation of 23 large language models under simple and advanced prompting
编辑推荐:
风湿科门诊转诊分诊是一项高容量行政任务,消耗资深专科医师时间而不推进患者照护。人工分诊系统仅具有中等准确性和可重复性。研究人员评估了当代大型语言模型(LLMs)能否表现足够好以支持在实践中自动化该任务。此外,研究人员评估了不同提示技术对分诊准确性和成本的影响,
风湿科门诊转诊分诊是一项高容量行政任务,消耗资深专科医师时间而不推进患者照护。人工分诊系统仅具有中等准确性和可重复性。研究人员评估了当代大型语言模型(LLMs)能否表现足够好以支持在实践中自动化该任务。此外,研究人员评估了不同提示技术对分诊准确性和成本的影响,以帮助确定最佳方法。由一名认证澳大利亚风湿病学家创建了涵盖紧急程度谱的20个转诊情景。四名风湿病学家独立且盲法地对所有病例进行分诊,以产生共识参考标准;并量化评分者间信度。23个LLMs各自将每份转诊分入五个紧急程度类别之一,重复三次(每份转诊1380个输出)。实验先用简单提示运行,然后用高级提示重复,该高级提示提供明确的分类期望和范例。与已发表文献一致,四名风湿病学家之间的一致性为中等(Fleiss kappa 0.60;平均成对线性加权kappa 0.79),四者在90%病例中分配的类别彼此相差不超过一个等级。所有2760次模型调用均返回可解释结果。在简单提示下,性能分为不同层级,较大的模型更准确(Spearman rho=0.42;P=.047),且准确性随成本变化。高级提示使模型间准确性方差降低5.3倍(0.014至0.003;Levene P=.01),消除了模型规模与准确性的关联(rho=-0.05;P=.83),并消除了准确性与成本的关系。最佳模型在20例中的18例与专家共识一致,与风湿病学家自身之间观察到的可重复性相当。部分LLMs仍存在分诊不足错误。当代LLMs对风湿科转诊紧急程度进行分类的准确性和可重复性与报道的人类分诊系统相当,尽管本研究未测试人类分诊。高级提示似乎替代了较大模型的推理能力,表明该任务达到足够性能可能不需要最昂贵的模型。这些发现表明该行政任务的自动化在技术上是可行的。已识别出值得前瞻性评估的候选模型。
论文聚焦风湿科门诊转诊自动化分诊,并比较23种当代大型语言模型(large language models, LLMs)在简单与高级提示下的表现。研究背景方面,安全获得风湿科门诊照护依赖分诊(triage),即按临床紧急程度对转诊排序,使有限专科能力优先用于延迟危害风险最大者。多数服务由顾问风湿病学家或资深住院医师阅读自由文本转诊信完成。该任务高容量、认知要求高且耗时,消耗临床医生资源,但不推进患者照护、不产生治疗结果。转诊量上升而风湿科劳动力预计不足,使这种机会成本成为专科紧迫运营问题。风湿科病例谱从巨细胞动脉炎(giant cell arteritis)、系统性血管炎(systemic vasculitis)和伴器官受累狼疮等危及器官或视力的急症,到可安全等待数月的退行性和非炎性疾病;早期炎性关节炎评估延迟与更差长期关节和功能结局相关。人工分诊本身仅中等准确和可重复:有系列显示近半数病例转诊紧急等级在专科咨询后改变,约六分之一真正紧急患者转诊阶段被分诊不足(under-triage);结构化转诊工具敏感性80%、特异性79%,误分类高;独立临床医生对相同转诊优先排序仅中等一致,加权kappa约0.6,约三分之一病例不一致,培训无明显改善。因此问题不是自动辅助是否完美,而是能否匹配或超过本身不完美的人类标准。既往自动分诊依赖传统自然语言处理(natural language processing)和机器学习(machine learning),收益有限;LLMs编码广泛临床知识,可能更适合,且提示设计可能与模型选择同样重要。尚无发表研究在广泛当代模型面板上探讨提示设计与模型能力、成本在专科紧急分诊中的交互。
研究人员在澳大利亚学术医疗网络内一家专科风湿科诊所开展比较评估研究。任务是将全科医生(general practitioner, GP)转诊分配至五个紧急类别之一,模拟每日行政决策。20个转诊情景由认证澳大利亚风湿病学家创建,旨在覆盖全部紧急程度谱和常见转诊疾病;四名风湿病学家独立、盲法分诊所有病例形成共识参考标准。23种当代LLMs通过单一应用编程接口聚合器(OpenRouter)访问,每模型对每病例分入五类之一,重复三次,简单提示和高级提示各产生1380个输出,共2760个。结论是当代LLMs对风湿科转诊紧急程度分类的准确性和可重复性与报道的人类分诊系统相当,尽管本研究未测试人类分诊;高级提示似乎替代较大模型的推理能力,提示足够性能可能不需最昂贵模型;自动化该行政任务技术上可行,并识别出值得前瞻性评估的候选模型。
主要关键技术方法可概括为:在单中心澳大利亚学术医疗网络专科风湿科诊所,使用一名认证风湿病学家构建的20个转诊情景,覆盖Emergency(1天内)、Hyper-Urgent(7天内)、Urgent(1个月内)、Semi-Urgent(3个月内)和Routine(12个月内)五类。四名风湿病学家独立、盲法分诊形成共识金标准,并量化评分者间信度(inter-rater reliability)。23种当代LLMs通过OpenRouter访问,每模型每病例在简单提示和高级提示下各重复三次;高级提示提供明确澳大利亚分诊期望、思维链(chain-of-thought)推理指导、关注生物性疾病、忽略疼痛严重程度和心理社会影响,并给出各类别范例。平台记录类别、自由文本理由、延迟、令牌数和服服务成本(serving cost,USD)。评分将三次尝试合并为重复运行置信概况(confidence profile),包括高置信正确、较低置信正确、过度分诊(over-triage)、分诊不足和未分类或错误;模型按总正确等排序。统计使用Spearman rho、bootstrap置信区间、Levene检验、Bartlett检验、Fleiss kappa和线性加权Cohen kappa。
研究结果如下。概述(Overview):每种提示条件下1380个模型-病例-尝试均返回分诊类别。性能差异大,两提示条件性能水平及与成本关系明显不同。四名风湿病学家一致性中等(Fleiss kappa 0.596)。精确成对一致性68.3%,接受相差一个相邻类别时98.3%;四者完全相同类别50%,90%病例相差一个相邻类别。20例中9例至少一名风湿病学家提名两个相邻类别,因此参考标准自身有不确定性。简单提示下模型能力跨度大(Model capability spanned a wide range under the simple prompt):LLMs分为明显性能层级。较大和较新模型正确比例最高,且较多正确答三次一致;较小和较旧模型总正确少、一致比例小、误分类多。最强与最弱差距大。较大模型准确性更高(Spearman rho=0.42;95% CI 0.01–0.72;P=.047)。高级提示拉平面板性能(Advanced prompting levelled performance across the panel):模型间准确性方差从0.014降至0.003,降低5.3倍(Levene P=.01;Bartlett P<.001)。较小和较旧模型改善并接近领先模型;最强模型仍强但优势被抵消。模型大小与准确性正相关消失(Spearman rho=-0.05;P=.83)。简单提示下准确性与成本相关(Accuracy was associated with cost under the simple prompt):每模型准确性与服务成本正相关(Spearman rho=0.42;95% CI 0.02–0.71;P=.047)。更贵模型倾向更高准确性;最小提示下成本部分代理准确性。高级提示下准确性与成本关联消失(The accuracy-cost association disappeared under advanced prompting):高级提示下无系统准确性优势(Spearman rho=0.11;95% CI -0.35–0.53;P=.60)。高级提示提高弱模型并切断成本与准确性联系。错误分布于过度分诊与分诊不足之间(Errors were distributed between over- and under-triage):两种条件下残余误分类不限于安全方向。错误包括过度分诊和分诊不足;分诊不足使患者暴露于潜在有害延迟,即使高性能模型和高级提示下仍存在,是最安全相关特征,直接影响部署系统要求。
讨论部分总结:主要发现四点:当代LLMs在专科分诊上不可互换;高级提示有拉平效应,提高较弱、较小、较旧模型,性能差距压缩5.3倍;准确性与服务成本关系仅在简单提示下存在;领先模型多数病例匹配共识,许多重复运行一致,处于或高于人类转诊分诊报道范围。解释是,最小指令下模型需自行提供临床推理和隐式分诊政策,较大较新较贵模型潜在能力更多;提示提供缺失政策和推理支架,替代较小模型缺乏能力,使成本不再预测准确性。与既往工作一致,提示设计可如模型选择般重要;结构化提示使模型更符合专家心脏病学Heart Team,任务定制少样本提示提高复杂临床任务表现。本研究贡献是在异常广泛当代LLM面板和单一专科任务上显示高级提示减少模型间差异并消除准确性-成本梯度,对服务采购有直接意义。风湿科分诊是患者视角不可见工作,消耗资深时间,不产生诊断治疗结局,却必须准确;它高容量、规则支配、重复、非治疗性,适合首先自动化。障碍不是合意性而是安全证据。最强模型多数病例同意四风湿病学家共识且重复采样可重复,处于或高于人类转诊分诊报道带;人类分诊常修改等级、显著少数紧急患者初始分诊不足、独立医生约三分之一病例不一致且培训益处小。模型可重采样、审计、不疲劳、不受影响临床判断的认知偏差,但也有编码偏差风险,需审计。第二发现改变经济学:明确基于示例的提示使较小较便宜模型有竞争力,可负担可扩展助手不再需要最贵前沿模型,可返回资深临床医生时间到直接患者护理。注意事项:参考标准是人类判断植根一个服务规范,“人类水平”指与专家一致而非证明优越;专家仅一半病例完全一致,部分模型性能下降反映病例模糊;与人类分诊比较依赖外部基准非同期对照;残余分诊不足即使最佳条件仍存在,部署应偏向过度分诊、对最紧急类别强制临床审查并持续审计分诊不足率。局限包括20个构建转诊、单中心、一例改变准确性5%点、相关性探索性、参考标准嵌入本地规范、模型版本价格单一时间点、成本为服务价格非卫生经济学评价、训练数据污染不能完全排除、无同期头对头人类臂。未来方向包括更大连续真实去标识转诊前瞻性评估、跨服务外部验证、系统优化高级提示、刻画分诊不足风险与人工监督流程、评估节省医生时间和等待时间影响,以及常设平台基准能力。
结论翻译:在23种当代LLMs中,风湿科转诊紧急分诊的准确性强烈依赖模型能力和提示设计。在简单提示下,较大和较昂贵模型表现最好,准确性追踪成本。高级提示显著改善较小和较旧模型性能,使模型间方差降低5.3倍并消除准确性-成本关系,表明高级提示可部分替代较大模型固有推理优势。对照已发表基准,领先模型表现处于人类转诊分诊报道范围内,而人类转诊分诊本身不完美且仅中等可重复,其与专家小组的一致性接近风湿病学家之间的一致性水平。分诊是消耗风湿病学家时间而不推进患者护理的实质行政负担。这些数据表明,以适度成本将其自动化至约人类标准在技术上可能可行,但这是构建病例上的基准研究:在临床使用前,需要在连续真实转诊上进行前瞻性评估,并定义治理和人工监督分诊不足。