
-
生物通官微
陪你抓住生命科技
跳动的脉搏
五个大语言模型与感染性疾病医生在临床决策上的一致性:一项多模型比较调查研究
《Infection》:Concordance of five large language models with infectious diseases physicians on clinical decision-making: a multi-model comparative survey study
【字体: 大 中 小 】 时间:2026年10月08日 来源:Infection 3.9
编辑推荐:
摘要目的评估五个大语言模型(LLM)在一组基于病例的传染病(ID)多选题中的准确率,并将其表现与在职传染病医师进行比较。方法对全土耳其的传染病医师及住院医师进行了一项横断面网络比较调查。十个原创病例场景(共30道五选项多选题,按难度分层)由五名专家的德尔菲共识小组(两轮)验证
评估五个大语言模型(LLM)在一组基于病例的传染病(ID)多选题中的准确率,并将其表现与在职传染病医师进行比较。
对全土耳其的传染病医师及住院医师进行了一项横断面网络比较调查。十个原创病例场景(共30道五选项多选题,按难度分层)由五名专家的德尔菲共识小组(两轮)验证,以IDSA指南和EUCAST 2024折点作为参考标准。通过标准化提示词,在同一会话中向五个LLM——Grok、ChatGPT-4o、Gemini 2.5、Claude Sonnet和DeepSeek-V3——提出了相同的问题。主要结局指标为准确率(%)、由观察到的应答边缘计算的Cohen's κ,以及用于比较每个模型得分与医师组观察准确率的精确单侧二项检验,以Cohen's h作为组间比例差异的效应量度量。
129名应答者中纳入了112名,排除了17名自述在病例部分期间使用了AI者(该排除标准得到实证支持:被排除者的得分显著高于被纳入者,68.8% vs. 61.6%,Mann–Whitney p = 0.0015)。医师准确率为61.6%(18.5/30;标准差8.2;相对于20%的随机率,κ = 0.41,仅作描述性解释)。五个LLM中有四个在统计上显著优于医师组:Grok 90.0%(κ = 0.806;Cohen's h = 0.69;二项检验 p < 0.001),ChatGPT-4o 83.3%(κ = 0.682;h = 0.50;p = 0.009),Gemini 2.5 83.3%(κ = 0.700;h = 0.50;p = 0.009),Claude Sonnet 80.0%(κ = 0.646;h = 0.41;p = 0.026);DeepSeek-V3(76.7%;κ = 0.573;h = 0.33)未达到统计学显著性(p = 0.062)。在土耳其特有的地方性病例中,所有模型得分均为100%,而医师得分为73%。两个题目在医师和所有LLM中均与基于指南的参考答案吻合度较低;事后审查表明,其中一个题目(人工瓣膜心内膜炎)反映了一个与时间相关的指南细微差别,原始病例场景未能完全涵盖,而非明确的指南违反。医师对AI的信任评分与临床准确率之间未发现相关性(Spearman ρ = ?0.008;p = 0.937)。
在本次基于病例的多选题评估中,大多数受评测的LLM达到了比医师对照组更高的指南吻合度,尤其在指南标准和区域性地方病场景下表现更为突出。这些发现应被解读为在结构化测试格式中准确性的证据,而非一般临床决策能力的优越性,并且不能确立LLM应在真实临床实践中无监督使用的结论,因为真实临床实践通常涉及协作性、多学科输入,而非单方面决策。
评估五个大语言模型(LLM)在一组基于病例的传染病(ID)多选题中的准确率,并将其表现与在职传染病医师进行比较。
对全土耳其的传染病医师及住院医师进行了一项横断面网络比较调查。十个原创病例场景(共30道五选项多选题,按难度分层)由五名专家的德尔菲共识小组(两轮)验证,以IDSA指南和EUCAST 2024折点作为参考标准。通过标准化提示词,在同一会话中向五个LLM——Grok、ChatGPT-4o、Gemini 2.5、Claude Sonnet和DeepSeek-V3——提出了相同的问题。主要结局指标为准确率(%)、由观察到的应答边缘计算的Cohen's κ,以及用于比较每个模型得分与医师组观察准确率的精确单侧二项检验,以Cohen's h作为组间比例差异的效应量度量。
129名应答者中纳入了112名,排除了17名自述在病例部分期间使用了AI者(该排除标准得到实证支持:被排除者的得分显著高于被纳入者,68.8% vs. 61.6%,Mann–Whitney p = 0.0015)。医师准确率为61.6%(18.5/30;标准差8.2;相对于20%的随机率,κ = 0.41,仅作描述性解释)。五个LLM中有四个在统计上显著优于医师组:Grok 90.0%(κ = 0.806;Cohen's h = 0.69;二项检验 p < 0.001),ChatGPT-4o 83.3%(κ = 0.682;h = 0.50;p = 0.009),Gemini 2.5 83.3%(κ = 0.700;h = 0.50;p = 0.009),Claude Sonnet 80.0%(κ = 0.646;h = 0.41;p = 0.026);DeepSeek-V3(76.7%;κ = 0.573;h = 0.33)未达到统计学显著性(p = 0.062)。在土耳其特有的地方性病例中,所有模型得分均为100%,而医师得分为73%。两个题目在医师和所有LLM中均与基于指南的参考答案吻合度较低;事后审查表明,其中一个题目(人工瓣膜心内膜炎)反映了一个与时间相关的指南细微差别,原始病例场景未能完全涵盖,而非明确的指南违反。医师对AI的信任评分与临床准确率之间未发现相关性(Spearman ρ = ?0.008;p = 0.937)。
在本次基于病例的多选题评估中,大多数受评测的LLM达到了比医师对照组更高的指南吻合度,尤其在指南标准和区域性地方病场景下表现更为突出。这些发现应被解读为在结构化测试格式中准确性的证据,而非一般临床决策能力的优越性,并且不能确立LLM应在真实临床实践中无监督使用的结论,因为真实临床实践通常涉及协作性、多学科输入,而非单方面决策。