《Academic Radiology》:Utility of OpenEvidence and ChatGPT in Selecting Neuroimaging Based on Appropriateness Criteria
编辑推荐:
理由与目标
大型语言模型(LLMs)是具有广泛应用前景的新工具,尤其在临床场景中的影像选择方面。然而,关于在医学特定数据集上训练的LLM与在通用数据集上训练的LLM的准确性相比,相关信息有限。在这项分析中,我们使用美国放射学会(ACR)的适用性标准作为参考标准,评估了LLM C
理由与目标
大型语言模型(LLMs)是具有广泛应用前景的新工具,尤其在临床场景中的影像选择方面。然而,关于在医学特定数据集上训练的LLM与在通用数据集上训练的LLM的准确性相比,相关信息有限。在这项分析中,我们使用美国放射学会(ACR)的适用性标准作为参考标准,评估了LLM ChatGPT-3.5、ChatGPT-5.0和OpenEvidence在神经放射学领域的影像推荐准确性。
材料与方法
我们使用ACR适用性标准中神经学优先临床领域的提示来构建开放式(OE)或选择所有适用选项(SATA)问题。每个问题被提问三次,并根据ACR指南对答案进行评分。比较了每种LLM在OE和SATA上的表现,然后进一步按严重程度进行分析。通过平均每种模型在OE和SATA问题上的表现来计算平均准确率。随后进行了方差分析,以评估模型间的性能差异。
结果
总共评估了11个优先临床领域的78个提示,这些领域包括脑血管疾病、神经性疼痛和脊柱病理。在SATA问题中,OpenEvidence的表现最佳(79.5%),其次是GPT5(71.2%)和GPT3.5(44.4%)。在OE提示中,OpenEvidence的准确率(86.3%)高于GPT3.5(69.2%),但低于GPT5(80.6%)。在模型之间,根据严重程度没有发现差异。
结论
总体而言,OpenEvidence在OE和SATA提示上的表现都优于其他模型。ChatGPT-5在SATA提示上的表现优于ChatGPT-3.5。LLM的表现不受病例严重程度的影响。
引言
大型语言模型(LLMs)是一类不断发展的人工智能系统,在临床医学中具有广泛的应用前景。LLM能够处理和整合复杂的临床信息,生成与上下文相关的响应,模仿人类的推理方式(1)。与ChatGPT-3.5相比,ChatGPT-5.0是在更广泛的训练数据和改进的基础上开发的。虽然两种ChatGPT模型都被视为通用模型,但像OpenEvidence这样的模型更注重临床应用,其输出可能更受现有文献的支持。OpenEvidence使用检索增强生成模型从同行评审的期刊中获取数据,包括《新英格兰医学杂志》、《美国医学会杂志》和《柳叶刀》,这些数据通过EvidenceGrade引擎实时更新(2)。相比之下,像ChatGPT、Gemini和Claude这样的通用LLM则利用公开在线来源的静态预训练知识(3, 4)。
初步研究主要集中在它们的诊断应用、合成临床信息的能力以及考试风格问题的表现上(5, 6, 7)。虽然一些研究表明,当提供结构化病例时,LLM能够模拟临床推理,但它们基于既定指南提供影像推荐的临床整合仍然有限(8, 9)。因此,需要进一步研究以确定它们在指导影像学研究选择方面的潜在作用。
神经病理学为评估LLM在影像学研究选择方面的准确性提供了一个多样化的框架。神经学表现可以有不同的严重程度,从急性中风或颅内出血等紧急情况到慢性复杂疾病(包括脱髓鞘疾病、癫痫发作和神经退行性疾病)(10, 11, 12, 13, 14)。影像在这些疾病的诊断和管理中起着关键作用,最佳成像方式通常取决于细微的临床细节,如患者年龄、症状发作时间和合并症(15, 16)。因此,以往的研究显示,当用神经学病例提示LLM时,其表现不尽如人意(8, 17)。然而,随着包含更广泛数据库的新ChatGPT模型的出现,以及像OpenEvidence这样的医学相关数据库的加入,LLM在神经影像学中的实用性需要进一步研究。
在这项分析中,我们使用美国放射学会(ACR)的适用性标准作为参考标准,评估了LLM ChatGPT-3.5、ChatGPT-5.0和OpenEvidence在神经病学病例提示下的影像推荐准确性(18)。
章节片段
方法与材料
我们进行了一项实验研究,评估了不同LLM工具在影像学方面的表现(图1)。
提示来源于ACR适用性标准中神经学优先临床领域,包括脑血管动脉瘤、脑血管中风、颈椎疼痛、头痛、腰痛、椎体压缩性骨折、脊髓病、颈部穿透伤、脊柱感染和脊柱创伤。临床场景被设计为开放式(OE)或
结果
总体而言,OpenEvidence是准确性最高的工具(图2)。
在OE提示中,OpenEvidence的准确率为86.3%,显著高于GPT3.5的69.2%(p = 0.016)(图2a)。GPT5的准确率为80.6%。OpenEvidence的表现并不优于GPT5(p = 0.614)。此外,GPT5在表现上也不优于GPT3.5(p = 0.157)。在SATA提示中,OpenEvidence的准确率为79.5%,高于GPT5的71.2%(p = 0.013)
讨论
我们的研究首次证明,根据ACR标准,OpenEvidence在神经影像学研究选择方面的准确性显著优于其他LLM。作为放射学工具,OpenEvidence在其放射学考试表现上也得到了研究(19)。此外,Rybczyk等人(20)发现,OpenEvidence在根据ACR标准选择正确研究方面比Google、Claude和OpenAI创建的通用大型语言模型表现更好
结论
在这份报告中,我们发现,针对ACR适用性标准,定制的医学特定LLM OpenEvidence在提供影像学研究建议方面比GPT3.5和GPT5.0更准确。LLM更可能提供一般的影像学研究建议,而不是对特定病例的影像学方式的适当性进行评论。最后,LLM的表现与病例的严重程度无关。总体而言,LLM可能非常
伦理批准
本原始报告遵守《赫尔辛基宣言》进行。项目的数据收集和评估未涉及患者健康信息。
数据声明
作者声明他们完全访问了本研究中的所有数据,并对数据的完整性和数据分析的准确性负全责。
资助
作者没有收到本文研究、作者身份和/或发表的任何财务支持。
CRediT作者贡献声明
Siddhant Kumarapuram:撰写——初稿、形式分析、概念构思。Shirleen Xu:调查、形式分析、数据管理。Jay Kavia:调查、形式分析、数据管理。Ashwin Bhaskar:调查、形式分析、数据管理。Aafreen Azmi:调查、形式分析、数据管理。Alberto F. Goldszal:撰写——审阅与编辑、监督。Andrew Soliman:撰写——审阅与编辑、监督。Srihari Sundararajan:撰写——审阅与编辑
利益冲突声明
作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。