《PLOS One》:Variability among large language models in assessing CONSORT compliance of published randomized clinical trials
编辑推荐:
背景:同行评审过程可能无法充分评估对既定报告指南(如《临床试验报告统一标准》(CONSORT)标准)的依从性。大型语言模型(LLMs)展现出系统化稿件评估的潜力;然而,不同模型在评估已发表临床试验对CONSORT指南依从性方面的一致性程度仍有待探索。
方法:研
背景:同行评审过程可能无法充分评估对既定报告指南(如《临床试验报告统一标准》(CONSORT)标准)的依从性。大型语言模型(LLMs)展现出系统化稿件评估的潜力;然而,不同模型在评估已发表临床试验对CONSORT指南依从性方面的一致性程度仍有待探索。
方法:研究人员通过PubMed检索确定了2015年至2016年间发表于免疫学期刊的20项随机对照试验。三个LLMs(ChatGPT-4o、Gemini 2.5 Flash和Claude Sonnet 4.6)独立评估了37个CONSORT 2010子要点的依从性。主要终点为模型间平均CONSORT依从性评分的差异。次要终点包括模型间一致性和达到90%依从性阈值的论文比例。统计分析采用重复测量方差分析(ANOVA)并进行事后两两比较(α = 0.05)。
结果:平均CONSORT依从率分别为:ChatGPT-4o 80.8%(95% CI 75.8–85.8%)、Gemini 2.5 Flash 64.4%(95% CI 58.0–70.8%)和Claude Sonnet 4.6 54.7%(95% CI 48.0–61.3%)。以90%依从性阈值作为质量基准,ChatGPT-4o识别出25%的论文(5/20)达到该标准,而Gemini 2.5 Flash和Claude Sonnet 4.6均未识别出任何论文(0/20)达到该标准。重复测量ANOVA显示模型间存在显著差异(F(2,38) = 43.01,p < 0.001,偏η2 = 0.694)。所有两两比较均具有统计学显著性(ChatGPT-4o与Gemini 2.5 Flash、ChatGPT-4o与Claude Sonnet 4.6,均p < 0.001;Gemini 2.5 Flash与Claude Sonnet 4.6,p = 0.014)。
结论:LLMs在评估已发表随机试验的CONSORT依从性方面存在显著差异,且呈现一致排序:ChatGPT-4o评分最高,Gemini 2.5 Flash居中,Claude Sonnet 4.6最低。模型间的条目水平一致性仅为中等,没有任何两两加权kappa值达到0.61的实质性一致阈值。这种模型间差异表明,在采用LLM辅助稿件筛选之前,需要制定标准化的评估方案。
论文解读
一、研究背景与研究意义
同行评审作为科学出版的主要质量控制机制,在检测方法学错误和报告缺陷方面存在显著局限。既往研究显示,当研究人员有意在随机对照试验(randomized controlled trial, RCT)手稿中植入九个重大错误时,同行评审专家平均仅能发现约三个错误,近25%的评审者仅识别出一个或更少的错误。随着稿件提交量快速增长,同行评审过程承受的压力不断加大,进一步削弱了评审的严谨性。
《临床试验报告统一标准》(Consolidated Standards of Reporting Trials, CONSORT)为随机对照试验的方法学和结果报告提供了基于证据的最低推荐标准,旨在确保报告的清晰性和透明度。该指南自1996年首次发布,后经2001年、2010年和2025年多次更新。尽管在高影响力医学期刊中获得广泛认可,但依从性仍不理想。对五个顶级期刊463篇摘要的分析发现,总体依从率仅为67%,各期刊依从率介于55%至78%之间。
大型语言模型(large language models, LLMs)日益被应用于学术流程,包括文献综述、稿件准备和系统性错误检测。先进模型如GPT-4能检测约53%的有意植入错误,接近人类同行评审专家的表现。在Nature系列期刊3,096篇稿件的比较研究中,GPT-4与单个人类评审者的重叠率(31%)与人类评审者之间的重叠率(29%)相当。然而,不同LLMs对同一试验按照结构化报告指南(如CONSORT)进行评分的一致性尚未得到探索。如果不同模型对同一稿件产生系统性不同的依从性评分,那么模型的选择将成为影响编辑或筛选决策的隐藏决定因素。本研究正是基于这一空白,比较了三个主流LLM平台对固定20项已发表随机对照试验的CONSORT依从性评分。
二、主要技术方法
本研究采用固定刺激集设计,通过PubMed检索筛选2015至2016年间发表于免疫学期刊的随机对照试验,最终保留20项试验作为共同评估对象。三个LLMs(ChatGPT-4o、Gemini 2.5 Flash和Claude Sonnet 4.6)接收相同的标准化提示词,对每篇论文的37个CONSORT 2010子要点进行独立评分。评分采用三级体系:完全满足(1.0分)、部分满足(0.5分)或不满足(0分)。统计分析采用重复测量方差分析(ANOVA),以α = 0.05为显著性水平,并使用Bonferroni校正进行事后两两比较。模型间一致性通过线性加权Cohen's kappa和双向随机效应组内相关系数(intraclass correlation coefficient, ICC)评估,内部一致性以Cronbach's alpha汇总。统计分析使用IBM SPSS Statistics 31版本完成。
三、研究结果
CONSORT依从性评估
三个LLMs在CONSORT依从性评估中表现出显著差异。平均依从率分别为:ChatGPT-4o 80.8%(95% CI 75.8–85.8%)、Gemini 2.5 Flash 64.4%(95% CI 58.0–70.8%)和Claude Sonnet 4.6 54.7%(95% CI 48.0–61.3%)。
质量阈值分析
以90%依从性阈值作为质量基准,ChatGPT-4o识别出5篇论文(25%)达到该标准,而Gemini 2.5 Flash和Claude Sonnet 4.6均未识别出任何论文(0%)达到该标准。三个模型均显示至少75%的论文未达到90%阈值,表明即使在同行评审的出版物中,模型对CONSORT报告的评分也存在显著差异。
模型间统计比较
Mauchly球形检验确认满足球形假设(W = 0.935,χ2(2) = 1.214,p = 0.545)。重复测量ANOVA显示LLM类型对CONSORT依从性评分存在统计学显著的主效应(F(2,38) = 43.01,p < 0.001,偏η2 = 0.694),效应量较大。Bonferroni校正的事后两两比较显示所有比较均具有统计学显著性:ChatGPT-4o与Gemini 2.5 Flash(平均差16.4分,p < 0.001)、ChatGPT-4o与Claude Sonnet 4.6(平均差26.1分,p < 0.001)以及Gemini 2.5 Flash与Claude Sonnet 4.6(平均差9.7分,p = 0.014)。
模型间一致性
模型间在个体CONSORT子要点上的评分一致性仅为中等。线性加权Cohen's kappa值分别为:Claude Sonnet 4.6与ChatGPT-4o为0.308(95% CI 0.259–0.358)、Claude Sonnet 4.6与Gemini 2.5 Flash为0.489(95% CI 0.438–0.539)、ChatGPT-4o与Gemini 2.5 Flash为0.368(95% CI 0.306–0.429),均p < 0.001。没有任何两两kappa值达到0.61的实质性一致阈值。双向随机效应ICC绝对一致性为0.455(95% CI 0.352–0.542)(单次测量)和0.715(95% CI 0.620–0.780)(三次测量平均值)。Cronbach's alpha为0.752,表明三个模型平均评分具有可接受的内部一致性。
模型间不一致并非均匀分布,而是集中在特定子要点上。最大分歧出现在试验终止或停止原因的报告(条目14b;范围0.70)、盲法下干预相似性描述(条目11b;0.55)、随机化后损失和排除(条目13b;0.53)、辅助分析(条目18;0.50)和普适性(条目21;0.48)。三个模型在科学背景和目标(条目2a和2b;范围0.00)、解释(条目22;0.07)以及主要和次要结局的统计方法(条目12a;0.10)方面几乎完全一致。在高分歧子要点上,ChatGPT-4o分配完全依从的频率显著高于其他两个模型。
四、讨论与结论
讨论部分总结
本研究在同行评审局限性的更广泛背景下展开。既往研究表明同行评审专家仅能检测9个有意植入的重大错误中的3个,25%的评审者仅识别出一个错误,16%未能发现任何错误。LLMs已展现出发现同行评审遗漏错误的能力,如Black Spatula项目发现的溴化二乙醚研究中的十倍剂量计算错误。
本研究设计能够识别模型间差异的幅度,但无法确定其成因。可能的解释包括模型架构和训练数据组成的差异、模型对充分报告标准的阈值判断不同、提示词解释差异以及对齐和指令微调程序的差异。由于缺乏人类金标准评估,无法将差异归因于某一模型更准确。
关于LLM评分与人类专家评估的关系,既往研究显示LLM与人类评估的重叠率(31%)与人类评审者之间的重叠率(29%)相近。然而,另一项对22篇外科期刊稿件的比较研究发现,LLMs推荐拒稿的频率远低于人类评审者(LLM拒稿率0至9.1%,人类评审者拒稿率68.2%)。人类CONSORT评估本身也不完美,训练有素的评审者在判断依赖性条目上仅达到中等一致性(分配隐藏kappa 0.53,偏离方案kappa 0.54),与本研究观察到的模型间模式相同。
本研究存在若干局限性:试验仅来自单一学科(免疫学)和较窄的发表时间窗口;每个模型对每篇文章仅生成一次评估,未捕获模型内运行间变异性;缺乏人类金标准评估;刺激集仅20项试验,样本量较小;LLMs可能在统计内容方面存在局限。未来研究应优先开展人机一致性研究,由训练有素的人类CONSORT评估者和多个LLMs独立评分相同试验,并以人类评估的可重复性作为模型性能的评判标准。同时应致力于开发标准化的LLM评估方案,并将评估扩展到PRISMA和STARD等其他报告指南。
结论翻译
三个LLMs对相同的20项随机对照试验按照相同的37个CONSORT子要点进行评分,产生了显著不同的依从性评分。平均依从性介于54.7%至80.8%之间,呈现一致排序:ChatGPT-4o最高,Gemini 2.5 Flash居中,Claude Sonnet 4.6最低。模型间的条目水平一致性仅为中等,没有任何两两加权kappa值达到0.61的实质性一致阈值。这种程度的模型间差异表明,模型的选择会实质性影响评估结果,在编辑流程中采用LLM辅助依从性筛选之前,需要制定标准化的评估方案并对照人类专家评审进行验证。