
-
生物通官微
陪你抓住生命科技
跳动的脉搏
大型语言模型检测科学手稿内部不一致性的表现评估:四种模型在眼科文献中的比较研究
《Eye》:Large language models as internal consistency checkers for ophthalmic manuscripts
【字体: 大 中 小 】 时间:2026年10月10日 来源:Eye 4.4
编辑推荐:
大型语言模型(LLMs)越来越多地被用于科学写作,而其应用于编辑评估和同行评审的潜力也引起了日益增长的关注 [1,2,3]。然而,它们在识别科学手稿内部不一致性方面的能力仍缺乏充分的刻画。我们评估了四种当代LLM作为自
大型语言模型(LLMs)越来越多地被用于科学写作,而其应用于编辑评估和同行评审的潜力也引起了日益增长的关注 [1,2,3]。然而,它们在识别科学手稿内部不一致性方面的能力仍缺乏充分的刻画。我们评估了四种当代LLM作为自动一致性检查器的表现,使用了已发表的眼科文献。
从影响因子>3.0的眼科期刊中随机选取的40篇文章中,有30篇在不改变手稿的情况下被人为植入了预设的不一致性。这些包括:百分比/计数(n=10)、样本量/亚组分组(n=10)以及统计报告不一致(n=10)。另有10篇手稿保持未修改状态。Claude Sonnet 5 High Effort、GPT-5.6 High Effort、GPT-5.5 Instant和Gemini 3.1 Pro独立使用相同的提示词对每一篇文章进行了评审。对于植入的错误,我们记录了检测情况、精确定位、正确解释以及替换值。所有由LLM标记的额外错误均经人工裁定为真实或虚假错误。使用Cochran's Q检验评估各模型间植入错误检测的差异,随后采用Holm校正的多重比较两两McNemar检验。
在对120次被操纵手稿的评估中,共检测到98个植入错误(81.7%)。GPT-5.6的敏感性最高(29/30,96.7%),其次是Claude Sonnet 5(27/30,90.0%),然后是Gemini 3.1 Pro(23/30,76.7%),GPT-5.5最低(19/30,63.3%;Cochran Q=16.86,p<0.001)(表1)。经Holm校正后,GPT-5.6和Claude Sonnet 5均优于GPT-5.5(p分别为0.012和0.039)。样本量/亚组分组不一致的检测率最高(36/40,90.0%),其次是百分比/计数(33/40,82.5%)和统计报告不一致(29/40,72.5%)。一旦检测到,全部98个植入错误均被正确定位,且97/98(99.0%)被正确解释和修正。完整的端到端表现(检测、定位、解释和修正)在97/120次评估中实现(80.8%)。
LLM还识别出了大量真实存在的预先存在的不一致性。在全部40篇手稿中,355个额外错误标记中有337个(94.9%)被验证为真实错误,在合并跨模型对同一不一致性的重复检测后,代表158个独特的预先存在的不一致性:GPT-5.6为134/139(96.4%),Claude Sonnet 5为89/92(96.7%),GPT-5.5为44/46(95.7%),Gemini为70/78(89.7%)(表2)。在被操纵的手稿中,237个额外标记中有222个(93.7%)为真实错误。在10篇未修改的手稿中,118个标记中有115个(97.5%)代表真实的不一致性,仅有3个虚假标记(2.5%)。GPT-5.6识别出的额外真实不一致性多于Claude Sonnet 5(134 vs. 89;Holm校正后P<0.001),最常见的类型是四舍五入差异(99/134,73.9%)。
各模型之间的表现差异主要体现在错误发现而非错误解释上。一旦识别出不一致性,定位和修正几乎普遍准确。然而,一些植入错误被遗漏,尽管同一手稿中的其他真实不一致性已被模型识别出来,这表明系统性检测失败仍然是当前LLM的主要局限。