GPT-5.1、Gemini Pro 3与Claude Opus 4.5在土耳其医学专科考试医学遗传学问题上的大型推理模型性能基准比较:准确性、响应一致性、处理速度与输出长度评估
《Frontiers in Medicine》:Benchmarking the performance of large language models on medical genetics questions: a comparative evaluation of GPT-5.1, Gemini Pro 3, and Claude Opus 4.5
编辑推荐:
目的:本研究对三种最先进的大型推理模型(large reasoning models)——GPT-5.1、Gemini Pro 3和Claude Opus 4.5——进行基准测试,通过评估其在土耳其医学专科考试(Turkish Medical Specialt
目的:本研究对三种最先进的大型推理模型(large reasoning models)——GPT-5.1、Gemini Pro 3和Claude Opus 4.5——进行基准测试,通过评估其在土耳其医学专科考试(Turkish Medical Specialty Examination, TUS)医学遗传学问题上的准确性、响应一致性、处理速度和输出长度。方法:根据预定义纳入标准,共选择233道医学遗传学问题,涵盖分子机制、遗传模式、遗传性疾病和诊断技术。每道问题均使用标准化提示词独立提交给GPT-5.1、Gemini Pro 3和Claude Opus 4.5。模型准确性采用McNemar检验(McNemar's test)比较。响应一致性采用Cohen's Kappa(Cohen's Kappa)评估。响应时间和词数采用Friedman检验(Friedman test),并以Dunn-Bonferroni事后比较(Dunn-Bonferroni post hoc comparisons)分析。结果:各模型总体准确性未观察到统计学显著差异(p > 0.05)。GPT-5.1准确性最高,为97.9%,其次为Claude Opus 4.5的96.6%和Gemini Pro 3的96.1%。Cohen's Kappa显示Gemini Pro 3与Claude Opus 4.5之间存在中等定性差异,κ = 0.451。响应时间和输出长度存在显著差异(p < 0.001)。结论:尽管所有模型均表现出相似的高准确性,但其操作行为存在差异,提示其内部知识表征和响应策略不同。
研究背景:近年来,大型语言模型(large language models, LLMs)快速演变为大型推理模型(large reasoning models),具备多步规划、自主智能体样行为和多模态信息综合能力。OpenAI的GPT-5.1、Google DeepMind的Gemini Pro 3和Anthropic的Claude Opus 4.5是该类模型代表。医学教育中,土耳其医学专科考试(Turkish Medical Specialty Examination, TUS)是六年制医学学位后国家标准化考试,决定专科培训安置,分临床科学和基础科学,各120道选择题。LLMs在医学文献大数据训练后,已在放射学、解剖学、病理学等回答复杂问题。医学遗传学(medical genetics)涵盖分子机制、遗传模式、细胞遗传学异常、遗传诊断和临床解释。TUS遗传学问题评估分子机制、细胞遗传学疾病、遗传模式、遗传咨询等能力。迄今尚无研究系统评估LLM在TUS来源医学遗传学问题上的表现。因此研究人员旨在用标准化问题集对GPT-5.1、Gemini Pro 3和Claude Opus 4.5的准确性、响应时间和响应长度进行基准比较,以理解LLM在医学遗传学教育和临床支持中的表现。
在方法上,研究人员采用基准研究,样本来源为2011—2025年TUS医学遗传学问题,按预设标准纳入233道,另由医学遗传学专家MB新生成40道非既往TUS来源问题。三种模型经官方网页平台在同一评估期访问,每题在独立新会话提交,使用统一提示词:“You are a medical genetics expert. Select the single best answer and briefly justify your choice.” 无插件或外部工具。主要结局为与官方TUS答案键一致的准确性、数字秒表记录响应时间、含理由总词数。统计采用Cochran's Q检验、McNemar's test、Cohen's Kappa、Friedman test及Dunn-Bonferroni post hoc comparisons。
结果中,模型准确性比较显示:通过233道题,McNemar检验未发现模型间准确性显著差异。GPT-5.1正确228/233,准确率97.9%;Claude Opus 4.5正确225/233,96.6%;Gemini Pro 3正确224/233,96.1%。两两比较p=0.219、p=0.375、p=1.000。模型间一致性与错误模式方面,Cohen's Kappa显示GPT-5.1与Claude-4.5的κ=0.605,GPT-5.1与Gemini-3Pro的κ=0.559,Gemini-3Pro与Claude-4.5的κ=0.451,均p<0.001;模型知识库和错误模式显著分歧,尤其Gemini-3Pro和Claude-4.5倾向在不同类型问题失败。响应时间方面,Gemini-3Pro平均6.69±1.31 s最短,ChatGPT-5.1为8.41±2.72 s,Claude-4.5为16.62±2.71 s最长;所有模型对间p<0.001。输出长度方面,ChatGPT-5.1平均89.35±34.69词最短,Claude-4.5为138.08±27.17词,Gemini-3Pro为244.09±80.54词最长;所有模型对间p<0.001。多模型共识分析显示,2-of-3多数投票准确率98.3%(229/233),略高于最佳单体模型97.9%;全对219例(94.0%),仅Gemini错5例(2.1%),仅Claude错4例(1.7%),仅GPT错1例(0.4%),全错4例(1.7%),提示互补错误模式。错误问题的内容分析显示,至少一个模型答错的14题主题异质,无明确集中于特定遗传学内容领域,涉及嘌呤环结构、胎儿酒精综合征、真性红细胞增多症、错构瘤性息肉病、血小板增多鉴别(JAK2、t(9;22))、Maroteaux–Lamy综合征、46,XY性腺发育不全、唐氏综合征超声、二尖瓣脱垂、乳糜泻诊断、胰腺腺癌基因、46,XY婴儿先天性肾上腺增生、白细胞黏附缺陷I型、核苷酸到蛋白质长度计算。新生成问题分析显示,40道新题中,GPT正确40题(100.0%),Claude 39题(97.5%),Gemini 38题(95.0%);Cochran's Q=3.00,df=2,p=0.223;McNemar检验无显著差异,用于部分评估训练数据污染。
讨论部分认为,医学日益受人工智能影响,LLM是快速演变部分。本研究基准TUS医学遗传学问题,包含知识和病例。全球遗传学专家短缺与罕见遗传病多,早期诊断重要但资源有限时诊断延迟。LLM高准确和快速信息综合有潜力支持遗传诊断并缓解人力短缺。当前LLM在医学遗传学准确率极高且接近(96.1%–97.9%)。2020年代TUS公开统计报告平均正确率基础医学44.11%、临床医学54.81%,但非医学遗传学特异,不能直接比较。无显著差异不表示模型质同;Kappa中等,错误问题不同,知识结构不同。多数投票略提高准确率,但事后分析非直接交叉验证,需前瞻性模型间交叉检查。响应时间和输出长度差异显著,但响应长度依赖提示,响应时间受网络、平台、系统负载影响,临床意义不确定。与其他专科相比,?ugowski et al.用波兰专科证书考试352题评估ChatGPT-3.5和ChatGPT-4,ChatGPT-4英文准确率83.2–89.6%;胎儿生长障碍AI综述涉及母胎特征、生物标志物、Doppler指标和超声,包括深度学习自动胎儿生物测量和图像分析。现有文献未评估GPT-5.1、Claude 4.5和Gemini Pro 3在医学遗传学中的表现;GPT-4从教科书式描述识别遗传病约89%–90%,但从真实个体症状描述降至20%–21%。GeneT过滤罕见病变异将专家手动分析从60 min降至3 min,效率20倍;GP-GPT在基因–表型匹配和基因组关系推断优于GPT-4和标准LLaMA。LLM有潜力革新罕见遗传病诊断、表型提取、变异解读、罕见病管理、遗传咨询支持和基因组数据分析,但可靠性受限;可能幻觉不存在的基因符号或偏向BRCA1、TP53、PTEN等高频引用基因,尚未替代专家级基因组分析工具。局限包括:选择题主要评估识别知识,不捕捉真实临床推理、不确定性和情境决策;无人类对照;解释质量未评估;每题仅一次独立会话,重复查询稳定性未评估;近天花板准确率限制区分;公开TUS题可能存在训练数据污染,新40题仅部分缓解,高表现不应解释为真实临床推理。
结论翻译:本研究显示,GPT-5.1、Gemini Pro 3和Claude Opus 4.5在土耳其医学专科考试医学遗传学问题上达到相似的高准确性。然而,这些模型在响应时间、输出长度和错误模式方面存在显著差异。这些结果表明,LLM评估应超越准确性,纳入操作性和定性指标。虽然这些模型在医学教育中显示出强大潜力,但应被视为支持工具,而非人类临床推理的替代品。