《Heliyon》:The performance of different large language models in the national prosthodontic resident examination in 2023 and 2024
编辑推荐:
目的:比较ChatGPT-3.5、ChatGPT-4、Bing和Gemini在2023年和2024年全国修复牙科住院医师考试(National Prosthodontic Resident Examinations, NPREs)中的准确性和重测一致性。材料与
目的:比较ChatGPT-3.5、ChatGPT-4、Bing和Gemini在2023年和2024年全国修复牙科住院医师考试(National Prosthodontic Resident Examinations, NPREs)中的准确性和重测一致性。材料与方法:四种大型语言模型(large language models, LLMs)在T0以及2周后(T1)回答相同的300道多项选择题(每年150道)。根据官方答案进行评分。使用McNemar检验评估T0–T1变化,使用Cohen's κ量化重测一致性。在每个时间点使用Cochran's Q检验和Bonferroni校正的成对McNemar检验比较LLMs。使用二元logistic广义估计方程(generalized estimating equations, GEE)评估主题层级效应,并按问题聚类。结果:2023年,LLM表现在T0(Q=6.94,P=0.074)或T1(Q=6.67,P=0.083)无差异;ChatGPT-4具有最高的描述性汇总准确率(70.7%)。2024年,T0(Q=22.97,P<0.001)和T1(Q=9.68,P=0.022)差异显著。在T0,ChatGPT-4(Padj=0.002)、Bing(Padj=0.029)和Gemini(Padj<0.001)优于ChatGPT-3.5;在T1,调整后无成对比较保持显著。ChatGPT-4在2024年从64.0%下降至51.3%(McNemar P=0.002)。层级效应在2023年不显著(P=0.064),但在2024年显著(P=0.035);Tier 3优于Tier 1(OR=2.05,95% CI 1.17–3.61;Padj=0.038)。结论:LLM准确性和一致性因年份和测量时间而异,主题层级差异仅在2024年得到支持。LLMs在牙科教育中应作为补充工具谨慎使用。
论文解读:不同大型语言模型在2023与2024年NPRE中的表现
研究背景:人工智能(AI)在医疗保健中的作用随大型语言模型(large language models, LLMs)出现而凸显。代表性模型包括ChatGPT、Google Gemini和Bing。ChatGPT基于GPT-3.5和GPT-4,采用transformer架构和来自人类反馈的强化学习;Gemini于2023年3月推出;Bing由Microsoft开发。LLMs具有广泛知识库和生成类人回答能力,可作为医学教育补充资源,但存在伦理、透明性、偏倚、剽窃和内容准确性担忧。医学教育已有相关研究,但牙科教育尤其是修复牙科(prosthodontics)中应用仍欠探索。既往研究多评估ChatGPT在牙科教育局限或特定专科能力,如牙髓病、牙周病和INBDE。每年美国修复牙科医师学会(American College of Prosthodontists, ACP)全国修复牙科住院医师考试(National Prosthodontic Resident Examination, NPRE)由修复牙科项目主任和ACP Fellows提交题目组成,用于住院医师与同行比较知识,并作为牙科认证委员会(Commission on Dental Accreditation, CODA)指南结果评估之一。NPRE与美国修复牙科委员会(American Board of Prosthodontics, ABP)Section A书面考试相似,题目按CODA标准分布并分为Tier 1(Major)、Tier 2(Minor)、Tier 3(Minor “Other”)。目前缺乏LLM在修复牙科NPRE表现研究。因此研究人员评估ChatGPT-3.5、ChatGPT-4、Bing和Gemini回答2023和2024 NPRE题目的有效性和可靠性。零假设为四个LLMs在单时间点和一段时间内表现无差异。研究目的:分析三个主题层级中正确和错误回答主题分布和比例;通过NPRE正确回答比例评估每个LLM在修复牙科表现;比较两个时间点性能以评估可靠性。研究人员得出结论:LLM准确性和重测一致性因考试年份和测量时间而异,主题层级差异仅2024年支持;LLM应谨慎作为牙科教育补充工具。该研究意义在于首次评估四种LLM在NPRE的表现,提示AI在修复牙科教育中的潜力和局限,强调需验证LLM生成信息,不可替代专业判断或正式培训。
主要关键技术方法(不超过250字):数据集为ACP管理的2023和2024 NPRE,共300道多项选择题,每年150道,样本来源为ACP NPRE;不涉及人类参与者,无需机构审查委员会(Institutional Review Board, IRB)批准。评估四个LLMs:ChatGPT-3.5、ChatGPT-4、Bing Copilot和Google Gemini。创建新账号,使用标准化零样本提示(zero-shot prompting),API采样温度设为0.0,网页查询使用隔离新会话。T
0在2024年7月,2周后T
1重复,使用相同题干、选项、提示和账号配置。根据官方答案评分,正确匹配计为正确,否则错误,不设部分给分。统计使用McNemar检验、Cohen's κ、观察一致率、Cochran's Q检验、Bonferroni校正McNemar检验和二元logistic广义估计方程(generalized estimating equations, GEE,按问题聚类),SPSS v27,Python 3.13.5验证。
研究结果:
2023与2024年NPRE的主题分布:2023年,种植修复和可摘局部义齿最常见(n=15,10%),其次为全口义齿(n=14,9.3%)、牙科材料(n=10,6.7%)和伤口愈合(n=10,6.7%)。2024年,牙科材料最常见(n=17,11.3%),其次为固定修复(n=16,10.7%)、种植修复(n=14,9.3%)和种植手术(n=14,9.3%)。
题目在主题层级中的分布:2023年多数题目为Tier 1(n=92,61.3%),其次为Tier 3(n=31,20.7%)和Tier 2(n=27,18.0%)。2024年多数题目为Tier 1(n=85,56.7%),其次为Tier 2(n=38,25.3%)和Tier 3(n=27,18.0%)。
两周间隔内的反应一致性:2023年,无LLM在T
0与T
1间出现显著变化(所有P≥0.286)。配对准确率差异(T
1?T
0)为ChatGPT-3.5 ?1.3个百分点,ChatGPT-4 ?4.0,Bing ?0.7,Gemini +3.3。观察一致率为78.7%至85.3%,κ值为0.518至0.647。ChatGPT-4观察一致率最高(85.3%,95% CI 79.7–91.0%;κ=0.647,95% CI 0.513–0.781;McNemar χ
2=1.14,P=0.286)。2024年,ChatGPT-4从T
0的64.0%降至T
1的51.3%,配对准确率差异为?12.7个百分点(95% CI ?20.1至?5.2;McNemar χ
2=9.26,P=0.002)。ChatGPT-3.5从44.7%升至52.7%,但不显著(+8.0个百分点,95% CI ?0.4至16.4;P=0.090);Bing(+2.0个百分点,P=0.755)和Gemini(?4.0个百分点,P=0.327)无显著变化。
2024年考试:在该年度,T
0时LLM间总体差异显著(Cochran's Q=22.97,df=3,P<0.001)。ChatGPT-3.5准确率为44.7%,ChatGPT-4为64.0%,Bing为60.0%,Gemini为66.7%。Bonferroni校正后,ChatGPT-4(P
adj=0.002)、Bing(P
adj=0.029)和Gemini(P
adj<0.001)均优于ChatGPT-3.5;其余成对比较不显著。T
1时总体差异亦显著(Cochran's Q=9.68,df=3,P=0.022),但Bonferroni校正后无成对比较保持显著。
LLM间差异:2023年,T
0(Cochran's Q=6.94,df=3,P=0.074)和T
1(Cochran's Q=6.67,df=3,P=0.083)均无显著差异。描述性汇总准确率最高为ChatGPT-4(70.7%,212/300),其次为Gemini(69.0%,207/300)、Bing(62.3%,187/300)和ChatGPT-3.5(61.3%,184/300)。2023年住院医师基准为64.0%。2024年描述性汇总准确率最高为Gemini(64.7%,194/300),其次为Bing(61.0%,183/300)、ChatGPT-4(57.7%,173/300)和ChatGPT-3.5(48.7%,146/300)。2024年住院医师平均为61.0%。
按考试年份评估主题层级准确性:2023年,描述性准确率为Tier 1 61.1%(450/736)、Tier 2 72.2%(156/216)、Tier 3 74.2%(184/248);GEE显示总体层级效应不显著(Wald χ
2(2)=5.51,P=0.064)。2024年,描述性准确率为Tier 1 53.1%(361/680)、Tier 2 60.5%(184/304)、Tier 3 69.9%(151/216);总体层级效应显著(Wald χ
2(2)=6.70,P=0.035)。Bonferroni校正后,Tier 3较Tier 1有更高正确应答几率(OR=2.05,95% CI 1.17–3.61;P
adj=0.038);Tier 2与Tier 1(OR=1.39,P
adj=0.594)、Tier 3与Tier 2(OR=1.48,P
adj=0.721)无显著差异。
每个主题层级内模型表现:在Tier 1中,描述性准确率为Gemini 63.3%(224/354)、ChatGPT-4 61.9%(219/354)、Bing 56.5%(200/354)、ChatGPT-3.5 47.5%(168/354);总体LLM效应显著(Wald χ
2(3)=26.09,P<0.001)。Bonferroni校正后,ChatGPT-4(OR=1.80,95% CI 1.36–2.39;P
adj<0.001)和Gemini(OR=1.92,95% CI 1.43–2.58;P
adj<0.001)较ChatGPT-3.5有更高正确应答几率;Bing与ChatGPT-3.5无显著差异(OR=1.44,95% CI 1.07–1.94;P
adj=0.096),ChatGPT-4、Bing、Gemini间无显著差异。Tier 2中,描述性准确率为60.0%至69.2%,总体LLM效应不显著(Wald χ
2(3)=2.61,P=0.456)。Tier 3中,描述性准确率为67.2%至75.9%,总体LLM效应不显著(Wald χ
2(3)=3.81,P=0.283)。
讨论总结:这是首个评估四种LLM在NPRE中表现的研究。零假设仅部分被拒绝。2023年总体模型差异不显著,ChatGPT-4描述性汇总准确率最高;2024年T
0差异显著,ChatGPT-4、Bing和Gemini优于ChatGPT-3.5,但T
1无成对比较显著。描述性汇总值不能作为推断依据,也不应认为Gemini一致优于ChatGPT-4。模型差异可能反映模型架构、训练数据和平台更新。新模型不必然优于旧模型;例如2023年Tier 2和Tier 3中ChatGPT-3.5在T
0的描述性准确率高于ChatGPT-4,2024年T
1总准确率也略高。GEE分析显示显著总体LLM效应仅出现在Tier 1,ChatGPT-4和Gemini优于ChatGPT-3.5。Tier 1描述性准确率最低,Tier 3最高,但2023年总体层级效应不显著,2024年仅Tier 3优于Tier 1。与住院医师分数比较为描述性,不证明LLM优于住院医师。重测一致性方面,2023年各模型无显著变化,2024年ChatGPT-4显著下降。观察一致率虽较高,但未进行可靠性系数推断比较。LLM可用于信息检索和知识复习,但可能产生不准确或虚构信息(hallucination),需核实。限制包括数据集不公开且仅ACP成员可用、仅多选题、仅两个时间点、部分平台技术细节未保留、通用性有限,以及跨年LLM与住院医师比较未设计评估考试难度变化。未来研究应扩展专科和题型,并使用更先进LLM。
研究结论翻译:LLM准确性和重测一致性因考试年份和测量时间而异,主题层级差异仅在2024年得到支持。ChatGPT-4在2023年具有最高汇总描述性准确率,而Gemini在2024年最高。描述性准确率随主题层级增加,但总体层级效应仅在2024年显著,Tier 3较Tier 1有更高正确应答几率(Bonferroni调整后)。在牙科教育中使用这些工具时应验证LLM生成信息,LLM应视为补充资源而非专业判断或正式培训的替代。