
-
生物通官微
陪你抓住生命科技
跳动的脉搏
大语言模型在口腔修复治疗计划生成中的比较研究:通义千问、Claude与Mistral的多维度质量评估
《BMC Medical Education》:Comparative evaluation of three large language models for fixed prosthodontic treatment planning: a standardized scenario-based study
【字体: 大 中 小 】 时间:2026年10月10日 来源:BMC Medical Education 4.2
编辑推荐:
摘要背景大语言模型(LLMs)越来越多地被探索用于口腔医学的临床和教育应用。然而,在标准化条件下,这些模型生成全面固定修复治疗计划的能力尚未得到充分的比较。本研究旨在比较由通义千问 3.7 Plus(Qwen)、Claude Sonnet 5(Claude)和 Mistral
大语言模型(LLMs)越来越多地被探索用于口腔医学的临床和教育应用。然而,在标准化条件下,这些模型生成全面固定修复治疗计划的能力尚未得到充分的比较。本研究旨在比较由通义千问 3.7 Plus(Qwen)、Claude Sonnet 5(Claude)和 Mistral Medium 3.5(Mistral)生成的修复治疗计划的质量。
每个大语言模型被提供三十个标准化的修复临床场景,共产生 90 份治疗计划。两名盲法修复科评估者使用涵盖诊断准确性、治疗选择、治疗顺序、完整性、参考文献遵循、患者安全性和整体临床适当性的七个维度、五点 Likert 量表的评分标准独立评估每一份计划。主要分析采用评估者评分的平均值。模型间差异通过 Friedman 检验评估,随后进行 Holm 校正的配对 Wilcoxon 符号秩检验。评估者间一致性通过二次加权 Cohen's κ 和双向混合效应 ICC(单次测量和平均测量)评估。敏感性分析评估了在分别对每位评估者进行分析时,模型排名是否保持一致。
在评估者评分平均值的主要分析中,Qwen 的平均总分最高(33.82 ± 1.74),其次为 Claude(32.52 ± 2.30)和 Mistral(29.68 ± 2.66)(Friedman χ2 (2) = 35.05, p < 0.001; Kendall's W = 0.584)。所有三组两两比较经 Holm 校正后均具有统计学意义。在各单个维度中,Qwen 在完整性和参考文献遵循方面得分最高,而 Claude 在患者安全性方面得分最高。然而,评估者间一致性较差,单次测量 ICC 为 0.378,平均测量 ICC 为 0.549。敏感性分析显示模型排名在评估者之间不一致:评估者 1 将 Claude 略微排在 Qwen 之前,而评估者 2 则将 Qwen 明显排在 Claude 之前。这一差异与评估者 1 评分中明显的天花板效应有关,评估者 1 将最高分赋予了大多数 Qwen 和 Claude 的案例。
Qwen 在主要分析中获得了最高平均分,在完整性和参考文献遵循方面表现尤为突出,而 Claude 在患者安全性方面得分最高。然而,模型排名在评估者之间不一致,且 Mistral 在所有七个维度上的平均分均最低。观察到了天花板效应和有限的评估者间一致性,这些发现不支持任何单一模型的普遍优越性。从口腔教育的角度来看,大语言模型可能作为基于案例的学习和治疗决策批判性评估的辅助工具具有潜力,但本研究未直接评估教育效果。
大语言模型(LLMs)越来越多地被探索用于口腔医学的临床和教育应用。然而,在标准化条件下,这些模型生成全面固定修复治疗计划的能力尚未得到充分的比较。本研究旨在比较由通义千问 3.7 Plus(Qwen)、Claude Sonnet 5(Claude)和 Mistral Medium 3.5(Mistral)生成的修复治疗计划的质量。
每个大语言模型被提供三十个标准化的修复临床场景,共产生 90 份治疗计划。两名盲法修复科评估者使用涵盖诊断准确性、治疗选择、治疗顺序、完整性、参考文献遵循、患者安全性和整体临床适当性的七个维度、五点 Likert 量表的评分标准独立评估每一份计划。主要分析采用评估者评分的平均值。模型间差异通过 Friedman 检验评估,随后进行 Holm 校正的配对 Wilcoxon 符号秩检验。评估者间一致性通过二次加权 Cohen's κ 和双向混合效应 ICC(单次测量和平均测量)评估。敏感性分析评估了在分别对每位评估者进行分析时,模型排名是否保持一致。
在评估者评分平均值的主要分析中,Qwen 的平均总分最高(33.82 ± 1.74),其次为 Claude(32.52 ± 2.30)和 Mistral(29.68 ± 2.66)(Friedman χ2 (2) = 35.05, p < 0.001; Kendall's W = 0.584)。所有三组两两比较经 Holm 校正后均具有统计学意义。在各单个维度中,Qwen 在完整性和参考文献遵循方面得分最高,而 Claude 在患者安全性方面得分最高。然而,评估者间一致性较差,单次测量 ICC 为 0.378,平均测量 ICC 为 0.549。敏感性分析显示模型排名在评估者之间不一致:评估者 1 将 Claude 略微排在 Qwen 之前,而评估者 2 则将 Qwen 明显排在 Claude 之前。这一差异与评估者 1 评分中明显的天花板效应有关,评估者 1 将最高分赋予了大多数 Qwen 和 Claude 的案例。
Qwen 在主要分析中获得了最高平均分,在完整性和参考文献遵循方面表现尤为突出,而 Claude 在患者安全性方面得分最高。然而,模型排名在评估者之间不一致,且 Mistral 在所有七个维度上的平均分均最低。观察到了天花板效应和有限的评估者间一致性,这些发现不支持任何单一模型的普遍优越性。从口腔教育的角度来看,大语言模型可能作为基于案例的学习和治疗决策批判性评估的辅助工具具有潜力,但本研究未直接评估教育效果。