
-
生物通官微
陪你抓住生命科技
跳动的脉搏
大语言模型回答药理学问题的能力评估——ChatGPT-5.5、Gemini 3.1与Claude 4.6的比较研究
《Scientific Reports》:Comparison of the performance of large language models (ChatGPT-5.5, Gemini 3.1, and Claude 4.6) in answering pharmacology questions
【字体: 大 中 小 】 时间:2026年10月09日 来源:Scientific Reports 4.9
编辑推荐:
摘要大语言模型(LLMs)已在医疗保健和医学教育领域引发了根本性变革。本研究旨在评估大语言模型回答药理学问题的能力。本研究于2026年在伊朗开展,采用定量横断面研究设计。研究人员对ChatGPT-5.5、Gemini 3.1和Claude 4.6使用了一份包含50道波斯语多选
大语言模型(LLMs)已在医疗保健和医学教育领域引发了根本性变革。本研究旨在评估大语言模型回答药理学问题的能力。本研究于2026年在伊朗开展,采用定量横断面研究设计。研究人员对ChatGPT-5.5、Gemini 3.1和Claude 4.6使用了一份包含50道波斯语多选题的药理学知识问卷。数据采用混淆矩阵法、Cochran's Q检验、McNemar检验和点二列检验进行分析。ChatGPT-5.5的敏感性为1.00,Gemini 3.1为0.94,Claude 4.6为0.90。三者特异性分别为0.43、0.50和0.35。ChatGPT-5.5和Gemini 3.1的准确率均为0.82,Claude 4.6为0.72。总体而言,所有大语言模型的平均敏感性、特异性和准确率分别为0.95、0.43和0.78。分析进一步显示,ChatGPT-5.5和Gemini 3.1在回答定量问题时表现出现统计学显著下降(φ = ?0.286,p < .05)。大语言模型在药理学教育/知识类场景中具有辅助专业人员的潜力,但前提是需解决伦理问题,同时仍需进一步研究以更好地了解其性能与局限性。