多发性硬化患者运动相关问题的生成式人工智能回答评估:质量、准确性与可读性——ChatGPT-5.4 Thinking与Google Gemini 3 Flash的比较
《Multiple Sclerosis and Related Disorders》:Generative AI responses to exercise-related questions asked by patients with multiple sclerosis: An evaluation of quality, accuracy, and readability
编辑推荐:
目的:本研究旨在比较ChatGPT-5.4 Thinking与Google Gemini 3 Flash针对多发性硬化(multiple sclerosis, MS)患者关于运动的常见问题所生成回答的质量、准确性、可靠性和可读性。方法:共评估75个问题。专家物
目的:本研究旨在比较ChatGPT-5.4 Thinking与Google Gemini 3 Flash针对多发性硬化(multiple sclerosis, MS)患者关于运动的常见问题所生成回答的质量、准确性、可靠性和可读性。方法:共评估75个问题。专家物理治疗师采用全球质量评分(Global Quality Score, GQS)、改良DISCERN(Modified DISCERN, mDISCERN)、Likert准确性量表和Flesch阅读易读性(Flesch Reading Ease, FRE)对回答进行分析。结果:ChatGPT的回答中61.3%被归类为高质量,而Gemini的这一比例为24%(p < 0.001)。ChatGPT生成的回答在总体准确性和mDISCERN评分上显著高于Gemini(p < 0.001)。分类分析显示,ChatGPT生成的回答在运动计划、安全与风险管理以及参与和自我管理领域获得了更高的准确性。此外,在运动计划和安全性类别中,ChatGPT生成的回答的mDISCERN评分显著更高。两种模型在总体FRE评分方面未观察到显著差异(p > 0.05)。ChatGPT和Gemini的平均FRE评分分别为41.70和38.21,两种模型的回答均被归类为“困难”可读性水平。结论:在本研究范围内,ChatGPT生成的回答在质量、准确性和可靠性方面均优于Gemini。然而,两种工具的可读性指标不佳可能限制患者的可及性。基于人工智能的聊天机器人在加强MS人群的患者教育方面可能具有前景,但在临床决策过程中不能替代专业医疗人员。
论文解读:生成式人工智能对多发性硬化患者运动相关问题的回答评估
多发性硬化(multiple sclerosis, MS)是一种慢性炎症性、神经退行性疾病,常导致平衡障碍、步行困难、无力、痉挛、疲劳、抑郁等多种身体和认知症状,严重影响患者的社会参与和生活质量。运动已被证实是MS管理中的关键非药物干预手段,可改善症状、延缓疾病进程。随着人工智能(artificial intelligence, AI)技术在医疗领域的迅速渗透,以大型语言模型(large language model, LLM)为基础的聊天机器人(如ChatGPT和Google Gemini)正被患者广泛用于获取健康信息。此类工具能够即时响应、使用日常语言解释并提供全天候服务,因而受到患者青睐。然而,AI生成内容存在数据准确性、安全性、可靠性以及医学信息易读性等方面的隐患。目前,针对MS患者运动相关问题的AI回答质量、准确性和可读性尚缺乏系统评估。为此,研究人员设计本研究,旨在比较ChatGPT-5.4 Thinking与Google Gemini 3 Flash对MS患者运动常见问题所生成回答的质量、准确性、可靠性和可读性,并提出假设:两种工具的回答在上述维度存在显著差异。
研究人员于2026年3月20日至25日构建了包含171个条目的初始问题库,其来源包括临床管理指南、临床实践中记录的患者常规问题、通过提示词“top 20 most frequently asked questions by patients about Multiple Sclerosis and exercise”从ChatGPT和Gemini获取的问题,以及Google搜索“multiple sclerosis and exercise”时“People also ask”部分的前20个问题。随后由四位专攻神经康复的物理治疗师进行筛选,剔除82个重复问题和34个与运动无直接关联的问题,最终保留75个临床适用且主题相关的问题,并分为四类:症状管理(C1,13题)、运动计划(C2,31题)、安全与风险管理(C3,21题)以及参与和自我管理(C4,10题)。每个问题分别向两个AI模型各提交一次,共获得150个回答。两位具有神经康复专长的物理治疗师依据预定标准独立评分,并由第三位物理治疗师在意见分歧时做出最终裁决。评估工具包括全球质量评分(Global Quality Score, GQS)、改良DISCERN(Modified DISCERN, mDISCERN)、Likert准确性量表和Flesch阅读易读性(Flesch Reading Ease, FRE)。统计分析采用卡方检验、Mann-Whitney U检验、t检验、Cohen's kappa系数和组内相关系数(intraclass correlation coefficient, ICC)。
研究结果显示,在总体质量方面,ChatGPT生成的回答中61.3%被GQS评为高质量,29.3%为中等质量,9.3%为低质量;而Gemini仅有24%为高质量,52%为中等质量,24%为低质量。卡方检验表明两种工具的信息质量等级分布差异具有统计学意义(p < 0.001)。评分者间信度方面,GQS分类的Cohen's kappa系数在ChatGPT为0.567(中等一致),Gemini为0.742(高度一致)。在准确性与可靠性方面,ChatGPT的总体准确性评分和mDISCERN评分均显著高于Gemini(p < 0.001)。分类分析显示,ChatGPT在运动计划(C2)、安全与风险管理(C3)以及参与和自我管理(C4)类别的准确性评分显著更高(p < 0.001、p < 0.001、p = 0.018);在C2和C3类别的mDISCERN评分也显著更高(p < 0.001、p = 0.003)。而在症状管理(C1)类别中,两种模型的准确性和mDISCERN评分无显著差异(p > 0.05)。在可读性方面,两种模型总体FRE评分无显著差异(p > 0.05),ChatGPT平均得分为41.70,Gemini为38.21,均落入“困难”阅读水平区间,对应美国13至16年级的阅读需求。仅在C2类别上,ChatGPT的FRE评分显著高于Gemini(p = 0.032)。评分者间信度分析显示,Gemini总体mDISCERN和准确性评分的ICC分别为0.439和0.650(差至中等一致),ChatGPT分别为0.318和0.894(差至良好一致)。ChatGPT在C1、C2和C4类别上的准确性评分表现出极好的一致性(ICC > 0.80)。
在讨论部分,研究人员指出,尽管ChatGPT在多项指标上表现优于Gemini,但ChatGPT的mDISCERN评分评分者间一致性较低,因此高分不应被单独解读为ChatGPT在临床上更可靠。准确性与可靠性是不同维度,准确的信息并不必然意味着高质量或可靠。运动处方在MS中是一个复杂过程,需要根据疾病特征、功能状态和个体需求进行定制,这可能解释了两种工具在运动计划类别中的最大差异。此外,AI回答的可读性普遍偏低,远高于患者教育材料建议的6年级阅读水平,这对健康素养较低的患者构成严重障碍。研究人员认为,AI工具可以作为患者教育和一般信息的辅助资源,但不能替代专业医疗人员的个体化评估和临床判断。
研究结论翻译如下:尽管ChatGPT-5.4 Thinking和Google Gemini 3 Flash生成的回答表现出较高的准确性,但不应被视为等同于物理治疗师提供的个体化临床评估和咨询。ChatGPT在部分质量和准确性指标上得分显著高于Gemini;然而,这些差异的临床相关性尚不确定,研究结果不应被解释为一种模型在临床上优于另一种模型的证据。本研究中评估的回答是针对患者导向问题生成的,因此主要反映了这些模型提供一般运动和康复相关信息的能力。此类回答无法替代临床实践中所需的个体化评估,包括运动功能、疲劳、痉挛、平衡、合并症和心理社会因素。因此,基于大语言模型的工具可能作为MS患者一般信息和患者教育的补充来源,但不应替代个体化的专业评估或临床判断。未来的前瞻性研究需要确定患者如何理解和使用大语言模型生成的信息,以及回答质量和准确性的差异是否会对患者知识、决策、运动行为或健康相关结果产生有意义的影响。