ChatGPT-5.5与Google搜索输出在法洛四联症照护者教育中的比较评估

《Cardiology and Therapy》:A Comparative Evaluation of ChatGPT and Google Search Output for Caregiver Education in Tetralogy of Fallot

【字体: 大 中 小 】 时间:2026年10月09日 来源:Cardiology and Therapy 3.2

编辑推荐:

  摘要 引言 法洛四联症(Tetralogy of Fallot, TOF)患儿的照护者经常上网搜索医疗信息,以更好地了解其子女的诊断、治疗和长期护理。近年来,包括Google AI Overview和ChatGPT在内的生成式人工智能(generative a

  
摘要 引言 法洛四联症(Tetralogy of Fallot, TOF)患儿的照护者经常上网搜索医疗信息,以更好地了解其子女的诊断、治疗和长期护理。近年来,包括Google AI Overview和ChatGPT在内的生成式人工智能(generative artificial intelligence, AI)工具已成为广泛可获取的健康信息来源。然而,这些平台在先天性心脏病照护者教育方面的质量、可读性和准确性仍未得到充分阐明。 方法 研究人员利用Google的“People Also Ask”功能确定了40个关于TOF的照护者常见问题。每个问题均被提交给ChatGPT-5.5,并作为Google搜索查询输入,共生成80条回复。Google搜索输出包括37条AI Overview和3条自然搜索结果摘录。研究人员评估了回复的字数、Flesch阅读易读性(Flesch Reading Ease, FRE)和Flesch–Kincaid年级水平(Flesch–Kincaid grade level, FKGL)。两名独立评审员使用5分Likert量表评估了回复的准确性,一名评审员使用改良版“确保患者信息质量”(Ensuring Quality Information for Patients, EQIP)工具评估了教育质量。 结果 与Google搜索输出(37条AI Overview和3条自然搜索结果摘录)相比,ChatGPT-5.5生成的回复显著更长(327.9 ± 117.0 vs. 192.5 ± 85.9词,p < 0.001),阅读年级水平更高(FKGL:23.7 ± 8.5 vs. 15.4 ± 3.6,p < 0.001),可读性更低(FRE:17.3 ± 14.9 vs. 27.4 ± 11.7,p < 0.001)。ChatGPT-5.5展现出更高的评审员评分准确性(4.95 ± 0.19 vs. 4.40 ± 0.44,p < 0.001)和更高的改良版EQIP评分(86.44% ± 7.01% vs. 59.62% ± 13.99%,p < 0.001)。 结论 在本研究的提示条件下,ChatGPT-5.5回复获得的评审员评分准确性和改良版EQIP评分均高于Google搜索输出,但其回复更长,计算得出的阅读年级水平也更高。这些发现并未证实照护者理解能力的改善,因为该指标未被直接评估。
ChatGPT-5.5与Google搜索输出在法洛四联症照护者教育中的比较评估:一项横断面研究解读
一、研究背景与目的
先天性心脏病(congenital heart disease, CHD)是最常见的主要先天性异常类别,全球每1000例活产中约有9例受累。法洛四联症(tetralogy of Fallot, TOF)是最常见的紫绀型先天性心脏缺陷,以室间隔缺损、主动脉骑跨、右心室流出道梗阻和继发性右心室肥厚为特征。当代外科治疗已将TOF从一种常致死亡的儿童期疾病转变为一种可存活至成年的慢性疾病。然而,修复手术并不能使心血管系统完全恢复正常,患者仍面临肺动脉瓣功能障碍、残余或复发性流出道梗阻、右心室扩张或功能障碍、心律失常以及额外的介入或外科手术风险。TOF管理的复杂性和变异性,使得患者和照护者持续需要清晰可靠的教育。
照护者的理解在儿科CHD中尤为重要,因为父母或监护人往往直接参与治疗决策、药物管理、症状识别、随访规划及儿童期护理协调。然而,既往研究已发现患者知识和计算能力有限、可靠信息缺乏,以及对量身定制、可理解且针对诊断、治疗、预后和日常生活的资源的需求。这表明仅提供信息是不够的,面向患者的资源还必须易于理解、可操作并与家庭的信息需求相匹配。
生成式人工智能(artificial intelligence, AI)和大语言模型(large language models, LLMs)为患者和照护者获取医疗信息提供了新途径。与通常将用户导向单个网页或简短摘录的传统搜索引擎不同,对话式LLM能够以自然语言生成综合的、情境响应的答案。尽管关于AI生成患者教育的文献日益增多,但针对CHD的证据仍然有限。此外,尚不清楚对话式AI是否比现在嵌入常规在线搜索的AI生成信息具有更有意义的教育优势,或者准确性和教育质量的提升是否会被可读性的下降所抵消。因此,研究人员开展本研究,比较ChatGPT-5.5与Google搜索输出(包括AI Overview和自然搜索结果摘录)在回答常见TOF照护者问题方面的表现,评估回复长度、可读性、评审员评定的准确性和教育质量。
二、研究设计与主要技术方法
本研究为横断面比较研究。研究人员通过Google的“People Also Ask”功能确定40个TOF照护者常见问题,分为七个领域:疾病基础知识、诊断、病因与遗传、治疗与手术、肺动脉瓣问题、预后及与TOF共存。每个问题被提交至ChatGPT-5.5(OpenAI)并作为Google搜索查询输入,共生成80条回复,形成40个匹配对。Google搜索使用Chrome无痕模式并退出账户以减少个性化影响;当生成AI Overview时记录完整文本,否则使用第一条非赞助自然搜索结果摘录。ChatGPT回复使用标准化提示词:“请以向TOF患儿家长解释的方式回答以下问题。使用准确、循证、患者友好的语言。不要假设问题之外的额外临床信息。”回复仅收集一次,无后续提示或再生成。
评估方法包括:回复长度以总词数衡量;可读性使用Flesch阅读易读性(FRE)和Flesch–Kincaid年级水平(FKGL)公式,通过自定义Python 3.12脚本计算;准确性由两名独立评审员使用研究者开发的5分Likert量表评估,平台身份对评审员隐藏;教育质量由一名评审员使用改良版确保患者信息质量(EQIP)工具评估,排除了不适用于孤立AI生成或搜索生成文本的出版和版面设计相关条目。统计分析使用配对样本t检验和Wilcoxon符号秩检验,并计算效应量。
三、研究结果
回复长度与可读性
与Google搜索输出相比,ChatGPT生成的回复显著更长(327.88 ± 117.00 vs. 192.47 ± 85.85词,P < 0.001),平均配对差异为135.4词。ChatGPT回复的FKGL显著更高(23.67 ± 8.45 vs. 15.37 ± 3.61,P < 0.001),平均高出8.30个年级水平。相反,ChatGPT回复的FRE显著更低(17.27 ± 14.86 vs. 27.43 ± 11.70,P < 0.001),表明可读性更差。
准确性
ChatGPT回复获得的评审员评定准确性评分显著高于Google搜索输出(中位数[IQR],5.0 [5.0–5.0] vs. 4.5 [4.0–5.0];p < 0.001),平均分为4.95 ± 0.19 vs. 4.40 ± 0.44。ChatGPT的评分变异性也更小。
教育质量
改良版EQIP评分方面,ChatGPT显著高于Google搜索输出(86.44% ± 7.01% vs. 59.62% ± 13.99%,p < 0.001),平均配对差异为26.82个百分点。
仅限AI Overview的敏感性分析
排除三个使用自然搜索结果的问题后,37个匹配对的分析显示结果保持一致:ChatGPT的改良版EQIP评分为86.55% ± 7.09%,Google AI Overview为62.35% ± 10.28%,平均配对差异为24.20个百分点。
评审员间信度
两名评审员对准确性的评分中,二次加权Cohen's κ为0.47,80.0%完全一致,97.5%在1分以内一致。ChatGPT回复的κ为0.48(95.0%完全一致),Google搜索输出为0.21(65.0%完全一致)。
四、讨论与结论
研究发现,ChatGPT回复获得了更高的评审员评定准确性和改良版EQIP评分,但回复更长且阅读年级水平更高。研究人员指出,ChatGPT获得了面向家长的标准化提示词,而Google收到的是逐字问题,回复长度和提示差异可能对教育质量评分差异有所贡献。两个平台产生的回复计算阅读年级水平均较高,ChatGPT平均更高,这强调了将信息质量和可读性分开评估的重要性。与既往研究相比,本研究结果与骨科、耳鼻喉科等领域的类似研究一致,但跨专科比较应谨慎解读。在心血管领域,既往研究显示AI可改善现有患者教育材料的计算可读性,但未必达到推荐阈值。本研究的可读性发现值得特别关注:ChatGPT回复的平均FKGL为23.67,Google为15.37,均远高于患者教育材料通常推荐的六年级水平,但不应将其直接解释为照护者理解能力的度量。
研究局限性包括:回复在单一时间段收集,平台输出可能随时间变化;两个平台接受的输入不同,限制了差异归因于平台本身的程度;主要分析包含37条AI Overview和3条自然搜索结果摘录,属于不同类型的信息来源;EQIP评分由单一评审员完成,缺乏信度估计;回复由预定义评分工具而非照护者评估;评估仅限于英语回复和单一先天性心脏病变,可能限制推广性。
结论:总体而言,在本研究的提示条件下,ChatGPT-5.5回复在常见TOF照护者问题上获得了比Google搜索输出更高的评审员评定准确性和改良版EQIP评分,但回复更长且计算阅读年级水平更高。这些差异在仅限37个AI Overview问题的敏感性分析中持续存在。然而,这些发现并未证明任一平台能改善照护者的理解能力或临床决策。AI生成信息可作为医疗专业人员个体化咨询的补充而非替代。未来需要纳入照护者的研究,以评估AI生成教育信息的理解性、可用性和临床相关性。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号