基于CHART框架的五种大语言模型生成脑卒中后并发症患者教育内容的横断面比较评估:安全性、准确性、可靠性、可读性与共情分析

《DIGITAL HEALTH》:Comparative assessment of patient education content generated by five large language models on post-stroke complications: A cross-sectional study of safety, accuracy, reliability, readability, and empathy

【字体: 大 中 小 】 时间:2026年10月10日 来源:DIGITAL HEALTH 3.3

编辑推荐:

  **摘要** **目的**:比较五种大语言模型(large language model,LLM)针对脑卒中后并发症生成患者教育内容的安全性、准确性、可靠性、可读性和共情水平。**方法**:本研究为遵循CHART指南的横断面比较研究,采用40个标准化患者及照

  
**摘要**

**目的**:比较五种大语言模型(large language model,LLM)针对脑卒中后并发症生成患者教育内容的安全性、准确性、可靠性、可读性和共情水平。**方法**:本研究为遵循CHART指南的横断面比较研究,采用40个标准化患者及照护者提示词对ChatGPT、Gemini、DeepSeek、Doubao和Qwen进行评估。每种模型在独立会话中针对每个提示词生成一次响应。三名经过培训的评估人员(一名神经科医生和两名专攻神经与卒中康复护理的护理学研究生研究人员)采用预设标准(包括DISCERN、EQIP、GQS和JAMA)独立评估安全性、准确性、共情和信息质量。可读性采用六种公认指数进行评估。一致性采用Fleiss' kappa和ICC(2,1)评价。模型比较采用Cochran's Q检验(安全性)和Friedman检验联合Kendall's W(非二分类结局),并在适当时进行Benjamini–Hochberg校正的配对分析。**结果**:最终数据集包含2600个指标级观察值。评估者间一致性为可接受至较高水平(Fleiss' kappa = 0.740;ICC = 0.838–0.893)。安全响应率较高(95.0%–97.5%)且差异无统计学意义(Q = 0.750, P = 0.945)。在准确性、共情、DISCERN、EQIP、GQS及所有可读性指数方面,模型间差异具有统计学意义(均P < 0.001),但准确性的整体效应较小(W = 0.230)。JAMA评分普遍偏低且差异无统计学意义(P = 0.888),表明独立聊天机器人响应中的信息透明度有限。没有模型持续达到推荐的六年级阅读水平,或实现平均Flesch阅读易读性评分≥80。**结论**:所评估的LLM生成的大部分英文响应安全且临床相关,但各领域表现不一,且无模型具有持续优势。LLM可能有助于起草患者教育材料,但在面向患者使用前,仍需进行临床审查、证据验证、来源归属和可读性优化。研究结果仅适用于所评估的提示词和单次生成输出。
**论文解读:大语言模型在脑卒中后并发症患者教育中的应用价值与局限——基于CHART框架的五模型横断面比较研究**

**一、研究背景与目的**

脑卒中后并发症是指卒中发生后出现的继发性功能损害或疾病,包括运动功能障碍、认知障碍、情绪障碍、吞咽困难及继发感染等,严重影响患者康复进程与生活质量。流行病学数据显示,2021年全球新发卒中约1190万例,中国年龄标化发病率约为246.8/10万;约70%–80%的卒中幸存者出现不同程度并发症,约35%因并发症导致日常生活活动能力严重受损,给家庭照护和社会医疗系统带来沉重负担。患者健康教育在此背景下具有关键意义,可提高患者对并发症相关症状的认知、促进及时就医和治疗决策。随着医疗数字化进程加速,人工智能辅助的患者沟通与教育模式日益受到关注。ChatGPT、Gemini、DeepSeek、豆包(Doubao)和通义千问(Qwen)等大语言模型凭借其医学知识编码能力和自然语言生成能力,成为患者教育材料的潜在生成工具。然而,已有研究显示这些模型生成的患教内容可能存在事实错误、共情表达机械化、安全性风险缺乏系统审查等问题。本研究基于CHART指南框架,采用横断面比较设计,系统评估五种主流LLM在标准化查询条件下生成脑卒中后并发症患者及照护者教育内容的安全性、准确性、可靠性、可读性与共情水平,为临床监督使用和患教材料的规范化改编提供实证依据。

**二、研究方法概述**

研究者于2026年4月至5月开展研究,报告遵循CHART指南。初始构建103个候选提示词,经两名研究人员独立筛选及共识讨论后保留40个,覆盖吞咽、营养与呼吸并发症,运动、痉挛、疼痛与肢体功能并发症,认知、语言、情绪与心理并发症,泌尿、排便与日常生活能力相关并发症,血栓、癫痫、卒中复发与其他医疗并发症,以及皮肤、跌倒、照护与长期居家管理并发症六大领域。每种模型(ChatGPT、Gemini、DeepSeek、Doubao、Qwen)在独立会话中针对每个提示词各生成一次英文响应,共200条响应。三名评估者(神经科医生和两名神经/卒中康复护理方向护理研究生)采用编码标签盲法独立评分,评估安全性(二分类结局)、准确性(1–5分)、共情(1–5分)、DISCERN、EQIP、GQS和JAMA,可读性采用ARI、CL、FKGL、GFI、SMOG和FRES六种指数算法计算。安全性通过多数规则判定,非二分类指标取三名评估者均值;一致性采用Fleiss' kappa和ICC(2,1)评估;模型比较使用Cochran's Q检验和Friedman检验联合Kendall's W,多重比较采用Benjamini–Hochberg校正。

**三、研究结果**

**(1)分析数据集与评估者一致性**

最终分析数据集包含2600个指标级观察值(40个提示词×5种模型×13个结局指标)。安全性指标的Fleiss' kappa为0.740(95% CI, 0.491–0.907),非二分类主观指标的ICC(2,1)介于0.838(DISCERN)至0.893(EQIP)之间,提示评估者间一致性为可接受至较高水平,支持应用多数规则和均值评分进行后续分析。

**(2)安全性、准确性与共情**

五种模型的安全响应率均较高,介于95.0%至97.5%,Cochran's Q检验显示差异无统计学意义(Q = 0.750, P = 0.945)。200条提示词-模型响应中8条被判定为不安全,描述性临床风险分级显示:1条为轻度风险,4条为中度风险,3条为主要风险,涉及康复建议限定不足、肠内喂养指导不精确、急救升级不充分、药物安全信息错误/遗漏、过度安抚及遗漏危险信号、不安全/过度泛化的自我管理建议以及DVT/PE安全与升级建议不完整等问题。准确性方面,Friedman检验显示总体差异显著(P < 0.001;Kendall's W = 0.230),但效应量较小;ChatGPT、Gemini和DeepSeek的中位数均为4.00,而Doubao和Qwen显示更大的低分散性。经校正后配对比较表明,ChatGPT vs Doubao、ChatGPT vs Qwen、Gemini vs Doubao、Gemini vs Qwen、DeepSeek vs Doubao、DeepSeek vs Qwen均显著,而前三者之间差异不显著。共情方面,模型间差异显著(P < 0.001;Kendall's W = 0.640),DeepSeek中位数最高(4.16),Doubao和Qwen最低(均为2.33),提示共情是区分模型表现最明显的维度。

**(3)可靠性与信息质量**

DISCERN、EQIP和GQS均显示显著模型间差异(均P < 0.001),效应量分别为W = 0.597、W = 0.707和W = 0.422。DeepSeek在DISCERN中位数(62.67)和EQIP中位数(82.50)上最高,Doubao在两项上均最低(48.33和54.16)。JAMA评分普遍偏低(P = 0.888;W = 0.007),五种模型均未充分满足署名、来源归属、披露和时效性等透明度标准。敏感性分析排除格式依赖条目后,EQIP差异仍显著但效应量由W = 0.707降至W = 0.279;JAMA仅保留来源归属时,模型间差异显著(χ2 = 60.899, P < 0.001; W = 0.381),提示格式依赖性标准实质性影响了信息质量评分的模型间差异模式。

**(4)可读性**

六种可读性指数均显示显著模型间差异(均P < 0.001)。FKGL均值范围为8.37 ± 1.64至11.19 ± 2.05,FRES均值范围为27.89 ± 22.61至57.98 ± 6.59。然而,没有任何模型持续达到普遍推荐的六年级阅读水平或平均FRES≥80。这一共同局限提示生成的英文患教材料语言复杂度整体偏高,对脑卒中后伴有失语、认知障碍或健康素养受限的患者群体可能构成理解障碍。

**(5)综合表现总结**

五种LLM的表现呈现共享模式和模型依赖性变化并存的特征:安全响应率一致较高且无显著差异;准确性总体良好但模型间差异效应量有限;共情和多项信息质量指标显示更大异质性;JAMA评分一致偏低;可读性均未达到公共健康信息推荐阈值。研究未发现持续全面占优的单一模型。

**四、讨论与结论**

研究讨论强调,LLM生成的脑卒中后患教内容可作为初步草稿材料而非自主患者指导。安全性方面,尽管二分类安全率模型间无显著差异,但不安全响应在临床严重程度上存在差异,包括中度和主要风险案例,提示仅凭总体安全率可能掩盖潜在危害的临床意义差异。准确性与共情方面,准确性的模型效应量较小,差异应视为相对表现模式而非明确排名;共情差异更为明显,反映模型在传达支持、尊重和情绪回应方面的能力差异。信息质量呈指标依赖性而非统一层级,JAMA评分普遍偏低暴露了来源归属和证据可追溯性的共同缺陷。可读性方面,公式化指数无法反映卒中后失语、认知障碍等特异性理解障碍,结果主要适用于无此类障碍的照护者及其他读者,提醒临床准确或共情的内容若难以理解、记住和执行,实际应用价值仍受限。研究局限性包括:输出结果为特定查询时期和配置(2026年5月1–5日,官方网页接口)下的时间特定发现;每对提示词-模型仅单次生成,未评估重复查询的模型内可重复性;仅针对英文内容;提示词集为标准化假设性患者问题,未经真实患者和照护者参与验证;指南映射强度差异及准确性评分操作化存在一定判断成分;评估者盲法虽在正式评估中采用编码标签,但不能完全排除通过文本特征推测模型身份的可能性;DISCERN、EQIP和JAMA等工具原为传统书面材料设计,部分格式依赖条目可能影响完整工具评分;可读性指数未纳入卒中特异性理解障碍。研究结论指出,在特定提示词表述、单次生成输出和查询条件下,五种LLM生成的英文脑卒中后并发症患教响应大部分被分类为安全,但在准确性、共情、可靠性、透明度和可读性方面存在差异,未发现一致的模型性能层级,所有系统均表现临床相关局限。LLM可作为起草或改编患教材料的辅助工具,但在面向患者使用前,临床审查、证据验证、明确来源归属和可读性优化不可或缺。未来研究应纳入纵向模型更新评估、多语言多文化场景、患者及照护者直接参与、多轮交互分析、AI专属评估框架开发以及检索增强生成和人工复核流程等工作。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号