《Frontiers in Public Health》:Evaluation of large language model–generated information in diabetes health patient education: a scoping review
糖尿病是导致残疾和死亡的主要原因,给全球带来沉重的医疗负担。标准化健康教育对血糖控制和并发症 mitigation 至关重要,但传统教育模式因可扩展性不足而面临挑战。人工智能(AI)大语言模型(LLM)方法与技术的持续发展为糖尿病健康教育领域带来重要机遇。本研究旨在对LLM生成信息用于糖尿病患者健康教育的研究进行范围综述,综合当前应用现状与性能结局。
本研究采用Joanna Briggs Institute(JBI)循证卫生中心范围综述指南作为方法学框架,检索PubMed、Embase、Web of Science、APA PsycNet和The Cochrane Library五个数据库,获取从建库至2026年3月26日的研究。两名评价员独立进行文献筛选、全文阅读和数据提取。
最终纳入来自9个国家的21项研究。应用场景分为五个领域:一般健康教育、饮食教育、并发症教育、运动教育和技术教育。总体而言,现有证据表明LLMs在准确性和完整性方面表现良好,但在可读性、可靠性和实用性方面仍存在显著局限。此外,伦理和安全问题突出,包括数据安全、公平性、患者安全和责任归属问题。尽管存在技术和伦理挑战,LLMs仍有潜力作为糖尿病健康教育的辅助工具。未来研究需加强技术设计优化、开发以患者为中心的设计、标准化评估指标并建立结构化伦理监督,以进一步验证其在糖尿病患者健康教育中的实际应用效果。
1 引言
根据国际糖尿病联盟最新数据,糖尿病影响全球约11.11%的成年人口,约5.89亿成年人患有该病。糖尿病可导致毁灭性并发症, notably 糖尿病肾病和足溃疡,升高发病率和死亡率,同时严重降低生活质量,对家庭和社会造成深远经济负担。美国糖尿病协会(ADA)强调,糖尿病教育和自我管理支持(DSMS)是临床护理的基石,能显著延迟并发症发生并优化长期健康结局。然而,由于糖尿病健康资源分布不均和专业医疗人员短缺等问题,糖尿病教育的可及性和公平性面临更大挑战。因此,解决对可扩展、高质量健康教育资源的迫切需求,以弥合当前公共卫生差距至关重要。
人工智能作为新型健康技术,正逐步应用于慢性病患者的健康教育。在人工智能领域中,大语言模型(LLM)已成为研究热点。LLMs基于海量文本数据训练构建庞大的神经网络结构,从而处理复杂的语义信息,在回答患者问题和提供健康教育方面展现出巨大潜力。在糖尿病教育领域,LLMs可为患者远程实时提供健康教育,同时能为不同患者开发个性化健康教育材料,通过开放对话向患者传递知识。然而,现有研究证据显示,不同LLMs在生成健康教育材料的可靠性、准确性和可读性方面存在差异。
随着LLMs日益重新定义健康教育材料的生产,进行系统分析以阐明当前挑战势在必行。因此,本研究采用范围综述方法,系统梳理和总结LLMs在糖尿病健康教育中的应用,通过综合现有文献关于模型生成信息质量的评估发现,识别当前挑战,为LLM辅助健康教育的未来实施提供循证基础。
2 方法
本综述的方法学框架遵循JBI范围综述指南,报告遵循PRISMA-ScR清单。所有参与证据合成的作者均接受了基于Joanna Briggs Institute Reviewer's Manual 2020的专业培训。为遵循开放科学原则,该项目已在Open Science Framework预注册。
2.1 确定研究问题
本综述探讨LLMs在生成信息以支持糖尿病健康教育中的作用,提供全面概述和批判性评估。具体而言,系统综合LLMs在提供糖尿病健康教育中的应用,并解决以下问题:(1)在糖尿病健康教育背景下具体实施了哪些LLMs,其底层架构特征是什么?(2)LLM生成信息在糖尿病教育中的主要临床应用场景是什么,其在关键指标上的性能如何评估?(3)阻碍LLMs整合到糖尿病护理中的主要技术和伦理挑战是什么,其临床部署的未来趋势如何?
2.2 检索策略
使用大语言模型、ChatGPT、transformer模型、生成式AI和糖尿病等关键词,在PubMed、Embase、Web of Science、APA PsycNet和The Cochrane Library数据库中检索英文文献,检索时间为数据库建库至2026年3月26日。
2.3 纳入标准
纳入标准包括:(1)目标人群:专为糖尿病患者及其照护者设计的健康教育材料和咨询;(2)概念:由LLMs生成的糖尿病相关教育内容,包括但不限于ChatGPT、DeepSeek、Gemini和Claude;(3)结局:生成信息的多维度性能指标,如临床准确性、语言可读性、可靠性和可操作性指导。排除标准包括:仅描述LLM技术开发的研究;不涉及糖尿病应用场景的研究;重复发表的研究;无法获取全文的研究;非英文研究。
2.4 研究筛选和数据提取
将研究导入EndNotes软件去除 duplicates。两名研究者(Shiya Hu和Binfen Lin)基于纳入排除标准独立进行初筛和复筛,分歧通过讨论或咨询第三方(Fenglan Lin)仲裁解决。本研究采用JBI数据提取和分析框架,使用Excel提取纳入研究的信息:作者、年份、国家、研究人群、目标终端用户、应用、评估方法、AI工具、技术架构、伦理考量、主要结论和研究结果。该过程由两名独立研究者完成,并由第三名研究者交叉验证以减少偏倚。
3 结果
3.1 文献筛选
初步检索获得910篇研究,去除 duplicates 后剩余641篇。标题和摘要筛选后579篇进入全文评审,62篇进行全文评估,最终排除41篇,纳入21篇研究。
3.2 研究特征
纳入的21项研究均发表于2023-2026年间,来自9个国家,以土耳其(n=7)和中国(n=5)最多,其次为美国(n=2)、丹麦(n=2),韩国、印度、挪威、爱尔兰和法国各1篇。AI平台分布方面,ChatGPT在21项研究中均有评估(100%),其他主要LLMs包括Gemini(28.57%,n=6)、DeepSeek(23.81%,n=5)、Claude(14.29%,n=3)、Grok(9.52%,n=2),ERNIE Bot、Google Bard、Doubao、DanskGPT等各在单项研究中被提及。
终端用户类型涵盖患者、照护者和临床医生。应用形式主要分为临床问答(Q&A)和健康教育材料生成两类。技术角度而言,两项研究利用检索增强生成(RAG)技术合成信息,以缓解"幻觉"固有风险并增强健康教育内容的临床精准性;四项研究采用多模态融合方法,通过图像像素分布与文本语义的加权整合和关联分析促进营养教育;其余文献关注独立LLMs的直接零样本应用,无额外架构增强。
LLM生成内容在糖尿病健康教育中的应用主要集中在三个领域:健康知识教育、饮食教育和并发症教育。并发症领域具体涉及妊娠期糖尿病(n=4)、糖尿病视网膜病变(n=1)、糖尿病肾病(n=1)和糖尿病足溃疡(n=1)。运动相关干预和科技教育研究较少。六项研究探讨了LLMs的伦理维度,主要关注安全性(n=6)、数据隐私(n=3)和责任归属(n=3),但现有研究多呈理论抽象性,缺乏具体实施框架。
3.3 研究结局
3.3.1 准确性
准确性指LLMs生成信息的实际正确性。六篇研究采用Likert量表,五篇采用二分类法,两篇采用平均绝对误差。研究显示DanskGPT和ChatGPT准确性水平与临床医生相当,ChatGPT显著优于DanskGPT(P<0.05)。ERNIE Bot 4.0在生成准确信息方面超过临床医生。营养精准性方面,ChatGPT、DeepSeek和Gemini与实际碳水化合物含量无显著偏差(P>0.05),ChatGPT与专业注册营养师一致性最高。二分类评估中,ChatGPT准确性为60.5%,GPT-4.0达74.5%。AI自然语言评估工具显示DeepSeek、ChatGPT-4o和Doubao之间无显著性能差距(P>0.05)。整合RAG的LLMs相比基线模型准确性更优。
3.3.2 可读性
可读性反映读者阅读和理解LLMs生成信息的容易程度。六项研究评估了可读性,使用Gunning Fog Index(GFI)、Flesch Reading Ease(FRES)、Flesch-Kincaid Grade Level(FKGL)、Coleman-Liau Index(CL)、Simple Measure of Gobbledygook(SMOG)、Automated Readability Index(ARI)、Atesman Readability Formula(ARF)、Linsear Write Formula和New Dale-Chall Score等工具。美国医学协会(AMA)和美国国立卫生研究院(NIH)推荐患者教育材料对应六年级阅读水平,即FRES≥80.0,FKGL、ARI、CL、GFI和SMOG评分低于6。所有六项研究均显示LLMs生成信息的可读性较差,未达AMA和NIH推荐标准。
3.3.3 完整性
完整性指生成信息在回应用户咨询或主题领域时的全面性。五项研究使用Likert量表评估。ChatGPT-4生成信息达到87.6%的专家共识;Claude 2生成的信息最完整,其次为ChatGPT-4,Google Bard完整性最差,增强系统改善了所有模型生成信息的完整性;ChatGPT-3.5生成信息具有良好完整性。然而,GPT-4o和ChatGLM4生成的健康材料与医生-derived材料存在显著差异。
3.3.4 质量
质量旨在评估生成信息的综合品质,涵盖整体效用和可靠性等关键指标。四项研究使用Global Quality Scale(GQS),其中三项使用DISCERN工具,一项进一步整合Ensuring Quality Information for Patients(EQIP)。ChatGPT-4o在一项调查中被描述为提供高质量回应。不同模型迭代间存在性能变异:ChatGPT-4o优于ChatGPT-4和ChatGPT-3.5,Gemini Advanced优于标准Gemini。不同LLM平台间回应质量差异显著,研究结果存在分歧。
3.3.5 可理解性与可操作性
可理解性衡量用户能否理解LLMs生成信息,可操作性评估所提供建议能否实际执行。两项研究采用Patient Education Materials Assessment Tool for Print Materials(PEMAT-P)进行评估。ChatGPT和Gemini的平均可理解性评分为91.36%(86.66%-93.75%),平均可操作性评分为89.67%(80%-100%)。三项LLMs比较评估中,DeepSeek R1可理解性评分最高,ChatGPT-4o可操作性表现最优。
3.3.6 其他评估指标
四项研究扩展至效用,四项研究涉及安全性,三项研究探讨适当性,另有研究评估共情、整体患者评估和个性化。ChatGPT-4o与专家临床医生一致性达96.8 Tit可及性事件触发;另一研究发现28.6%的ChatGPT生成回应存在信息不完整性。效用评估结果不一:ChatGPT-4o效用优于医疗专业人员,或被归类为仅有中等效用水平。三项LLMs安全性比较分析中,DeepSeek R1获最高安全评级,Doubao 1.5记录最低安全评分。
4 讨论
作为首项综合LLM生成信息用于糖尿病教育证据的综述,本研究揭示了多方面的性能特征。综合现有研究证据,LLM生成健康材料在准确性和全面性方面表现良好,但在可读性、可操作性和独立临床效用方面仍存在不足。尽管LLMs在生成糖尿病相关教育内容方面具有明显优势,目前尚不能作为糖尿病健康教育中的自主工具。
4.1 糖尿病健康教育中LLMs信息生成研究现状
分析纳入的21篇近4年发表文献,凸显了LLM介导健康信息领域的快速涌现和学术关注。LLMs在糖尿病教育中的固 potential 源于其强大的语义理解、推理推断和高保真内容合成框架。
内容分布方面,一般健康教育最为普遍,反映了庞大患者群体对基础疾病知识的广泛需求。饮食教育居第二位,与营养管理在糖尿病自我护理中的核心作用一致。并发症范围涵盖妊娠期糖尿病至视网膜病变、肾病和足溃疡,展示了LLMs在多维糖尿病管理中的潜在广度。然而,运动和技术教育研究稀疏,表明这些专业领域仍处于探索初期。
值得注意的是,糖尿病健康教育对LLMs提出了更严格要求。饮食教育中,任务常涉及图像输入和识别,但模型在视觉任务中的性能显著落后于文本处理能力,导致准确性受损,这主要归因于 pre-training 数据集中视觉特征描述不足。运动教育需要基于实时血糖水平、活动类型、强度和持续时间进行动态调整,要求高级个性化推理和实时数据整合能力。此外,糖尿病护理技术创新的加速步伐需要高度响应的知识更新机制,而当前LLMs在信息过时方面仍属脆弱。
LLMs在健康教育中的整合仍是一把双刃剑。某些情况下,LLM生成输出的准确性与临床医生-developed教育材料相当。然而,优越的技术性能未能弥合向实际临床应用转化的鸿沟。本研究强调LLM输出在可读性和可操作性方面的关键缺陷:生成材料的句法复杂性常超过推荐的6-8年级阈值,对健康素养较低人群构成显著障碍。考虑到糖尿病患者数字素养较低的脆弱性,可读性欠佳可能诱发数字鸿沟并加深健康不平等。此外,缺乏情境特异性削弱了模型的可操作性。在复杂决策情境中,LLMs倾向于提供概括性、原则性陈述并伴有过量冗余,限制了实际应用。因此,现阶段LLMs尚不适合作为独立工具,而应作为医疗专业人员监督下的辅助工具。
技术层面,由于纳入研究有限,不同架构框架对生成质量的影响仍比较不足。仅一项研究强调RAG显著增强LLM输出的准确性、完整性和可理解性。当前文献主体仍将LLMs视为"黑箱"工具,对训练数据集等关键参数缺乏透明报告,这种技术不透明性在一定程度上限制了这些模型在临床场景中的可解释性和机构可信度。
4.2 LLMs生成信息在糖尿病健康教育中的实际影响与挑战
LLMs正越来越多地被用于生成面向患者的健康信息,可能减轻医疗提供者行政负担同时增强患者自我管理能力。然而,LLMs在健康教育应用中仍存在若干关键障碍。
首先,现有LLM性能评估系统缺乏标准化。分析显示,虽61.95%研究评估了准确性,但完整性、可操作性和安全性等关键临床参数报告严重不足。此类差距阻碍了对LLMs临床整合的全面验证。在糖尿病管理等高风险情境中,缺乏严格评估协议可能导致对生成内容的不当信任或错误解读。此外,性能指标的定义和操作化方面存在显著异质性,削弱了研究发现的可比性和LLM临床干预证据的整体强度。
其次,LLMs从受控设置向真实世界应用的转化存在实质性障碍。当前证据主要来自 pilot 研究和模拟患者互动,缺乏多维度真实世界情境中的严格实证验证。再者,现有文献普遍忽视了人口统计学特征和文化情境等关键变量的影响。然而,患者在疾病进展、合并症负担、治疗方案、数字健康素养和社会文化背景方面存在显著异质性。因此,面对真实世界患者互动时,LLMs仍可能遭遇信息匹配不良、个性化不足和不可预测安全风险等问题。
最后,六项研究正式涉及伦理考量,但多数仅提供敷衍描述而非可操作框架。研究将伦理景观综合为四重分类:隐私、临床安全、公平性和算法问责。由于糖尿病护理需要持续数据参与,患者与LLMs的频繁交互放大了数据滥用的脆弱性。研究共识突出潜在安全隐患,具体证据表明来源透明度和信息过时缺乏可传播临床 misinformation。公平性因模型性能异质性和可读性欠佳而加剧,可能边缘化数字资源受限的 underserved 群体。问责仍界定不清,因模型生成有害信息时开发者、医疗机构和提供者之间的责任边界模糊。这些交织的伦理困境构成LLMs在糖尿病健康教育中可扩展部署的重大瓶颈。
4.3 糖尿病健康教育领域使用LLMs生成信息的可行建议
首先,建立标准化评估指标对确保LLMs安全整合入糖尿病教育至关重要。未来研究必须优先开发多维度标准化评估框架并结合客观性能指标,以促进稳健比较。TRIPOD-LLM报告指南可作为建立此类标准的关键参考。此外,让真实世界患者参与评估过程至关重要,应采用定性方法探索患者与LLM生成内容互动的促进因素和障碍,从而增强模型适用性。
其次,LLMs的技术改进亦至关重要。研究人员应采用更先进的 training 方法增强模型泛化能力,同时使用更精细的评估指标检测和减少幻觉。例如,使用RAG和上下文内学习技术提高模型准确性。未来研究应建议建立持续更新和与外部知识对齐的机制,及时整合最新循证证据,减少信息过时风险和幻觉风险。加强跨模态信息处理能力,如使用与知识图谱的深度融合,可缩小图像和文本任务间的性能差距。最后,提高模型透明度和可解释性是关键方向,包括增强生成依据和信息来源的可追溯性,从而提高其在临床场景中的可信度。
伦理关切是将LLMs整合入医疗领域最突出的风险。未来研究应符合Health Insurance Portability and Accountability Act(HIPAA)等框架,利用患者数据去标识化或匿名化,并规范模型微调期间可识别信息的 volume 以保障数据安全。同时,监管范式必须从模糊的责任定义转向结构化治理,需要加速专家共识和临床实践指南的制定,以界定开发者、医疗机构和医疗专业人员之间的责任边界,从而将数据治理和伦理监督整合入模型开发和实施的整个生命周期。在此安全基础上,未来研究应努力弥合不同患者群体间的数字素养鸿沟,利用微调技术。此外,虽然当前输出仍以文本为主,但最终将显著增强患者可接受性和自我管理自我效能。
4.4 局限性
首先,必须承认纳入研究的固有局限性。大多数当前研究依赖专家主导评估,缺乏严格临床试验,导致缺乏纵向数据支持LLMs在糖尿病管理中的临床效果和真实世界影响。此外,许多研究为单中心小样本,可能影响结果的可靠性和可推广性。纳入研究的结果测量依赖主观评估,可能引入评价者间信度差异,因不同评价者对LLMs生成内容的理解可能存在显著差异。不同研究设计间存在显著方法学异质性,限制了定量比较分析。
本研究仅纳入英文文献,可能遗漏其他语种的相关研究。大多数纳入研究来自中国,非洲、南亚等地区报告较少。这种研究分布不均揭示了资源匮乏地区LLMs实证研究的显著缺乏,表明大语言模型的文化契合性和情境适应性在全球范围内可能受限。
5 结论
本范围综述阐明了利用LLMs进行糖尿病健康教育领域的当前景观和固挑战。虽然LLMs在信息准确性和全面性方面表现良好,但在可读性和可操作性方面面临关键瓶颈。此外,伦理和安全关切仍至关重要。未来努力必须优先以患者为中心的设计,增强临床效用,优化技术架构。此外,建立标准化结局指标和 robust 伦理框架对将LLMs转化为临床教育的有效循证辅助工具至关重要。