《HAND》:Comparative Analysis of Readability Levels of Hand Surgery Patient Information on the ASSH Website and Artificial Intelligence
编辑推荐:
背景:美国医学会(American Medical Association, AMA)建议患者教育材料(patient education materials, PEMs)以六年级阅读水平编写,以确保可及性。本研究旨在比较美国手外科学会(American So
背景:美国医学会(American Medical Association, AMA)建议患者教育材料(patient education materials, PEMs)以六年级阅读水平编写,以确保可及性。本研究旨在比较美国手外科学会(American Society for Surgery of the Hand, ASSH)网站与人工智能(artificial intelligence, AI)生成的PEMs在手外科主题上的可读性,评估其与AMA建议的一致性。
方法:研究人员对ASSH Hand Care“The Upper Extremity Expert”网站上的98个手外科主题进行了分析。要求人工智能平台(Google Gemini 2.0 Flash和ChatGPT-4):(1)根据ASSH网站主题创建原始PEMs;(2)以六年级阅读水平改写ASSH主题;(3)以六年级阅读水平创建原始PEMs。采用Flesch阅读易读性(Flesch Reading Ease, FRE)和Flesch-Kincaid年级水平(Flesch-Kincaid Grade Level, FKGL)评分评估可读性。
结果:ASSH网站和AI生成的PEMs最初均超过了六年级阅读水平。ASSH原始PEMs的可读性范围为10至12年级(FRE 57.5 [6.6]; FKGL 9.4 [1.2])。Google Gemini和ChatGPT的初始PEMs处于大学水平(Google Gemini: FRE 49.7 [7.5]; FKGL 9.6 [1.1];ChatGPT: FRE 47.4 [9.1]; FKGL 10.4 [1.4])。人工智能改写的ASSH内容可读性有所改善,而以六年级阅读水平生成的AI PEMs具有更低的字数、更高的FRE和更低的FKGL,优于原始ASSH PEMs(所有P<.001)。
结论:人工智能平台可用作创建达到推荐六年级阅读水平的手外科PEMs的工具。未来需要努力确保AI生成的PEMs的准确性,并使其对不同健康素养水平的患者可及,以便做出知情的决策。
**研究背景与目的**
健康素养是全球医疗系统长期关注的核心问题。据估计,美国约有8000万成年人存在健康素养不足,低健康素养与不良患者结局、更高的死亡率和医疗费用显著相关。美国医学会(AMA)明确建议患者教育材料(PEMs)的阅读难度应控制在六年级及以下,以保障患者的理解能力。然而,多数研究指出,包括手外科在内的许多专科PEMs远远超出这一推荐水平,普遍高于美国成年人的平均阅读能力(约八年级)。手外科属于高度专业化的领域,患者往往缺乏先前的知识储备,更倾向于在就诊前后借助网络资源了解疾病信息。自ChatGPT于2022年发布以来,人工智能(AI)平台广泛普及,其中Google Gemini已深度整合至搜索引擎中,患者可能直接向这些平台咨询健康问题。尽管AI在医学教育领域展现出潜力,但针对AI生成手外科PEMs可读性的研究仍十分匮乏。为此,研究人员比较了ASSH网站与AI平台(Google Gemini和ChatGPT)在手外科主题上生成的PEMs,评估其与AMA建议的符合程度,并探索AI作为创建适宜可读性患者材料的工具价值。
**研究内容与结论概述**
研究人员从ASSH Hand Care“The Upper Extremity Expert”网站获取了98个手外科主题,要求Google Gemini 2.0 Flash和ChatGPT-4完成三类任务:一是基于ASSH主题创建原始PEMs;二是将ASSH原文改写至六年级及以下水平;三是直接生成六年级及以下水平的原始PEMs。可读性采用Flesch阅读易读性(FRE)与Flesch-Kincaid年级水平(FKGL)两种国际通用的公式计算,两者分别基于句子长度和词汇难度给出分值。结果显示:ASSH网站的原始PEMs平均FKGL为9.4,对应10至12年级阅读水平;两种AI初始生成的PEMs也处于大学水平,均超过AMA推荐标准。但当AI被明确要求以六年级水平生成时,Gemini输出内容的平均FKGL降至4.4,ChatGPT降至5.4,达到小学水平,且字数更短、FRE得分更高。这一发现表明,AI在精准指令下能够生成符合推荐可读性的手外科PEMs,从而为改善患者教育提供了新的可行途径,但其内容的准确性仍需未来进一步验证。
**主要技术方法**
样本队列来自ASSH Hand Care网站中98个英文手外科主题。AI平台选取Google Gemini 2.0 Flash与ChatGPT-4。每种主题分别使用三种提示词生成或改写PEMs。可读性评分采用FRE与FKGL公式,两者通过句子长度及词汇复杂度计算对应阅读年级。统计分析采用线性混合效应模型,以校正同一主题多次测量的相关性,组间差异显著时以Bonferroni法进行事后两两比较,显著性水平设为P<.05。全部数据处理使用IBM SPSS Statistics完成。
**研究结果**
(一)原始ASSH与AI生成PEMs的可读性比较
直接取自ASSH网站的PEMs平均FRE为57.5(标准差6.6),FKGL为9.4(标准差1.2),相当于10至12年级水平。Google Gemini原始生成PEMs的平均FRE为49.7,FKGL为9.6;ChatGPT原始生成的FRE仅47.4,FKGL高达10.4,两者均属大学水平。三组数据经线性混合效应模型检验,FRE与FKGL差异均有统计学意义(P<.001),表明所有原始材料均远超AMA推荐的六年级标准。
(二)AI改写ASSH内容对可读性的影响
当要求两种AI平台将ASSH文章改写至六年级或更低时,Gemini和ChatGPT均显著降低了文本难度。改写后的FRE得分分别升至68.8和68.0,对应八至九年级阅读水平;FKGL分别降至7.2和7.6,对应中学水平,但仍未达到六年级门槛。值得注意的是,Gemini改写版本的平均字数高达1792.4字,显著高于ASSH原文(816.9字)及ChatGPT改写版本(895.0字),提示不同AI在改写时存在策略差异。
(三)六年级水平提示下AI生成PEMs的效果
当AI直接以六年级及以下水平创建原始PEMs时,效果显著改善。Gemini生成内容的平均FRE为81.9,FKGL为4.4;ChatGPT平均FRE为78.8,FKGL为5.4。两者均达到小学阶段理解水平,符合AMA建议。与ASSH原文相比,AI生成版本字数显著减少(Gemini平均459.4字,ChatGPT平均463.5字,ASSH为816.9字),FRE显著更高,FKGL显著更低(所有P<.001)。这表明,只要提供明确的可读性指令,AI完全能够产出既简短又易于理解的手外科患者教育材料。
**讨论与结论**
讨论部分强调,可读性过高是当前在线PEMs的普遍弊病,这与既往研究结论一致。例如,Wang等发现ASSH网站文章的FKGL为10.4;Eberlin等评估腕管综合征相关网页平均FKGL达12.6;Shin等也证实多指/并指的中英文在线材料均超出推荐标准。这些证据说明,即使是专业学会网站的材料也未必适合低健康素养人群。AI的引入有望改变这一局面——本研究中,Gemini和ChatGPT在明确指令下均可将内容降至六年级以下,但既往其他研究也提示,AI改写可能遗漏关键信息或难以稳定达标,因此准确性评估至关重要。本研究的局限性包括:未评估AI生成内容的医学准确性、一致性和非英文材料;FRE与FKGL公式无法考虑图表辅助理解及读者个体差异;免费AI平台的功能限制也可能影响输出质量。结论翻译如下:总而言之,与现有其他在线PEMs相比,AI平台可被用作创建达到推荐六年级阅读水平的患者教育材料的工具。目前手外科主题的在线PEMs对普通美国患者而言过于艰深。未来仍需大量工作,以确保AI生成的PEMs既准确又对不同健康素养水平的患者具有可及性,从而支持患者做出知情的医疗决策。