评估生成式人工智能聊天机器人回答公众关于意识改变状态问题的能力:安全性、准确性、可靠性和可读性的比较研究

《Journal of Emergency Nursing》:Evaluating Generative Artificial Intelligence Chatbots in Answering Public Questions About Altered Consciousness: A Comparative Study of Safety, Accuracy, Reliability, and Readability

【字体: 大 中 小 】 时间:2026年10月09日 来源:Journal of Emergency Nursing 3.2

编辑推荐:

   摘要引言越来越多的公众在使用生成式人工智能聊天机器人来解读健康疑虑,然后才联系临床医生。尽管这些系统并非正式的自主急诊分诊工具,但其回复可能影响用户是否以及在何时寻求专业医疗。意识改变尤其具有高风险,因为延迟或模糊的升级处理可能会推迟时间紧迫的评估。本研究从急诊护理的角度评估

  

摘要

引言

越来越多的公众在使用生成式人工智能聊天机器人来解读健康疑虑,然后才联系临床医生。尽管这些系统并非正式的自主急诊分诊工具,但其回复可能影响用户是否以及在何时寻求专业医疗。意识改变尤其具有高风险,因为延迟或模糊的升级处理可能会推迟时间紧迫的评估。本研究从急诊护理的角度评估了聊天机器人回答的安全性和质量。

方法

我们对ChatGPT、Gemini、Claude、DeepSeek和豆包进行了横断面比较评估。从130个候选项目中筛选出66个面向公众的英文问题,涵盖11个急诊咨询领域。每道题在2026年5月1日至5月30日期间,于新对话中向每个聊天机器人提交一次,共产生330条回复。值得注意的是,5名具有临床经验的护士独立对回复的安全性、准确性、共情性、信息质量、透明度、整体质量和可读性进行了评分。

结果

评分者间一致性良好至优秀:安全性的弗莱氏Kappa系数为0.848,非二元护士评分结果的组内相关系数范围为0.836至0.878。安全回复率从豆包的89.4%到ChatGPT的95.5%不等,总体无显著差异。ChatGPT的平均准确性最高,在DISCERN消费者健康信息工具和《美国医学会杂志》基准标准上得分也最高。Claude和Gemini被评为最具共情性,DeepSeek在大多数可读性公式下产生了最容易阅读的文字。每个聊天机器人生成了至少1个潜在不安全的回答。

讨论

聊天机器人可以为公众提供关于意识改变的教育支持,但其遗漏、不安全的顺序处理和降低紧急程度的做法使其不适合用于自主院前或急诊分诊。急诊护士应参与塑造以升级处理为首要原则、使用通俗语言的高风险聊天机器人建议安全模板。

引言

面向消费者的生成式人工智能聊天机器人正越来越多地被用来回答与健康相关的问题,包括关于紧急和急诊护理的问题。由于用户可能在这些系统寻求专业评估之前咨询它们,聊天机器人的回复有可能影响用户关于是否以及在何时寻求急诊护理的决定。1 意识改变对安全性提出了严格的考验,因为其潜在原因可能是快速可逆的、危及生命的,或者是普通人无法分辨的。因此,我们评估了五个广泛可访问的聊天机器人所产生的初步建议是否足够安全、准确、易懂和透明,以适用于这种高风险的到院前情境。
意识改变并非最终诊断,而是一种警示状态。在急诊科,意识改变可能反映原发性神经系统疾病、全身性疾病、毒性暴露、内分泌危象、创伤、感染或心肺衰竭。2 家属和旁观者很少用临床语言提出这些担忧。他们可能会问为什么一个人难以唤醒、行为异常、过于嗜睡或意识模糊。对于急诊护士而言,这些普通用语很重要,因为它们往往在生命体征、实验室结果或可靠病史之前就已到达。
因此,面对此类问题的首个面向公众的回答必须不仅仅是列出可能的原因,还应指导即时安全决策。卒中诊疗体系强调快速识别和紧急转运;复苏指南优先强调识别心脏骤停、启动紧急救治以及气道和呼吸检查;糖尿病、脓毒症、脑膜炎和头部损伤的指南均包含时间紧迫的升级要点。3 4 5 6 7 8 关于何时寻求急诊护理的决定风险极高;因此,不完整或不准确的聊天机器人建议可能会延迟对时间紧迫性疾病的评估,并产生患者安全风险。1
生成式AI聊天机器人已进入了这一临床前决策空间。它们提供即时的对话式回答,并可能显得冷静、富有共情和权威。然而,同样的流畅性可能掩盖遗漏。综述和实证研究已记录了医疗聊天机器人回复中准确性参差不齐、貌似可信的错误信息以及潜在不安全的建议。9 10 11 12 13 公众使用尤其具有挑战性,因为用户可能只提供了零碎的信息,或者可能无法识别哪些症状需要紧急升级处理。11 12
急诊护理视角尤其相关,因为问题不仅是聊天机器人的信息是否事实正确,还包括它是否能在高风险情况下支持及时和安全的行动。已发表的急诊护理问题评估记录了潜在危险的、不完整的或不准确的聊天机器人建议,包括在建议何时需要紧急或急诊评估方面的不足。1 在心理健康领域,同行评审文献也总结了报告的与聊天机器人交互相关的严重后果和诉讼案例。这些报告提出了重要的安全问题,但未确立因果关系,也不能直接推广到急诊分诊。14 其他患者问题研究同样强调了对下游患者和临床医生结果进行评价的需要。15 因此,我们将本研究中的不安全聊天机器人建议视为潜在的患者安全风险,而非已证实的聊天机器人所致伤害的证据。研究问题是:在5个公开可访问的生成式AI聊天机器人中,回答关于意识改变的通俗问题时,其安全性、准确性、共情性、信息质量、透明度、整体质量和可读性有何比较,以及所观察到的回复模式是否支持其作为自主院前或急诊分诊指导的使用?

章节摘要

设计与报告

本横断面比较研究评估了聊天机器人对关于意识改变的标准化面向公众问题的回答。报告结构按照流行病学观察研究报告强化规范(STROBE)声明和聊天机器人评估报告工具——一项针对健康建议研究的聊天机器人专用报告指南——进行了组织。16 完整的聊天机器人评估报告工具检查表见附录1。

伦理与机构审查

本研究分析了

数据集与评分者间一致性

最终数据集包含66个面向公众的问题和330条完整的聊天机器人回复。每个模型回答了所有问题,所有回复均可供护士评分。安全性的弗莱氏Kappa系数为0.848(95% CI, 0.788-0.903)。非二元结果的组内相关系数从全球质量量表的0.836到共情性的0.878不等(表1)。

安全性

ChatGPT产生了63条安全回复(95.5%),DeepSeek产生了62条(93.9%),Claude产生了61条(92.4%),Gemini产生了60条(90.9%),豆包产生了59条(89.4%)。总体

讨论

本研究发现,生成式AI聊天机器人可以对公众关于意识改变的问题产生许多看似合理的初步回答,但其表现尚不足以用于无人监管的分诊。核心发现并非这些系统普遍表现不佳,而是它们足够好到听起来有用,但又不够完美因而存在风险。这种混合正是急诊护士在家人试图在家中解读症状后到达时所遇到的情况。尽管总体

对急诊护士的影响

急诊护士应假定部分患者和家属在拨打电话、到达或决定等待之前已经咨询过聊天机器人。因此,分诊问题可以包含一个中性的提示,如"您已经收到或阅读了什么建议?"这使护士能够识别虚假的安慰、不安全的喂养或用药建议、延迟升级处理或私家车转运决定,而不指责照护者。
在系统层面,急诊护士应参与设计并

局限性

本研究存在若干局限性。首先,每个问题仅在新对话中提交了一次。这标准化了配对比较的初步回复,但未能复现受惊吓的用户如何重新表述问题、添加细节、质疑回答或继续进行多轮交互。后续交互可能纠正不安全的初步回答,也可能使其恶化。因此,未来研究应包含重复运行和脚本化的多轮照护者场景。其次,本研究

结论

在66个关于意识改变的公众问题中,5个生成式AI聊天机器人产生了总体有用但并非始终安全的建议。ChatGPT显示出更强的准确性和若干信息质量指标,Claude和Gemini显示出更强的共情性,DeepSeek产生了更具可读性的文字。每个模型均产生了潜在不安全的回答。面向公众的意识改变聊天机器人建议应保持辅助性、明确设置安全网,并接受急诊护理及

数据、代码和研究材料可获取性

最终问题集、筛选记录、证据映射表、完整聊天机器人回复档案、评分摘要、成对比较和定性安全分析见附录1-5。

作者声明

利益冲突:无。
本研究未获得公共、商业或非营利部门任何资助机构的专项拨款。

写作过程中生成式AI和AI辅助技术的声明

作者使用OpenAI ChatGPT协助进行语言编辑、组织和逐点回复的准备。作者审阅并编辑了所有AI辅助文本,并对稿件的准确性、完整性和最终内容承担全部责任。

致谢

无。
袁聪是四川大学华西医院急诊科护理组长,四川大学华西护理学院,四川成都,中国。
袁聪|李志|李爱丽|泽旺四郎|杨丹|邱翔
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号