基于指南的比较研究:评估支持搜索功能的大语言模型界面在mpox公共卫生咨询中的应用

《Frontiers in Public Health》:Evaluating search-enabled large language model interfaces for mpox public health consultation: a guideline-based comparative study

【字体: 大 中 小 】 时间:2026年08月27日 来源:Frontiers in Public Health 4.1

编辑推荐:

  摘要 背景:支持搜索功能的大语言模型(large language model, LLM)界面正越来越多地被公众用于获取健康信息,但它们在mpox相关公共卫生咨询中的表现仍不明确。本研究评估了这些界面的安全性、准确性、共情能力、可靠性/信息质量以及可读性。 方

  
摘要
背景:支持搜索功能的大语言模型(large language model, LLM)界面正越来越多地被公众用于获取健康信息,但它们在mpox相关公共卫生咨询中的表现仍不明确。本研究评估了这些界面的安全性、准确性、共情能力、可靠性/信息质量以及可读性。
方法:研究人员采用52个预定义的mpox相关公共卫生咨询问题,开展了一项单次查询的横断面比较评估。每个问题分别提交给六个支持搜索功能的LLM界面,共获得312条首次回复。回复基于指南制定的参考框架进行评估。安全性被编码为二分类结局,准确性和共情能力则采用5点评分量表进行评分。可靠性/信息质量通过DISCERN、EQIP、JAMA基准标准和GQS进行评估。可读性采用六种成熟的阅读难度指数进行评估。五名经培训的评估员独立对人工评分结局进行评估。
结果:不安全回复相对少见,但在所有六个界面中均有出现,安全回复率介于86.5%至92.3%之间。经Benjamini–Hochberg校正后,安全性方面无任何两两比较差异具有统计学显著性。各界面在准确性、共情能力、全部四项可靠性/信息质量指标以及全部六项可读性指数上的总体差异均具有统计学显著性。经Benjamini–Hochberg校正的事后分析识别出结局特异性的两两差异,尽管不同测量指标间的两两比较模式不尽相同。
结论:所评估的支持搜索功能的LLM界面在安全性、准确性、共情能力、可靠性/信息质量及可读性方面表现出异质性表现。尽管不安全回复相对少见,但每个界面均可能出现潜在有害输出。这些发现支持在评估或考虑将这些界面用于mpox相关公共卫生咨询时,需要基于指南的评估、来源透明度、可读性优化以及强有力的安全保障措施。研究结果代表特定时间和配置下的界面层面快照;不应将其归因于底层基础模型本身,也不应解释为可复现的性能表现或跨会话、版本或设置的稳定排序。
论文解读:支持搜索功能的大语言模型界面在mpox公共卫生咨询中的多维评估

研究背景与问题:mpox(猴痘)是由猴痘病毒引起的正痘病毒属感染,其特征为全身症状及皮肤或黏膜病变,病程可持续数周。2022年多国暴发改变了其公共卫生特征,后续中非和东非的I分支病毒暴发及国际传播使mpox持续成为全球公共卫生议题。mpox公共卫生咨询的复杂性在于,恰当的建议需整合症状识别、鉴别诊断、传播风险、暴露后管理、疫苗接种、治疗、感染控制及去污名化沟通等多方面内容。mpox可模拟水痘、带状疱疹、单纯疱疹、梅毒等皮疹性疾病,使视觉自诊不可靠;传播建议需细致区分密切接触与空气传播途径;暴露后接种、抗病毒药物使用、隔离及就医建议取决于暴露时间、类型、病情严重程度、风险人群、疫苗可及性及辖区监测数据。因此,面向公众的mpox建议必须准确、安全、可操作、及时、易懂且非污名化。

大语言模型(LLM)界面正被公众广泛用作数字健康信息工具,可生成流畅的医学回答、将技术内容转化为通俗语言并提供看似个性化的指导。然而,既往系统综述和荟萃分析提示这些系统存在准确性波动、幻觉或未经支持的声明、报告方法不一致以及潜在有害健康建议等问题。对传染病而言,不准确或过度安慰的建议可能延误检测、隔离、疫苗接种或公共卫生行动,并可能放大污名化或错误信息。尽管LLM在健康信息传播领域快速扩展,但针对mpox特异性公共卫生咨询的性能证据仍有限,尤其缺乏同时评估安全性、准确性、共情能力、可靠性/信息质量及可读性的多界面比较研究。

研究内容与结论:为填补这一空白,研究人员评估了六个公开可用的支持搜索功能的LLM界面——ChatGPT、Gemini、Copilot、DeepSeek、豆包和通义千问,使用52个锁定版面向公众的mpox咨询问题,基于预定义的指南参考框架进行评估。研究旨在刻画这些界面在mpox相关公共卫生咨询中的回复水平性能与局限性。研究于2026年5月1日至26日在中国浙江温州进行,每个问题向每个界面提交一次,共获得312条首次回复。回复由五名评估员独立评估安全性、准确性、共情能力、可靠性/信息质量及可读性。结果显示,不安全回复相对少见但所有界面均出现,安全回复率86.5%–92.3%,安全性总体差异无统计学显著性。准确性、共情能力、可靠性/信息质量及可读性在界面间存在显著差异,但两两比较模式因测量指标而异。31条不安全回复的事后探索性再评估显示,5条(16.1%)为轻微潜在伤害,24条(77.4%)为中度,2条(6.5%)为重大潜在伤害;最常见主题为传播/环境风险/感染控制错误信息(32.3%)、未经验证的辖区特异或时间敏感信息(19.4%)及疫苗相关错误信息或夸大(16.1%)。研究结论指出,这些界面表现出异质性性能,潜在有害输出存在于每个界面,尤其在时间敏感、辖区特异、暴露后、疫苗接种、治疗、污染物及污名化敏感场景中。研究强调需要基于指南的评估、来源透明度、可读性优化及强有力的安全防护措施。论文发表于《Frontiers in Public Health》。

关键技术方法:研究采用单次查询横断面比较设计,使用52个预定义mpox咨询问题,向六个支持搜索功能的LLM界面各提交一次。问题集通过目的性多来源识别构建,来源包括Google Trends、百度指数与百度搜索、公共论坛与问答平台、患者教育资料、指南、共识文件及综述。指南参考框架由研究者制定,优先采用正式指南、国家指南、WHO、CDC和ACIP建议及专家共识,并由外部专家独立审查。评估工具包括DISCERN、EQIP、JAMA基准标准、GQS及六种可读性指数(Flesch阅读易读性分数、Flesch–Kincaid年级水平、SMOG、自动可读性指数、Coleman–Liau指数和Gunning Fog指数)。统计分析采用Friedman检验、Wilcoxon符号秩检验、Cochran's Q检验和McNemar检验,并进行Benjamini–Hochberg校正。

研究结果:3.1 评估员间一致性——五名评估员对所有人工评分结局的评估一致性较高,安全性Fleiss' κ为0.869(95% CI 0.800–0.923),其余指标的ICC(2,1)介于0.828至0.883之间,均具有统计学显著性。3.2 安全性、准确性与共情能力——不安全回复存在于所有六个界面,安全回复率86.5%–92.3%,总体差异无统计学意义(Cochran's Q = 2.470, p = 0.781)。准确性(Friedman检验p < 0.001)和共情能力(p < 0.001)在界面间差异显著,ChatGPT和Gemini归为一组,Copilot、DeepSeek和豆包为第二组,通义千问单独为较低分组。3.3 可靠性/信息质量——DISCERN、EQIP、JAMA和GQS在界面间差异显著(均p < 0.001),但两两比较模式因测量而异,ChatGPT和Gemini通常得分较高,通义千问得分较低。3.4 可读性——所有六种可读性指数在界面间差异显著,但效应量(Kendall's W从0.064到0.389)和两两比较模式因指标而异,豆包在某些指数上表现较差。

讨论部分总结:研究讨论指出,mpox咨询要求回复整合症状识别、传播风险、暴露后行动、疫苗接种、就医、辖区特异指南、不确定性及非污名化沟通。安全性问题包括未经支持的本地风险评估、过度安慰、模糊的暴露后建议、夸大疫苗或治疗效果及污名化框架。研究认为,尽管安全回复率较高,但每个界面均存在潜在有害输出,且二分类安全性结局无法充分反映内容的类型、严重程度及潜在临床后果。准确性在界面间的差异比安全性更明显,但应视为疾病特异性的界面层面模式而非底层模型的固有差异。共情能力的变化提示支持性和非污名化沟通并非均匀分布,应视为安全相关的沟通维度。可靠性/信息质量方面,JAMA得分普遍较低,表明来源归属、时效性和披露透明度有限。可读性差异提示即使事实准确的信息,若文字密集或术语过多,也可能限制实际应用价值。研究局限性包括问题集为研究者开发而非概率代表性样本、身份遮蔽效果未正式评估、单次查询快照无法反映可复现性、严重度和主题分析为事后探索、启用搜索功能使性能无法仅归因于底层模型、英语评估及专家评分而非公众直接测试、参考框架非独立验证的黄金标准等。

研究结论部分翻译:在这项单次查询的横断面比较评估中,六个公开可用的支持搜索功能的LLM界面在mpox相关公共卫生咨询中,于安全性、准确性、共情能力、可靠性/信息质量及可读性方面表现出异质性回复水平性能。每个界面均识别出潜在有害输出,尤其在时间敏感、辖区特异、暴露后、疫苗接种、治疗、污染物及污名化敏感场景中。这些发现强调需要基于指南的评估、来源透明度、可读性优化及强有力的安全防护措施。然而,由于公众理解、信任、行为反应、就医决策及临床或公共卫生结局未被评估,本研究并未确立这些界面作为面向公众信息工具的真实世界有效性或适用性。其在mpox沟通中的任何潜在辅助作用需前瞻性、以用户为中心的评估。研究结果代表记录测试条件下的时间与配置特异性界面层面快照,不应解释为可复现性能或任何特定界面跨会话、版本或设置的一致优越性。其他传染病或公共卫生情境中是否出现类似模式尚不确定,应在单独的疾病特异性研究中检验。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号