大型语言模型在药师主导的直接患者护理中的应用:已发表评估的快速综述

《Research in Social and Administrative Pharmacy》:Large language models in pharmacist-led direct patient care: A rapid review of published evaluations

【字体: 大 中 小 】 时间:2026年10月11日 来源:Research in Social and Administrative Pharmacy 3.4

编辑推荐:

  本项快速综述对药师主导的直接患者护理任务中大型语言模型(Large Language Model,LLM)的已发表评估进行了特征描述。较新版本的LLM在各类任务中普遍优于早期版本。各研究的评估方法存在差异,报告内容一致性欠佳。标准化评估方法可能提高研究的透明度

  
本项快速综述对药师主导的直接患者护理任务中大型语言模型(Large Language Model,LLM)的已发表评估进行了特征描述。较新版本的LLM在各类任务中普遍优于早期版本。各研究的评估方法存在差异,报告内容一致性欠佳。标准化评估方法可能提高研究的透明度与可比性。工作流程整合需要多学科协作以解决相关挑战。
**大型语言模型在药师主导的直接患者护理中的评估:一项快速综述的解读**

人工智能(AI)技术在医疗领域的应用潜力巨大,但其融入临床工作流程仍具挑战。大型语言模型(Large Language Model,LLM)是生成式AI的一个子类,能够进行自然语言对话。自2022年ChatGPT发布以来,LLM能力迅速扩展,新版本如GPT-4可处理文本、图像、音频等多模态输入;其他主要LLM还包括Claude、Gemini、Llama等。LLM可用于生成相关内容、综合临床信息和加速信息检索,并已出现OpenEvidence、UpToDate Expert AI、PharmacyGPT等医学工具。然而,既往关于LLM患者护理应用的综述常忽略药学领域:一项系统综述虽指出重要局限但排除了药学研究;另一项聚焦医学专科;一项药学范围综述仅关注ChatGPT。为填补此空白,研究人员开展了快速综述,以描述LLM在与药师主导的直接患者护理任务相关的发表评价中的特征,综合其性能表现,并识别工作流整合的机会与挑战。

该快速综述遵循Cochrane快速综述方法指南,并按PRISMA 2020标准报告。检索了CINAHL、Embase、Ovid MEDLINE、PubMed、Scopus和Web of Science数据库(2014年1月至2026年4月21日),并补充筛查了相关参考文献与引文。共纳入71项原始同行评议研究。研究人员将识别的任务类别映射至国际药学联合会(FIP)和世界卫生组织(WHO)制定的优良药学实践(Good Pharmacy Practice,GPP)指南及国际标准职业分类(International Standard Classification of Occupations,ISCO-08)框架,以确证其与药师直接患者护理职责的相关性。主要结论为:较新LLM版本通常优于早期版本,但评估方法与报告方式高度异质;大多数证据来自模拟评估,真实工作流研究极少。这是首个系统考察该领域的综述,其意义在于强调标准化评估和报告框架的必要性,并指出LLM整合需多学科合作。

关键技术方法包括:快速综述流程,样本量来自文献数据库而非临床队列;采用30%标题摘要双人独立筛选(一致性100%)后单人筛选;全文筛选由一人完成,另两人各验证50%决策;数据提取由单人完成,三人各验证10%。未进行正式偏倚风险评价,因主要目标是描绘文献而非meta分析。数据通过叙述性综合,并对ChatGPT/GPT变体在各任务组的最高准确率绘制热图。

研究结果:

**3.1 研究特征**:71项研究中,按作者隶属机构国家计,美国最多(n=24,33.8%),其次中国(n=5,7.0%),约旦、荷兰、沙特阿拉伯各4项。研究均发表于2023至2026年,数量逐年上升。多数为横断面设计(n=23,32.4%);仅1项研究将GPT-4整合至临床药师真实工作流,辅助草拟电子患者问询回复。ChatGPT/GPT变体是被评估最多的模型(n=63),其他包括Gemini(n=18)、Copilot(n=11)、Claude(n=10)、DeepSeek(n=7)、Llama(n=4);35项研究使用多个模型。

**3.2 药师主导的直接患者护理任务**:共归纳13个任务组:不良药物反应识别与因果关系评估、药学实践一般问题回答、临床护理状况、补充与替代治疗、药物相互作用、药物剂量与给药、药物(药丸)识别、药物信息提供、患者教育与咨询、药物治疗管理、多药联用处方精简、处方审核与调剂、远程药学。

**3.3 LLM提示方法**:多数研究(n=57,80.3%)采用直接提示;9项(12.7%)使用角色扮演提示。报告查询日期(54.9%)、会话处理方式(52.1%)和生成参数设置(14.1%)的比例均较低。

**3.4 LLM评估方法**:多将LLM输出与既定标准(如指南、Micromedex、Lexicomp)比较,或与主题专家评估对照。

**3.5 LLM评估指标**:最常用指标是准确率(n=53,74.6%),但其操作定义不一,例如“恰当率”“正确性”“与参考标准一致性”。5项研究使用混淆矩阵指标(真阳性、假阳性、真阴性、假阴性);仅2项研究使用自动文本生成指标(如BERTScore、ROUGE)。

**3.6 LLM性能结果**:角色扮演提示较直接提示可提升ChatGPT-3.5准确率(86.67% vs 77.78%)并增加引文数。GPT-4在处理无需患者数据的事实性问题时准确率更高,但在不良药物反应因果任务中表现不佳;在药物相互作用预测中,Bing AI准确率最高(0.788),其后为Bard(0.613)、ChatGPT-4(0.592)、ChatGPT-3.5(0.469)。热图显示GPT-4普遍优于GPT-3和GPT-3.5;OpenAI o3、o4-mini及定制版ChatGPT-4在特定任务中达到高准确率。

**3.7 LLM输出可重复性**:重复查询显示,GPT-3.5重复率在61.8%至87.5%之间;GPT-3在4个时间点仅2个相同回答;GPT-4在药丸图像识别2周后重复率为100%;远程药学场景中ChatGPT-4重复率(80%)高于ChatGPT-3.5(65%)。开放生成任务重复性更低。

**3.8 纳入研究的局限性**:最常报告的是样本量小;其他包括单语言查询和通用性受限。关键局限为LLM版本、提示方法、生成参数和会话处理方式的异质性。

**3.9 LLM整合机会**:GPT-4在远程药学中优于3.5,且其训练范围内答案较药师更准确。研究评估了荷兰语、泰语、日语、法语、中文等语言,提示多语言应用潜力。唯一真实工作流试点中,GPT-3.5分类患者询问、GPT-4草拟回复供药师审核;虽电子健康记录未显示显著时间节省,但药师报告感知节省时间、认知负荷降低、工作疲惫减轻,LLM草稿利用率为44.4%。一项前瞻性研究未发现LLM辅助与无辅助药师平均准确率有显著差异;另一研究中医用LLM OpenEvidence剂量建议准确率95%,Perplexity 85%,Copilot 62.5%,ChatGPT 40%。

**3.10 LLM整合挑战**:**3.10.1 幻觉**:ChatGPT-3.5在角色扮演提示中24.3%回复编造引文,零样本提示为22.5%;一项研究定性评估4种LLM的幻觉缓解,但未报告幻觉率。**3.10.2 成本**:GPT-4因令牌和计算限制未生成5%的咨询草稿;ChatGPT-4需付费并受令牌限制,而3.5免费。**3.10.3 数据隐私与合规**:专有LLM存在隐私风险;唯一真实工作流研究称其符合《健康保险流通与责任法案》(HIPAA);部分研究使用去标识化数据。**3.10.4 训练数据可用性**:当任务需要患者特异性信息或超出训练截止日期时,LLM准确率下降;若所需信息可公开获取则表现较好。

讨论部分总结了该领域现状:先进模型通常表现更佳,但评估方法异质且多为模拟研究;建议采用标准化评估框架(如HELM、F1、AUC)并保留临床评估(如QUEST框架),同时应用TRIPOD-LLM、CHART等报告工具以提高透明度和可比性。模型选择应依据证据而非流行度。未来需关注多语言、推理能力、定制化及专用LLM的独立验证。挑战包括幻觉、提示敏感性、成本和隐私,整合需采用自上而下或自下而上的策略并开展成本效益分析,最终需临床、技术和监管多学科协作。

翻译研究结论部分:对与药师主导的直接患者护理任务相符的LLM评估表明,LLM在药学实践中的潜力日益增加。然而,证据基础在方法上存在异质性,LLM版本、提示与评估方法、结局指标及报告实践方面的差异限制了研究间比较。大部分证据来自模拟评估,凸显了开展真实世界研究以评估LLM在实际工作流中表现和影响的必要性。未来评估应优先考虑先进模型,采用标准化评估方法和报告框架,并调查药师对使用LLM的准备程度、看法与期望。此外,未来评估应纳入可用性、信任、认知负荷和工作流匹配度等人因结局,以更全面理解LLM安全有效地整合至药师主导的患者护理所需条件。多学科合作对于解决LLM整合到药师主导的直接患者护理工作流中面临的多方面挑战至关重要。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号