Transformer-based pretrained language models在成人护理记录分析中的应用:范围综述

《International Journal of Medical Informatics》:Applications of Transformer-Based pretrained language models for analyzing nursing records in adult Care: A scoping review

【字体: 大 中 小 】 时间:2026年10月10日 来源:International Journal of Medical Informatics 5.0

编辑推荐:

  背景:护理记录包含具有临床意义的信息,但因其非结构化叙事格式而仍未得到充分利用。基于Transformer的预训练语言模型(Transformer-based pretrained language models),包括基于编码器的预训练语言模型(encode

  
背景:护理记录包含具有临床意义的信息,但因其非结构化叙事格式而仍未得到充分利用。基于Transformer的预训练语言模型(Transformer-based pretrained language models),包括基于编码器的预训练语言模型(encoder-based pretrained language models, PLMs)和基于解码器的生成式大语言模型(decoder-based generative large language models, LLMs),正越来越多地被用于分析这些记录,但其应用全景仍不清晰。目的:映射这些模型在成人护理(adult care)护理记录中的应用,包括所分析的记录、分析任务与临床目的、方法学方法、模型性能及已报告的局限。方法:本范围综述(scoping review)遵循Joanna Briggs Institute(JBI)方法学和PRISMA-ScR指南。检索PubMed、Embase、CINAHL和Scopus,自建库至2026年5月,纳入将这些模型应用于成人护理中非结构化护理记录的研究。两名评审员独立筛选标题/摘要并评估全文。数据由一名评审员提取,并由两名评审员独立核实。发现以描述性方式综合。结果:纳入2021年至2026年间发表的32项研究。基于编码器的PLMs(n = 19)主要经监督微调(supervised fine-tuning)进行适应,而基于解码器的生成式LLMs(n = 13)主要通过提示(prompting)使用。两种架构主要用于分类和信息抽取,最常用于识别患者状况或预测临床结局。两项研究进行了摘要生成。由于评估条件异质且不确定性报告有限,模型性能在研究中不可比。仅一项研究报告了前瞻性沉默评估;无研究评估临床部署或对临床结局的影响。泛化性是最常报告的局限(n = 14)。结论:基于Transformer的预训练语言模型已被应用于护理记录,主要用于将叙事文本转化为预定义类别,很少使用利用这些记录叙事特征的方法。验证大多局限于模型开发环境,限制了对临床适用性的结论。未来研究应优先进行外部和前瞻性验证,并研究适合护理记录的任务和适应策略。
Suyeon Lim、Youran Lee、Yupawadee Kantabanlang和Yun Jiang开展的这项范围综述(scoping review)聚焦于成人护理中非结构化护理记录的分析。研究背景在于,非结构化数据,包括自由文本临床笔记,在某些环境中估计约占电子健康记录(electronic health record, EHR)数据的80%,而护理记录是此类数据的主要来源。护理记录包含有关患者临床状态、护理评估和护理过程的叙事信息,这些信息无法仅由结构化EHR数据完全捕获。护理记录中的文档模式,包括护理条目的频率、时间和内容,可能提供患者恶化和恢复的临床有意义信号;例如,一个纳入护理文档模式的早期预警系统比基于生理学的评分系统提前42 h识别患者恶化风险。然而,护理记录因自由文本格式、语言变异和术语非标准化而难以分析,其包含的大量临床信息未被充分利用。自然语言处理(natural language processing, NLP)方法已被用于护理记录中的症状识别、风险预测和患者安全事件检测等任务。早期研究主要依赖基于规则和基于特征的方法,但同一临床概念在护理记录中可能有多种表达,使预定义规则和标准化词表难以捕获其完整临床含义;这些方法还可能依赖专家词表、手工特征工程或大量标注数据集,劳动密集并限制可扩展性和泛化性。基于Transformer的预训练语言模型代表了从传统NLP方法的重大方法学转变。基于Transformer架构,这些模型从大规模语料学习上下文语言表示,无需预定义规则即可考虑多样表达、缩写和上下文关系。基于Transformer的预训练语言模型包括用于分析临床文本的基于编码器的预训练语言模型(encoder-based pretrained language models, PLMs)和基于解码器的生成式大语言模型(decoder-based generative large language models, LLMs)。编码器PLMs,如Bidirectional Encoder Representations from Transformers(BERT),使用双向上下文生成输入文本表示,常通过监督微调适应文本分类和概念抽取等任务。解码器生成式LLMs,包括Generative Pre-trained Transformer(GPT)系列,按顺序生成文本,可通过提示或额外模型适应执行分类、信息抽取、摘要和记录生成。在护理记录分析中,编码器和解码器模型均仍在使用,其选择和适应取决于分析任务、期望输出、标注数据可用性和计算资源等因素。近年来,基于Transformer的预训练语言模型在护理记录分析中的应用迅速扩展。通过识别叙事文档中的上下文和语义模式,这些模型可能促进使用难以从结构化数据单独获得的临床信息。然而,这些模型在护理记录中应用的范围和性质,以及其用于研究或临床实践的成熟度,仍不清楚。已有文献综述要么聚焦传统NLP方法,要么更广泛地聚焦临床文本,而未专门检查护理记录。因此,本范围综述旨在映射基于Transformer的预训练语言模型如何应用于成人护理期间生成的非结构化护理记录。具体而言,其特征包括所分析的护理记录、所解决的分析任务和临床目的、所用模型、适应策略和评估方法,以及报告的性能和局限性。通过综合这些发现,本综述识别知识空白,并为未来研究提供信息,以推动这些模型在护理记录分析中的可靠和临床相关应用。

关键技术方法不超过250字:研究人员遵循Joanna Briggs Institute(JBI)范围综述方法学和PRISMA-ScR报告规范,采用Population-Concept-Context(PCC)框架构建研究问题。检索PubMed、Embase、CINAHL和Scopus,自建库至2026年5月。两名评审员独立筛选标题/摘要和全文;数据由一名评审员提取并由两名评审员独立核实。纳入标准为:分析成人(≥18岁)护理期间生成的非结构化护理记录;应用基于Transformer的预训练语言模型,包括编码器PLMs和解码器生成式LLMs;英文发表。排除模拟或合成护理记录、未将护理记录与其他临床文本分开分析、文献综述、缺乏充分方法学细节的研究方案或会议摘要。结果采用描述性综合。32篇出版物来自22个不同数据源;19个使用唯一来源,13个共享三个来源:澳大利亚住宅老年护理机构(residential aged care facility, RACF)语料、MIMIC-III、以及美国一个健康系统的急诊科(emergency department, ED)分诊记录。

研究结果如下。

4.1 研究选择:通过数据库检索识别4,470篇文章,去除2,130篇重复后,标题和摘要筛选排除2,223篇,剩余117篇进行全文检索。4篇全文不可用,其余113篇进行全文审查。其中81篇根据预定义纳入标准被排除:未分析非结构化护理记录(n = 42)、未应用基于Transformer的预训练语言模型(n = 27)、未将护理记录与其他临床文本分开分析(n = 8)、儿科人群(n = 2)、使用合成护理记录(n = 1)、非英文发表(n = 1)。最终32项研究纳入综述。

4.2 研究特征:所有研究发表于2021年至2026年,其中17项(53.1%)发表于2025年。多数研究在美国(n = 10)或澳大利亚(n = 9)进行。所分析记录涵盖多种医疗环境,最常见为急诊科(ED;n = 9)、住院病房(n = 8)和住宅老年护理机构(RACF;n = 8),另有重症监护病房(intensive care unit, ICU;n = 3)、远程医疗服务(n = 2)、家庭医疗(n = 1)和门诊诊所(n = 1)。多数研究分析无指定诊断的一般人群记录(n = 13),其次为老年人伴或不伴痴呆(n = 9)和癌症患者(n = 4)。32篇出版物来自22个不同数据源;19个使用唯一来源,其余13个共享三个来源:澳大利亚RACF语料(n = 8)、MIMIC-III(n = 3)和一个美国健康系统的ED分诊记录(n = 2)。在使用RACF语料的研究中,6项还复用了另一项纳入出版物的注释、提示或测试集。

4.3 所分析护理记录的特征:所分析的护理记录为护士撰写的文档(n = 29)和护士介导的患者沟通(n = 5),其中两项研究同时分析两者。在护士撰写记录中,未指定类型的护理笔记最常见(n = 9),其次为ED分诊护理笔记(n = 7)和护理进展笔记(n = 6)。其余5项研究各分析一种不同记录类型。源护理记录跨越7种语言,主要为英文(n = 22),两项研究分析以两种语言书写的记录。

4.4 分析任务与临床目的:分析任务为文本分类(n = 24)、信息抽取(n = 9)和摘要生成(n = 2),其中3项研究应用多于一种任务。文本分类将记录分配至预定义类别。信息抽取识别记录中的目标实体,包括命名实体抽取(n = 6)和文档级结构化抽取(n = 3)。摘要生成生成按固定字段组织的文本,而非自由文本摘要。最常见的临床目的是状况识别,主要针对激越(n = 5)和营养不良(n = 4),以及谵妄、晕厥和压力性损伤等状况。分诊严重度分类在就诊时分配严重度等级(n = 4)。结局预测针对未来事件和医疗利用,最常见为住院或入院(n = 3),另有住院时间、脓毒症和出院后死亡。

4.5 方法学路径:两种模型架构为基于编码器的PLMs(n = 19)和基于解码器的生成式LLMs(n = 13)。基于编码器的PLMs自2021年起出现,均建立在BERT及其变体上,涵盖临床领域(n = 7)、通用领域(n = 6)和语言特异性模型(n = 4),其中两项研究结合领域。基于解码器的生成式LLMs仅在2024年和2025年出现,为通用领域(n = 12),如GPT和Llama,或语言特异性(n = 1)。无研究使用在护理记录上预训练的模型。任务分布随架构不同:编码器PLMs用于文本分类(n = 17)和信息抽取(n = 2),而解码器生成式LLMs用于分类(n = 7)、信息抽取(n = 7)和摘要生成(n = 2)。适应策略随模型架构而定。编码器PLMs通过监督微调(supervised fine-tuning, SFT)适应(n = 12),其中一项还先在领域语料上进行领域自适应预训练再微调;6项未进一步适应;1项未报告适应方法。解码器生成式LLMs主要依赖提示(n = 12),使用零样本、一样本或少样本方法,部分还结合检索增强生成(retrieval-augmented generation, RAG)或使用低秩适应(low-rank adaptation, LoRA)的参数高效微调(parameter-efficient fine-tuning, PEFT)。19项研究仅使用护理文本作为输入数据,13项将其与额外数据结合,最常为结构化临床数据,如生命体征或实验室结果,两项研究结合非护理专业人员撰写的文本。结合机制为早期融合(n = 7)、晚期融合(n = 4)或提示级序列化(n = 2)。结合数据在编码器PLMs中(19项中的10项)比在解码器生成式LLMs中(13项中的3项)更常见。

4.6 报告的性能:性能报告在所用指标、计算值的样本和所评估的模型配置方面不同,因此报告值在研究中不可比。F1分数报告最多(n = 24),其次为准确率(n = 16)、精确率(n = 14)、召回率(n = 12)和AUROC(n = 10)。4项研究未报告性能指标,而是呈现描述性计数或相关性。报告值来自预指定配置的研究有18项,来自多个比较配置中最佳表现配置的有14项。不确定性在5项研究中报告,其中4项报告置信区间(confidence interval, CI),1项报告标准差(standard deviation, SD)。其余27项仅给出点估计。样本报告也不完整:17项未报告患者数,2项未报告文档数,1项两者均未报告。

4.7 验证、临床实施与治理:验证主要在模型开发环境内进行。26项研究分析来自单一机构的记录。32项研究中,27项停留在模型开发或内部验证,3项使用时间验证。地理验证在2项研究中报告,且均在同一健康系统的另一家医院进行,因此无模型在独立机构中被评估。模型输出在3项研究中与临床医生判断比较。在临床实施准备度方面,内部回顾性验证最常见(n = 23),其次为模型开发(n = 6)、外部验证(n = 2)和前瞻性沉默评估(n = 1)。无研究向临床医生展示模型输出、达到临床部署或评估对护理或运营的影响。预期临床使用者在22项研究中被指定,护理工作流程中的时点在20项中被指定,但可用性或护理工作量仅在6项中被涉及,问责或患者安全在9项中被涉及。亚组性能在1项研究中报告,偏倚评估在3项中报告,无研究描述审计轨迹。

4.8 报告的局限性与挑战:27项研究报告了局限性,最常见为泛化性(n = 14)。12项研究依赖单中心回顾性数据集或来自特定人群或环境的数据,2项报告缺乏外部验证。1项报告缺乏关于工作流程整合和运营结果的证据。护理记录数据特征是另一常见限制(n = 11)。非标准化叙事格式、排版错误、医学缩写以及记录者专业水平导致的数据质量差异影响模型性能。标签有限、类别不平衡和非英语环境中的翻译相关性能下降也被报告。模型特定局限性方面,编码器PLMs由于输入token限制需要分段处理长记录;解码器生成式LLMs易产生幻觉和提示依赖的输出变异。

讨论部分总结:本范围综述映射了2021年至2026年间发表的32项研究中基于Transformer的预训练语言模型在非结构化护理记录中的应用。编码器PLMs和解码器生成式LLMs在主要任务和适应策略上不同,因此应结合两种架构的研究分布解释发现。第一,所分析护理记录的范围正在扩大,从纵向积累的护理和进展笔记到简短且信息密集的ED分诊笔记;本综述识别ED和RACF为突出环境,并识别分析护士-患者语音转录的研究。然而,一些研究使用相同数据源,如MIMIC数据集,因此现有证据可能不代表这些模型可应用的全部护理记录范围。未来研究应使用独立和多样数据源,并包括更广泛记录类型、护理环境、患者人群和语言。第二,多数研究聚焦将护理叙事转化为结构化输出,即将叙事文本转化为预定义类别或实体。这类似传统临床NLP,但护理叙事的价值可能部分在于难以还原为固定字段的上下文信息。本综述中,即便使用生成式LLMs的13项研究也未产生开放式叙事综合;两项摘要生成研究生成按预定义字段组织的文本。未来研究应考察保留和综合护理叙事中所含时间、情境和关系信息的任务,同时继续研究分类和信息抽取。第三,护理记录分析已从编码器PLMs扩展到解码器生成式LLMs,两种架构目前均在使用。本综述中,通过SFT适应的编码器PLMs用于具有标准化类别的任务,如识别晕厥或慢性疼痛;经提示的解码器生成式LLMs用于分类和抽取,以及需要更灵活输出的任务,如抽取激越症状和触发因素、总结伤口评估信息。提示可能减少对任务特定训练和大型标注数据集的依赖,但并不消除对具有代表性评估数据的需求。每种架构也有限制:编码器PLMs可能受输入长度限制,解码器生成式LLMs可能产生幻觉或输出变异。尽管架构扩展,针对护理记录的适应仍有限。所有纳入模型均在通用领域或更广泛临床语料上预训练。唯一使用领域自适应预训练的研究依赖单一机构临床文本,而非专门由护理记录组成的语料。鉴于护理记录的独特术语、缩写、叙事惯例和临床重点,在通用或广泛临床文本上预训练的模型可能无法完全捕获其含义。未来研究应考察领域自适应预训练、指令微调和其他与护理记录语言和情境特征一致的适应策略。第四,报告模型性能无法在研究中作有意义比较。研究在数据集、任务、结局定义、评估指标和模型配置方面不同,且少报告不确定性。部分研究中报告值是多个比较配置中的最佳表现值,观察结果后选择的值可能夸大性能,限制报告估计的泛化性。现有证据未确定任何模型架构、适应策略或输入配置持续优越。评估和报告异质性长期限制研究间比较。专有GPT模型的权重不可用且底层系统可能随时间变化,带来可复现性挑战。未来研究应充分报告模型配置、提示、性能估计、不确定性和评估条件,并在同一数据集和任务上使用预指定、标准化方案进行比较。第五,支持模型验证和临床实施的证据有限。验证通常仍在开发环境内,有限泛化性是纳入研究最常识别的局限。在开发中表现良好的模型在独立数据集上可能表现显著更差,但隐私、治理和物流障碍继续限制临床文本共享。仅一项研究进行前瞻性沉默评估,无研究评估临床工作流程内部署或模型使用对临床过程或患者结局的影响。可用性和工作量的证据也稀缺。人类监督和错误可追溯性很少被涉及。总体而言,研究仍集中于模型开发和回顾性性能评估。未来研究应从外部验证推进到前瞻性沉默评估,并在安全性和性能确立后,推进到对模型辅助护理过程和临床结局进行谨慎治理的评估。

研究结论部分翻译:本范围综述发现,基于Transformer的预训练语言模型已被应用于成人护理中的非结构化护理记录,主要用于将叙事转化为预定义类别或实体。综合护理记录中情境和时间信息的任务仍不常见,且未发现护理特异性的模型适应。异质性评估方法阻碍了模型的有意义比较,而验证大多局限于开发环境,使临床适用性仍不确定。未来研究应考察适合护理记录的任务和适应策略,提高评估的透明度和标准化,并从外部验证推进到前瞻性沉默评估,并在适当时推进到临床工作流程内受到谨慎治理的评估。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号