自然语言处理在手术并发症监测中的应用验证:通过电子健康记录识别11种术后并发症
《BMJ Surgery, Interventions, & Health Technologies》:Validation of natural language processing for surgical complication surveillance: detecting 11 postoperative complications from electronic health records
【字体:
大
中
小
】
时间:2026年07月02日
来源:BMJ Surgery, Interventions, & Health Technologies
编辑推荐:
摘要
引言:术后并发症是衡量外科手术质量的重要指标,它反映了患者的预后情况、围手术期护理的效果以及医疗资源的负担。尽管其重要性不言而喻,但目前仍缺乏高效、准确且经济可行的监测方法。本研究旨在评估自然语言处理模型是否能够从手术电子健康记录中识别出11种术后并发症,其准确率可与人
摘要
引言:术后并发症是衡量外科手术质量的重要指标,它反映了患者的预后情况、围手术期护理的效果以及医疗资源的负担。尽管其重要性不言而喻,但目前仍缺乏高效、准确且经济可行的监测方法。本研究旨在评估自然语言处理模型是否能够从手术电子健康记录中识别出11种术后并发症,其准确率可与人工审核相媲美。
研究设计与方法:在丹麦两个地区的18家医院进行了回顾性研究,共纳入6年间的17,486例手术病例。数据集被划分为训练集、验证集和测试集,分别用于自然语言处理模型的开发与评估,占比为50.2%/33.6%/16.2%。模型性能通过与现有的术后并发症监测方法(国际疾病分类第10版编码)以及作为黄金标准的人工审核进行比较。
结果:自然语言处理模型在测试集上的接收者操作特征曲线下面积介于0.901至0.999之间,在识别术后并发症方面显著优于ICD-10编码。与人工审核相比,这些模型的灵敏度在0.701至1.00之间,仅心肌梗死的情况除外,其灵敏度为0.500。阳性预测值在0.0165至0.947之间,阴性预测值则在0.995至1.00之间。采用“人机协同”方式时,仅有16.3%的病例需要人工复核才能达到1.00的阳性预测值。
结论:仅依靠自然语言处理模型即可达到可接受的术后并发症识别水平,且表现优于ICD-10编码。虽然将自然语言处理与人工审核相结合可以提高整体准确性并减轻工作量,但这些模型仍无法识别某些并发症。因此,自然语言处理算法可作为人工监控的辅助工具,为更大规模的术后并发症监测提供潜在解决方案。
现有研究进展:术后并发症是重要的质量评价指标,但目前的监测方法,包括国际疾病分类第10版编码和人工审核,存在诸多局限性。
本研究贡献:本研究表明,自然语言处理技术能够以与人工审核相当的准确率从电子健康记录中识别出11种术后并发症,为现有监测方法提供了新的解决方案。
对研究、实践或政策的潜在影响:基于自然语言处理的监测技术可实现实时、大规模的并发症检测,从而提升手术质量监控水平并优化医疗资源分配。
引言:术后并发症被广泛视为衡量外科手术质量的关键指标。它不仅反映手术技术的水平,还体现围手术期及术后护理的质量,进而影响患者的生存质量、功能状态及预期寿命。从整体来看,术后并发症会带来巨大的医疗资源需求,包括临床人力投入和经济成本。尽管如此,关于术后并发症的检测与监测方法仍存在争议。许多医疗系统依赖行政数据源,如国际疾病分类第10版编码和保险理赔记录来统计并发症发生率,但这些数据源的可靠性往往不足,存在报告不足和记录不准确等问题。为克服这些局限,一些医疗系统采用了从电子健康记录中手动提取数据的质量改进计划,美国外科医师学会的国家外科质量改进计划便是典型例子。尽管这类方法有效且成本低,但它们仍存在资源消耗大、可能引入选择偏差以及缺乏实时监测能力等缺陷。鉴于当前监测方法的局限性以及术后并发症带来的巨大负担,迫切需要一种实时、高精度的监测方法。在这方面,人工智能,尤其是自然语言处理技术,通过低成本、高效率地分析电子健康记录中的文本,为提升手术质量提供了良好前景。不过,目前尚不清楚自然语言处理技术能够准确识别哪些类型的术后并发症。本研究旨在填补这一空白,通过评估自然语言处理算法识别多种术后并发症的能力,探讨其作为各类外科手术通用监测工具的潜力。具体而言,我们希望确定自然语言处理模型是否能够以与人工审核相当的准确率,从电子健康记录中的自由文本信息中识别出11种目标术后并发症,包括深度手术部位感染、器官/体腔部位感染、伤口破裂、肺栓塞、中风、心脏骤停、心肌梗死、深静脉血栓形成、非计划性再入院、非计划性再次手术以及非计划性插管。我们假设,自然语言处理模型能够在术后30天内可靠地识别出这些并发症,其性能可与人工审核相媲美。
方法:患者与公众参与:由于本研究为回顾性设计,且数据已去标识化,因此无法让患者或公众参与其中。
数据来源:由于丹麦没有全国性或地方性的外科手术质量数据库,目前该国主要依靠ICD-10编码来记录术后并发症。本研究的数据来自丹麦首都地区和西兰岛地区5年间(2016–2021年)的手术患者电子健康记录。丹麦实行由税收资助的全民医疗制度,所有公民均可免费获得全面的外科医疗服务。这两个地区共有18家医院,能够提供各类外科手术服务及术后护理,服务人口约270万。数据集涵盖了这5年间的所有手术病例,包括各种类型的手术,既有择期手术也有急诊手术,涉及骨科、普通外科、整形外科、妇产科、泌尿外科、眼科、心胸外科、血管外科、神经外科以及口腔耳鼻喉科等领域。这些医院使用的是EPIC电子健康记录系统。电子健康记录内容包括临床笔记(如入院记录、病程记录、手术记录、出院记录)、生化检测数值以及术后30天内的生命体征数据。根据法律规定,所有记录都必须用丹麦语书写,但其结构遵循国际通用的病历格式。此外,数据中还包括了与合并症、急性病症及术后并发症相关的ICD-10诊断代码,以及人口统计学数据(年龄、性别、体重等)。本研究遵循“个体预后或诊断的多变量预测模型透明报告”指南的要求进行。
训练集:训练集包含2016年5月1日至2021年10月30日期间的病例,最初是为研究浅表手术部位感染而建立的。其中包含了ICD-10编码显示为浅表手术部位感染的病例(详见在线补充图S1中的病例流程图)。这些病例都经过了人工标注,以便用于后续针对不同并发症的检测研究。在使用自然语言处理技术时,第一步是训练模型,即利用部分数据(训练集)让模型学习如何对信息进行分类。这一过程需要先对数据进行标注,以便模型了解哪些特征(单词或短语)对于识别特定并发症至关重要。训练数据还能帮助模型建立输入内容(医学文本)与输出结果(并发症类型)之间的关联。最后,训练数据能让模型从具体案例中总结规律,从而对未知数据做出预测或分类。训练完成后,会为每种并发症单独添加一个分类器,该分类器负责确定将某种并发症判定为存在的概率阈值。模型开发的这些初始步骤如图1的第1步所示。
验证集:验证集包含2021年11月1日至11月20日的病例(见图1)。该集合用于微调模型参数、优化超参数,并确定用于分类并发症的阈值(见图1的第2步)。由于分类结果是以概率形式呈现的,而非简单的二元结果,因此阈值决定了将某种并发症标记为存在的概率水平。调整这些阈值会影响模型的灵敏度和特异性。
测试集:测试集包含2021年11月21日至11月30日的病例(见图1)。该集合用于在尚未见过的数据上测试模型的性能,因此需要有一个“真实标准”,为此我们选择了对电子健康记录进行人工审核的方式。在验证阶段确定的阈值会被应用到测试集中(见图1的第3步)。
验证审查流程:为将数据用于自然语言处理分析,整个数据集被分为三个独立的子集:训练集、验证集和测试集。最初,所有子集中的病例都由由医生和受过培训的医学生组成的评审团队逐一检查,查看是否存在所研究的并发症。为确保一致性,所有被标记为阳性的病例都会由一名医生(合著者AB)再次复查。未被标记为阳性的病例则无需重复审核。虽然没有正式的差异解决机制,但设置了阳性病例确认步骤,以提高作为黄金标准的标注准确性。人工标注时采用了2018年美国外科医师学会国家外科质量改进计划的定义,相关内容可见在线补充表S2。
ICD-10编码:为了将自然语言处理模型的性能与传统的ICD-10编码监测方法进行比较,我们为每种术后并发症定义了相应的编码(详见在线补充表S1)。ICD-10编码是由主治医生在诊疗过程中或出院时填写的,涵盖了术后30天内的所有编码。对于“非计划性再入院”、“非计划性再次手术”和“非计划性插管”这三种并发症,目前没有对应的ICD-10编码,因此比较仅限于自然语言处理模型与人工审核之间的对比。
数据泄露与缺失数据问题:为减少数据泄露和缺失数据的问题,我们采取了多项措施。那些未被标记为“完整”的病例,以及手术开始时间或结束时间有缺失值的病例都被排除在外。只有属于相关外科专业领域的病例才会被纳入研究范围(依据丹麦卫生系统的分类代码确定)。如果患者在30天内接受了多次无关手术,那么除了再次手术的情况外,只保留第一次手术的记录。为进一步防止时间上的数据泄露,训练集中不包含2021年10月30日之后的任何病历记录,以确保训练集与在时间上相近的验证集和测试集完全分离。
机器学习建模:整体的建模方法之前已有详细阐述,此处为便于理解再作简要总结。对于每一例病例,术后30天内的所有临床记录——如入院记录、病程记录、手术记录、麻醉记录、会诊记录以及出院记录——都会按时间顺序合并成一个文本文档。文本预处理包括将文本转换为小写、去除标点符号以及基于空白字符进行分词。之后,使用词频-逆文档频率矩阵对1至3个词组的词汇进行筛选,只保留出现在至少5份文档中的词汇。由此得到的TF-IDF向量便成为轻量级梯度提升机分类器的唯一输入特征。轻量级梯度提升机是一种快速、内存占用低的梯度提升框架,它通过逐叶生长策略和基于直方图的分裂方法构建决策树集成模型。在自然语言处理任务中,它通常应用于经过处理的文本表示形式,如TF-IDF向量、词袋模型特征或经过加工的语言特征,而非原始的文本序列。之所以选择这种方法作为基准,是因为它在实现效率、较小数据量下的性能以及针对结构化文本特征的强大性能之间取得了良好的平衡。结构化的电子健康记录数据,如生命体征、实验室检测数值、ICD-10编码等,并未被作为输入特征使用。不过,结构化信息被用来为三种并发症赋予负标签:具体来说,没有发生再入院情况的病例会被自动标记为“无非计划性再入院”;没有再次手术情况的病例则被标记为“无非计划性再次手术”。此外,那些因心肌梗死而接受相关手术的病例(手术代码前缀为KFN),在文本分类之前就会被标记为“无心肌梗死并发症”。
阈值选择:由于模型输出的是每种并发症的概率值,而非二元分类结果,因此选择合适的概率阈值至关重要。这些阈值直接影响模型的灵敏度和特异性,进而决定假阳性和假阴性的出现率。为了解决这个问题,我们研究了两种方法:独立模型法和人机协同法。SAM仅依据概率阈值对病例进行分类,而HITL方法则会将概率较高的病例标记出来供人工审核,概率较低的病例则被归类为阴性,无需人工审核。对于那些超过设定概率阈值的病例,会通过人工审核来进行评估。设定阈值是为了优化F2分数,优先考虑灵敏度而非阳性预测值,从而尽量减少假阴性的出现率。
模型的性能是通过接收者操作特征曲线下面积(ROC AUC)、精确度-召回率曲线下面积(AUPRC),以及灵敏度、特异性、阳性预测值和阴性预测值来评估的。此外,还给出了SAM和HITL方法的阈值。为了便于比较,还包含了ICD-10编码的绩效指标。
结果以计数、中位数(四分位数范围)、百分比以及上述性能指标的形式呈现。数据处理是在Windows Azure平台的安全云环境中进行的,所使用的Python版本为V.3.8.13,用于实现自然语言处理算法。
整个数据集包含17,486例手术病例,对应17,925次手术操作以及182,293条电子健康记录中的病历描述。数据预处理步骤如图1所示,排除标准则详细记载在在线补充表S3中。该数据集是根据时间顺序划分为训练集、验证集和测试集的(见在线补充图S2)。训练集包含5,352例病例和91,435条病历记录,验证集包含8,329例病例和61,335条病历记录,测试集则包含3,805例病例和29,523条病历记录。根据病历记录的比例,各集合的占比分别为50.2%/33.6%/16.2%(训练集/验证集/测试集)。
表1展示了人口统计信息。在研究对象中,52.8%为女性,平均年龄为59岁。手术的平均时长为52分钟,最常见的外科专业为骨科(24.4%)和普通外科(22.9%)。
表2显示了通过手动筛选和ICD-10编码确定的验证集和测试集中11种术后并发症的分布情况。手动筛选发现的并发症数量明显多于ICD-10编码识别出的数量,总体发生率是其数倍。在验证集中,手动筛选发现的并发症发生率为11.1%,在测试集中则为13.5%。而对于通过ICD-10编码识别的并发症,只有大约三分之一经过人工审核后被确认为实际存在的并发症(详见“匹配”一栏)。具体而言,验证集中有36.0%的ICD-10编码并发症被确认,测试集中则有26.1%的此类并发症被确认。
表3展示了自然语言处理算法与ICD-10编码方法相比的绩效指标,同时还将手动筛选这一作为黄金标准的方案也纳入了对比。表中列出了SAM和HITL两种方法的各项指标以及对应的阈值。
对于ICD-10编码方法,其ROC AUC值在0.531(心肌梗死)到0.875(肺栓塞)之间。由于伤口破裂和心脏骤停的ICD-10编码数量不足,无法进行ROC AUC计算,因此这些结果的数值标注为NA。灵敏度值在0.00(伤口破裂)到0.375(中风和深静脉血栓形成)之间,不过肺栓塞的灵敏度为0.750。特异性值则在0.996到1.00之间,阳性预测值在0.0625到1.00之间,阴性预测值在0.992到0.999之间。
对于SAM方法,其ROC AUC值在0.901到0.999之间,灵敏度值在0.701到1.00之间,不过心肌梗死的灵敏度为0.500。特异性值在0.936到0.997之间,阳性预测值在0.0165到0.947之间,阴性预测值在0.995到1.00之间。
为了解决类别不平衡的问题,我们还计算了每种并发症的AUPRC值(见表3)。正如预期,AUPRC值低于ROC AUC值,尤其是对于那些较为罕见的并发症,如心肌梗死(SAM模型的AUPRC值为0.443)和伤口破裂(SAM模型的AUPRC值为0.663)。这些结果体现了在高度不平衡的数据集中ROC AUC指标的局限性,同时也表明尽管自然语言处理模型具备了较高的灵敏度,但不同并发症的精确度差异很大。
在HITL方法中,ROC AUC、AUPRC、灵敏度和阴性预测值都与SAM方法的结果一致。所有被标记出来需要人工审核的病例均为假阳性,通过人工评估并未发现额外的真阳性病例。因此,HITL方法并未提升灵敏度或真阳性的检出率,但它通过将假阳性预测转化为真阴性,提升了特异性和阳性预测值,因为这些被标记的病例被认为已由审核人员正确识别。
比较条形图(图2A)展示了识别术后并发症的不同方法——ICD编码法、SAM方法和手动筛选法。图2B则展示了没有相应ICD-10编码的并发症中,SAM方法与手动筛选法的对比情况,同时也会标明每种并发症的真阳性和假阳性数量。
图2:请求权限
(A) 测试数据集中,通过ICD-10编码、手动筛选以及独立模型(SAM)识别出的术后并发症数量的比较条形图。每种并发症的真阳性和假阳性数量均有所显示。
(B) 对于那些没有可用ICD-10编码的并发症,展示手动筛选法和独立自然语言处理模型(SAM)识别出的术后并发症数量的比较条形图。每种并发症的真阳性和假阳性数量均有标注。DSSI:深度手术部位感染;ICD-10:《国际疾病分类》第10版;OSSI:器官/部位手术部位感染;PCs:术后并发症;SAM:独立模型。
采用HITL方法时,有0.48%(心肌梗死)到6.43%(伤口破裂)的病例需要人工审核,以识别并消除假阳性预测,从而实现所设定的高特异性和阳性预测值。而要识别出全部11种术后并发症,需要对16.3%的病例进行人工审核。
本研究验证了自然语言处理算法在识别多种术后并发症方面的应用价值。在这项概念验证研究中,我们特意选择了简单且易于理解的模型架构,旨在为识别各类术后并发症建立明确的性能基准。在探讨更复杂的模型之前,确立这样的基准十分重要,因为复杂模型可能会带来更多的技术难题和可解释性方面的问题,而且并不一定能提升性能。虽然自然语言处理模型在灵敏度方面优于ICD-10编码,但由于假阳性率相对较高,完全自动化的方法仍需进一步改进。我们发现,通过引入少量人工干预,可以构建出更精准的混合系统(HITL),在这种情况下,仅有16.3%的病例需要人工审核来纠正假阳性预测,进而实现较高的特异性和阳性预测值,而灵敏度和阴性预测值则保持不变。这与完全依赖人工的质量改进计划相比,可减少80%以上的人工工作量,比如ACS NSQIP计划。
不过需要指出的是,HITL方法相较于SAM方法的优势在于它能够将假阳性转化为真阴性,而其他指标则基本保持不变。我们的研究结果表明,在处理类别不平衡的数据集时——也就是那些发病率较低的并发症——仅依据ROC AUC指标可能无法准确反映模型的真实性能,而且若不牺牲关键的质量指标,仅靠自然语言处理技术还难以实现完全自主的并发症分类。因此,不仅要仔细考量AUC性能指标,还要关注阈值设置如何影响灵敏度与阳性预测值之间的平衡。最佳平衡点将取决于具体的应用场景,这一观点也与以往的研究结果一致。
为进一步弥补这一缺陷,我们还计算了每种并发症的AUPRC值。与ROC AUC相比,AUPRC通过关注精确度和召回率而非假阳性率,能更准确地衡量类别不平衡条件下的模型性能。正如预期,AUPRC值普遍低于ROC AUC值,尤其是对于那些罕见并发症而言。不过,无论是在ROC AUC还是AUPRC指标上,自然语言处理模型的表现仍远优于ICD-10编码方法,这进一步证明了它们在现实世界中的并发症监测中的应用价值。
尽管此前已有研究探讨过自然语言处理技术在术后并发症识别中的应用,但大多数研究都聚焦于某一种特定的并发症,通常是手术部位感染。相比之下,我们的研究则涵盖了多种不同的术后并发症。以往的研究报告称,相关模型的ROC AUC值在0.855到0.921之间,灵敏度则在0.580到0.849之间。而我们的研究结果显示,ROC AUC值在0.901到0.999之间,性能更为出色,当然这也需考虑到之前提到的那些局限性。我们的灵敏度值在0.500到1.000之间,平均值为0.873,与现有文献中的数值相当。其他针对多种术后并发症的自然语言处理研究也呈现出类似的趋势,有研究指出,针对9种并发症的模型灵敏度在0.560到0.950之间,还有研究显示,针对18种并发症的模型平均灵敏度为0.830。2021年的一项系统评价和元分析进一步表明,自然语言处理模型在灵敏度方面往往优于非自然语言处理模型。
需要说明的是,这里所采用的方法与大型语言模型 的应用方式有所不同。虽然大型语言模型在类似任务中也展现出了出色的性能,但它们本质上是生成型模型,而本研究的方法则是以分类为目标。因此,此处使用的自然语言处理方法能够实现不确定性度量——比如可以判断某种并发症存在的概率为75%——这一功能可用于设定阈值,从而确定哪些属于并发症,这对于调整HITL方法所需的灵敏度/特异性以及阴性预测值/阳性预测值至关重要。而大型语言模型则很难实现这一点。虽然这种自然语言处理方法与大型语言模型存在差异,但这也影响了这两种模型在临床应用中的使用方式。
另一方面,LightGBM模型是一种较为简单的自然语言处理方法,可能无法捕捉到并发症抽象过程中所需的复杂临床推理能力。因此,对于一些并发症,比如意外再入院,该模型的识别性能仅为中等水平,这很可能反映了在需要临床领域专业知识的情况下,这种建模方法的局限性。
与纳入元分析的45项研究相比,本研究具有多项优势:其一,我们的数据集规模堪称最大之一;其二,由于数据集涵盖了多个不同专科的病例,因此更具稳健性和普适性。此外,将自然语言处理方法与并发症识别的黄金标准——即手动筛选——以及广泛应用的ICD-10编码方法进行比较,为我们提供了关于质量改进措施的全面、多维度的视角。同时,由于本研究涵盖了多种多样的术后并发症,因此能够更真实地反映未来质量改进策略所面临的复杂临床环境。
不过,这项研究也存在一些局限性。首先,并非所有的电子健康记录数据类型都被纳入分析范围,比如影像资料、护士记录以及微生物学检测结果等,这些数据的缺失可能会限制SAM方法的性能。从这个角度来看,这项研究只能作为衡量简单自然语言处理方法在当前数据集上识别术后并发症能力的基准。通过增加数据类型并采用更先进的建模方法,这一基准很有可能会被打破。
另一个局限性在于我们用于训练模型的ICD-10编码的质量。我们研究小组的最新发现表明,ICD-10编码不仅存在漏报现象,还存在误报问题。使用质量较低的ICD-10编码来训练自然语言处理模型可能并非最佳选择。
自然语言处理和机器学习方法固然有其优势,但也存在一些关键局限性。尽管我们的模型是使用多家医院的数据进行训练和测试的,但它们在丹麦以外的医疗系统中是否具备通用性,还需进一步验证,因为不同地区的患者群体、临床文档书写习惯以及电子健康记录系统可能存在差异。在更广泛范围内应用这些模型之前,必须在不同的环境中进行外部验证。此外,数据集中的偏见因素,比如年龄、性别或种族差异,也可能影响模型性能,从而导致某些代表性较低的群体的检测准确性下降。
为了尽可能多地识别出真正的术后并发症,我们优先提升了模型的灵敏度。然而,这样做却导致了阳性预测值下降,进而使得假阳性病例的比例上升。因此,这些模型无法实现完全自主运行。为此,我们采用了HITL方法,对概率较高的病例进行人工审核。虽然这种方式提升了准确性,但却降低了模型的效率。
HITL方法的一个重要局限性在于,那些被自然语言处理分类器标记为高概率的病例,并没有经过进一步分析以确定是否确实属于目标并发症。所有超过阈值的病例最终都被归类为假阳性,这说明在识别真阳性方面,模型对预测概率的校准能力有限。因此,HITL方法实际上仅起到了减少假阳性的作用,未能帮助识别出更多的真阳性病例。
此外还需要指出的是,HITL方法的假设是手动抽象才是黄金标准,这一点从表3中1.0的阳性预测值即可看出。需要强调的是,这并不意味着人工审核者能够做到完全的抽象处理,而是说这种抽象程度应与单个人工抽象者将该病例判定为涉及相关PC的标准保持一致。有人可能会认为,不同人工抽象者的表现和认知差异可能会影响这一结果。不过,我们选择这种方式是为了模拟在NSQIP等大规模登记系统中所常用的单抽象者工作流程。而在实际的大型系统中,如果由多名抽象者对病历进行评估,那么就需要额外考虑跨抽象者之间的性能对比、评分者间的一致性以及其对阳性预测值的影响。最后,机器学习模型(包括自然语言处理模型)的“黑箱”特性是一个显著的局限——这些模型的决策过程往往缺乏透明度,这可能会影响人们在医疗领域使用人工智能工具的信心和意愿。总体而言,这项研究证明了自然语言处理算法是一种极具潜力的工具,能够从免费的医学文本中识别出多种类型的PC,其性能远超ICD-10编码方法,且接近人工筛选的水平。尽管HITL方法大幅减少了人工工作量,但仍有一些复杂情况被遗漏,这凸显出持续进行人工监督和模型优化的必要性。虽然还需要进一步的发展和外部验证,但这一方法为未来构建能够实时、自动地在国际范围内检测、监测并减少PC的系统奠定了基础。未来的研究应致力于提升模型性能,并评估其在不同医疗环境中的通用性。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号