《JAMIA Open》:Automating chart review for identification of infected patients using natural language processing
编辑推荐:
目的:专家临床医生病历审查是识别感染患者最准确的方法,但耗时且成本高昂。本研究旨在开发并外部验证利用结构化与非结构化数据的机器学习模型,与病历审查相比,用于识别住院患者中的感染。
材料与方法:在两个医疗系统(2006-2016年)的成人住院患者就诊记录中,由人
目的:专家临床医生病历审查是识别感染患者最准确的方法,但耗时且成本高昂。本研究旨在开发并外部验证利用结构化与非结构化数据的机器学习模型,与病历审查相比,用于识别住院患者中的感染。
材料与方法:在两个医疗系统(2006-2016年)的成人住院患者就诊记录中,由人工标注入院时疑似感染病例。来自一个站点的数据用于开发梯度提升机器学习模型。结构化特征包括实验室检查、生命体征和护理评估。非结构化临床笔记通过临床文本分析与知识提取系统(cTAKES)转换为概念唯一标识符(CUIs)。单模态和多模态模型通过交叉验证在推导站点进行调参,以最大化受试者工作特征曲线下面积(AUROC)。在外部验证站点评估模型的区分度和校准度。
结果:在纳入的3014次住院中,677次(22.5%)被归类为入院时疑似感染。结合n-gram词频-逆文档频率(TF-IDF)与结构化数据的多模态模型表现最佳,显著优于仅使用结构化数据的模型(AUROC 0.88 vs 0.82,P?<?.001;精确率-召回率曲线下面积 0.71 vs 0.58,P?<?.001)。最重要的特征来源于非结构化数据。
讨论与结论:研究结果凸显了非结构化文本数据在开发能够准确复现病历审查以识别感染患者的模型中的价值。通过加速感染病例的标注,该模型可促进流行病学研究以及为早期脓毒症检测的临床决策支持系统开发所需数据集的管理。
一、研究背景与问题提出
脓毒症是一种因宿主对感染反应失调导致器官损伤的致命综合征,是住院患者死亡的主要原因之一。及时准确地识别感染对于降低脓毒症死亡率至关重要,因为抗生素延迟会恶化预后。然而,无论是临床医生还是算法,准确识别感染患者都极具挑战性。研究中常用的方法敏感性差异较大,可能漏诊多达一半的感染住院病例。相比之下,由专家进行的人工病历审查虽然是金标准,但费时费力且成本高昂。因此,开发能够准确复现人工病历审查的模型,对于促进流行病学研究和开发数据驱动的早期脓毒症检测临床决策支持系统具有重要意义。
自然语言处理(NLP)技术为自动化病历审查提供了有前景的解决方案。在常规临床诊疗中,医生整合患者症状、病史、生命体征和检查结果来判断感染,并在病历中记录其评估。专家进行回顾性病历审查时也使用相同的电子健康记录(EHR)数据和病历来评估感染可能性。因此,基于这些组件的NLP算法可能具备与病历审查相似的表现。尽管已有研究将NLP用于识别脓毒症或感染患者,但这些研究常受限于不完美的金标准和缺乏外部验证。在脓毒症和感染以外的领域,利用临床NLP复现人工病历审查的研究已展现出令人印象深刻的表现。然而,NLP在根据人工病历审查结果对感染患者进行分类方面的性能尚不清楚。
基于此,本研究旨在开发和外部验证基于NLP的机器学习模型,以临床专家人工病历审查作为参考金标准,识别住院患者入院时的疑似感染。同时,研究还探讨了结合文本和结构化数据的模型是否优于依赖单一数据模态的模型。
二、研究方法概述
研究人员从伊利诺伊州的两个医疗系统——洛约拉大学医学中心(LUMC)和芝加哥大学医学中心(UCM)——选取了2006年至2016年间符合条件的成人住院患者记录。采用简单随机抽样选取1887例符合至少一项纳入标准的就诊记录进行人工病历审查以确认感染,另有1443例不符合标准的按比例纳入并被分类为非感染。最终研究队列共包含3014次患者就诊,其中1629次用于模型推导(UCM),1385次用于外部验证(LUMC)。
关键技术方法包括:
- 1.
使用Apache临床文本分析与知识提取系统(cTAKES)对去标识化的临床自由文本进行处理,获得概念唯一标识符(CUIs)。
- 2.
利用词频-逆文档频率(TF-IDF)对CUIs及其优选文本的n-gram进行加权表征。
- 3.
采用极端梯度提升机(XGBoost)作为机器学习模型,通过贝叶斯优化和5折交叉验证进行超参数调优。
- 4.
构建四类模型进行比较:仅结构化数据、CUI TF-IDF、n-gram TF-IDF,以及结构化数据结合n-gram TF-IDF的多模态模型。
三、研究结果
患者人群
最终研究队列包含3014次患者就诊,其中677次(22.5%)经人工病历审查判定为入院时疑似感染。与非感染组相比,感染组患者年龄更大(中位年龄59岁 vs 58岁),糖尿病、高血压、心力衰竭、肾衰竭和肝病等合并症患病率更高,且在入院24小时内更易满足≥2项全身炎症反应综合征(SIRS)标准(82.9% vs 57.0%)。感染组的院内死亡率(7.2% vs 1.2%)和中位住院时长(114小时 vs 67小时)均显著高于非感染组。
模型性能
在外部验证站点,结合结构化数据和n-gram TF-IDF变量的多模态模型取得了最高的区分度,AUROC为0.88(95% CI, 0.86-0.91),显著高于仅使用结构化数据的模型(AUROC 0.82,P < .001)和CUI TF-IDF模型(AUROC 0.81,P = .0003)。该多模态模型的AUPRC为0.71,同样优于结构化数据模型(0.58)。比较两种非结构化数据表征方式,n-gram TF-IDF模型(AUROC 0.85)表现优于CUI TF-IDF模型(AUROC 0.81),且AUPRC差异显著(0.71 vs 0.63,P < .001)。在校准方面,多模态模型取得了最低的Brier分数(0.11),表明其校准性能最佳。
特征重要性
在最佳的多模态模型中,20个最重要的变量中有15个来自n-gram特征,这些特征多对应于细菌相关词汇(如“cultur”、“abscess”、“blood cultur”、“infect”)和抗生素相关词汇(如“cefepim”、“vancomycin”、“cipro”)。进入前20名的结构化EHR变量包括最高体温、首次乳酸值以及中性粒细胞、淋巴细胞和单核细胞的首次百分比值。
四、讨论与结论
讨论
本研究成功开发并外部验证了能够准确区分入院时有无疑似感染的预测模型,并以专家人工病历审查作为金标准。研究发现,结合非结构化临床笔记文本数据和结构化数据的多模态模型表现最佳,其准确性显著优于仅使用结构化数据的模型。多模态模型中大多数重要特征源自非结构化数据,凸显了其在复现病历审查以识别感染患者方面的价值。这是首个测试NLP方法以专家病历审查为标准识别感染住院患者的研究,为未来开发早期感染检测的临床决策支持工具和估算脓毒症患病率提供了支持。
与以往研究不同,本研究以专家病历审查确定的疑似感染为终点,无需器官功能障碍条件,这使得模型更适用于确保患者在病情恶化前尽早启动抗生素治疗。此外,研究纳入了非ICU患者,并在不同的医疗系统中进行了外部验证,增强了结果的普适性。研究也存在一些局限性,例如部分医院可能缺乏运行cTAKES的计算资源,模型校准仍需改进,以及特征集未包含时间变化趋势和原始文本等。
结论
研究人员利用临床自由文本和结构化EHR数据开发并外部验证了预测入院时疑似感染的模型,以专家临床医生审查为参考标准。研究发现,使用CUIs的优选文本而非直接使用CUIs进行建模,可改善模型在外部验证站点的性能。同时,结合CUIs和结构化数据的多模态方法优于单独使用结构化数据。这项工作有望加速感染病例的人工标注进程,促进脓毒症的流行病学研究,并为开发早期感染检测的机器学习模型扩展数据集。