《Infectious Medicine》:Ensemble deep learning models for early detection of meningitis in ICU: Multi-center study
编辑推荐:
专业术语翻译(摘要部分)
背景:脑膜炎(Meningitis)是一种影响脑膜(meninges)的炎症性疾病,可能导致神经损伤和死亡。其症状与其他严重疾病相似。脑脊液(cerebrospinal fluid,CSF)培养确诊脑膜炎可能需要长达48小时。此外,脑
专业术语翻译(摘要部分)
背景:脑膜炎(Meningitis)是一种影响脑膜(meninges)的炎症性疾病,可能导致神经损伤和死亡。其症状与其他严重疾病相似。脑脊液(cerebrospinal fluid,CSF)培养确诊脑膜炎可能需要长达48小时。此外,脑膜炎在美国属于低患病率的罕见病,这进一步增加了早期检测的难度。然而,机器学习(machine learning,ML)与电子健康记录(electronic health record,EHR)的融合发展为研究人员和临床医生提供了一种在重症监护病房(intensive care unit,ICU)和急诊室(emergency room,ER)场景下检测脑膜炎的创新方法。
方法:研究人员从医学信息Mart重症监护III(Medical Information Mart for Intensive Care III,MIMIC-III)v1.4数据集中识别出214例脑膜炎患者(国际疾病分类第九版,International Classification of Diseases,9th Revision,ICD-9:322.x)和46,303例非脑膜炎患者,阳性与阴性病例比例为1∶216。经过时间过滤后,提取了包含6,970个ICD-9编码和人口统计学变量的5,580个样本。研究人员训练了三个基础分类器,即随机森林(random forest,RF)、轻量梯度提升机(Light Gradient Boosting Machine,LightGBM)和深度神经网络(deep neural network,DNN),并采用代价敏感类加权(cost-sensitive class weighting),其输出由逻辑回归元学习器(logistic regression meta-learner)进行聚合。集成分类器的性能在三个不同数据集上进行了评估,包括一个平衡内部测试集(n = 68)、一个非平衡内部测试集(n = 7,382)和一个外部电子重症监护病房(electronic intensive care unit,eICU)队列(n = 27,156),并通过DeLong检验和SHapley Additive exPlanations(SHAP)进行测量。
结果:在平衡测试集中,集成模型取得了0.9424的受试者工作特征曲线下面积(area under the receiver operating characteristic curve,AUC)(95%置信区间:0.8840–0.9870),灵敏度为0.8514。非平衡测试集(n = 7,382)的AUC为0.9305,阴性预测值(negative predictive value,NPV)为0.9993。堆叠集成在DeLong检验中相较于LightGBM(p = 0.0002)和DNN(p = 0.0010)均提供了统计学上显著的AUC优越性。外部eICU队列(n = 27,156)的AUC为0.6855,灵敏度为0.8455。
结论:结合随机森林、LightGBM和DNN的堆叠集成在内部测试集上表现良好,即使在严重的类别不平衡(阳性∶阴性 = 1∶218)情况下,阴性预测值仍大于99.9%。虽然在外部eICU队列上的性能低于内部测试集,但在高度不平衡的环境中灵敏度仍然稳健。因此,在经过额外的前瞻性多中心验证研究确认其在真实世界中的有效性后,堆叠集成可作为急诊室和重症监护病房的排除性筛查(rule-out screening)选项。
论文解读
一、研究背景与问题
脑膜炎是一种影响脑膜(meninges)的严重炎症性疾病,可导致神经损伤甚至死亡。在急诊室(emergency room,ER)和重症监护病房(intensive care unit,ICU)环境中,脑膜炎的诊断面临多重挑战:其症状往往缺乏特异性,容易与其他严重疾病混淆;确诊的金标准——脑脊液(cerebrospinal fluid,CSF)培养——可能需要长达48小时才能确定致病菌,在此期间医护人员必须在未知病原体的情况下做出经验性治疗决策。诊断延迟可能带来严重的临床后果,因此探索利用电子健康记录(electronic health record,EHR)系统开发能够识别重症病例的机器学习(machine learning,ML)模型具有重要的临床价值。
在医学信息Mart重症监护III(Medical Information Mart for Intensive Care III,MIMIC-III)队列中,脑膜炎仅占ICU入院患者的0.46%(46,517例中214例),这种极端的类别不平衡(class imbalance)使得传统建模策略不再适用,需要采用不平衡感知的方法。此外,既往脑膜炎检测的ML研究虽然报告了不同的性能指标(如AUC 0.83、准确率96.69%、AUC 0.930、灵敏度83.3%),但本研究旨在通过使用更大规模的真实数据集、三模型堆叠集成(stacking ensemble)以及SHAP(SHapley Additive exPlanations)可解释性分析,并在平衡和不平衡的临床条件下进行评估并开展外部验证,从而扩展先前的工作。
二、研究内容与主要结论
本研究构建了一个结合随机森林(random forest,RF)、轻量梯度提升机(Light Gradient Boosting Machine,LightGBM)和深度神经网络(deep neural network,DNN)三种基础分类器的堆叠集成模型,用于ICU环境中脑膜炎的早期检测。研究得出以下主要结论:在平衡测试集上,集成模型取得了0.9424的受试者工作特征曲线下面积(area under the receiver operating characteristic curve,AUC),灵敏度为0.8514;在更贴近临床真实患病率的非平衡测试集(n = 7,382)上,AUC达到0.9305,阴性预测值(negative predictive value,NPV)高达0.9993,表明模型在排除非脑膜炎患者方面具有极高的可靠性;DeLong检验证实堆叠集成在AUC上显著优于LightGBM(p = 0.0002)和DNN(p = 0.0010);在外部电子重症监护病房(electronic intensive care unit,eICU)队列(n = 27,156)上的AUC为0.6855,灵敏度为0.8455,虽然性能有所下降但灵敏度保持稳健。研究的重要意义在于证明了堆叠集成方法能够在严重类别不平衡的罕见病预测场景中提升性能,并可作为急诊室和ICU的排除性筛查(rule-out screening)工具。
三、关键技术方法概述
研究人员使用了来自MIMIC-III v1.4公开临床数据仓库的46,517例患者数据,其中214例为脑膜炎病例(ICD-9 322.x编码标注),46,303例为非脑膜炎病例。模型输入特征仅包括性别(sex)和ICD-9诊断编码,共构成6,970维稀疏二值特征矩阵。为处理极端类别不平衡(阳性∶阴性 = 1∶216),研究人员采用了多数类欠采样(undersampling)策略,构建了包含180例脑膜炎和5,400例非脑膜炎的训练集(比例1∶30),并对三种基础模型分别应用了代价敏感学习(cost-sensitive learning):RF使用自定义类权重字典,LightGBM设置scale_pos_weight超参数,DNN采用带聚焦参数γ = 2.0的加权焦点损失函数(WeightedFocalLoss)。三个基础模型均使用分层5折交叉验证(stratified 5-fold cross-validation)训练,其out-of-fold预测概率被堆叠为三列元特征矩阵,由逻辑回归元学习器(logistic regression meta-learner)进行线性组合。模型分别在平衡内部测试集(n = 68)、非平衡内部测试集(n = 7,382)和外部eICU队列(n = 27,156)上进行评估,并使用AUC、灵敏度、特异性、阳性预测值(positive predictive value,PPV)、阴性预测值、F1分数、马修斯相关系数(Matthews correlation coefficient,MCC)和精确率-召回率曲线下面积(precision-recall area under the curve,PR-AUC)等指标衡量性能,辅以95%自助法置信区间(bootstrap confidence intervals,CIs)、DeLong检验和SHAP可解释性分析。
四、研究结果
4.1 特征重要性分析
研究人员使用随机森林特征重要性(RF importance)来识别驱动预测的关键因素。表1列出了前20个风险特征,其中排名最高的ICD-9编码包括41401(冠状动脉粥样硬化)、3314(阻塞性脑积水)、430(蛛网膜下腔出血)、99663(神经系统装置/植入物感染或炎症反应)、78039(其他惊厥)等。值得注意的是,性别(Sex)是唯一被纳入的人口统计学变量,在特征重要性排名中位列第8。此外,累积特征重要性曲线显示,前100个特征累计贡献了96%的总随机森林重要性,为特征选择提供了原则性依据。所有基础模型均在完整的6,970维特征矩阵上训练。
4.2 平衡测试集性能
在平衡测试集(n = 68;34例脑膜炎和34例非脑膜炎)上,堆叠集成模型取得了0.9424的AUC(95%置信区间:0.8840–0.9870),灵敏度为0.8514。DeLong检验结果表明,堆叠集成在AUC上显著优于LightGBM(p = 0.0002)和DNN(p = 0.0010),证明了集成策略在平衡条件下的性能优势。
4.3 非平衡测试集性能
在反映ICU真实患病率的非平衡测试集(n = 7,382;34例脑膜炎和7,348例非脑膜炎)上,集成模型的AUC为0.9305,阴性预测值达到0.9993。这一结果表明,即使在极端类别不平衡(阳性∶阴性 = 1∶218)条件下,模型在排除非脑膜炎患者方面仍具有超过99.9%的可靠性,这对于高吞吐量筛查场景至关重要。
4.4 外部eICU队列验证
在外部eICU协作研究数据库(n = 27,156;124例脑膜炎和27,032例非脑膜炎)上,集成模型的AUC为0.6855,灵敏度为0.8455。虽然外部验证的性能低于内部测试集,但在高度不平衡的环境中灵敏度仍保持稳健,表明模型具备一定的泛化能力。补充表S1提供了eICU验证队列中不同随机抽样非脑膜炎对照数量下的集成性能结果。
五、讨论与结论
本研究的堆叠集成方法通过结合RF、LightGBM和DNN三种异构基础模型,利用逻辑回归元学习器对它们的预测概率进行线性组合,在内部测试集上展现出了优异的性能。研究的主要贡献包括三个方面:第一,证明了堆叠集成能够改善严重类别不平衡下罕见病的预测性能;第二,检验了ICD-9编码作为结构化特征的有效性,并通过RF重要性和SHAP识别了驱动预测的因素;第三,在平衡和不平衡内部测试集以及外部eICU队列上对模型进行了全面评估,考察了模型的泛化能力。
研究结论指出,结合随机森林、LightGBM和DNN的堆叠集成在内部测试集上表现良好,即使在严重的类别不平衡(阳性∶阴性 = 1∶218)情况下,阴性预测值仍大于99.9%。虽然在外部eICU队列上的性能低于内部测试集,但灵敏度在高度不平衡的环境中仍然稳健。因此,在经过额外的前瞻性多中心验证研究确认其在真实世界中的有效性后,堆叠集成可作为急诊室和重症监护病房的排除性筛查选项。