《Frontiers in Oncology》:Multicenter validation of an explainable machine-learning model for APL, AMoL, and ALL
编辑推荐:
背景:急性白血病需要快速识别亚型以指导及时治疗。急性淋巴细胞白血病(acute lymphoblastic leukemia, ALL)、急性单核细胞白血病(acute monocytic leukemia, AMoL/M5)与急性早幼粒细胞白血病(acute
背景:急性白血病需要快速识别亚型以指导及时治疗。急性淋巴细胞白血病(acute lymphoblastic leukemia, ALL)、急性单核细胞白血病(acute monocytic leukemia, AMoL/M5)与急性早幼粒细胞白血病(acute promyelocytic leukemia, APL/M3)的鉴别常依赖可能无法即时获得的专门检测。本研究评估的是在已确认患有这三种诊断之一患者中的鉴别,而非在疑似急性白血病未选择人群中筛查。方法:这项多中心回顾性研究纳入2019年5月至2025年5月中国四家三级医院中9,398例新诊断、既往未治疗且已确诊APL/M3、AMoL/M5或ALL的患者。排除复发、缓解、随访和非初发疾病发作。评估24项常规血液学参数。一个中心作为开发队列,采用五折分层交叉验证,另外三个独立中心保留用于外部验证。比较十种机器学习算法。采用受试者工作特征曲线下面积(area under the curve, AUC)、敏感度、特异度、准确度、阳性预测值(positive predictive value, PPV)、阴性预测值(negative predictive value, NPV)和F1评分评估性能。SHapley Additive exPlanations(SHAP)支持特征选择与解释。结果:18特征随机森林(random forest, RF)模型在开发阶段交叉验证AUC为0.93,外部AUC为0.89、0.87和0.90。总体敏感度、特异度、PPV、NPV、准确度和F1评分分别为0.78、0.90、0.81、0.91、0.81和0.79。SHAP识别白细胞、红细胞和血小板指标为最重要特征。开发了Streamlit应用用于临床评估。使用开发队列得出的APL警报阈值0.0966,APL敏感度在开发队列为99.02%,在外部队列为96.32%–97.94%,PPV分别为54.34%和35.58%–84.25%。外部验证显示中心特异性校准漂移,表明预测概率不应解释为普遍校准的绝对诊断概率。结论:在已确认患有APL/M3、AMoL/M5或ALL的患者中,该可解释模型利用常规血液学数据实现了低成本初步鉴别。它可能支持亚型优先级排序和确证性检测,但不能替代标准诊断、识别其他诊断或筛查未选择患者。常规实施前需开展前瞻性多国和工作流程验证。
急性白血病(acute leukemia, AL)是造血祖细胞恶性克隆性疾病,未控制增殖的原始细胞和未成熟细胞在骨髓积聚,抑制正常造血,并可浸润肝、脾和淋巴结等髓外器官。按恶性细胞谱系,AL主要分为急性髓系白血病(acute myeloid leukemia, AML)和ALL。AML全球每年导致超过80,000例死亡,负担预计在未来二十年显著增加;美国2026年预计ALL新发6,250例、相关死亡1,600例。延迟识别和诊断可导致不良结局,尤其 specialist 资源有限时。AML包含生物学和临床不同亚型,影响预后和治疗选择。APL/M3是特殊AML亚型,常见于青少年和年轻成人,占AML约5%–20%,以严重凝血病、高出血风险和早期死亡风险为特征;尽管治疗可使APL成为最可治愈急性白血病之一,但早期死亡仍是重要临床问题,常定义为就诊30天内死亡,约5%–29%患者发生,多由血栓出血并发症包括颅内出血引起。APL因此是血液学急症,快速识别和立即启动支持及疾病特异治疗至关重要。AMoL/M5预后不良,3年无病生存和总生存约26%和31%,常伴白细胞增多、髓外浸润、白细胞淤滞和弥散性血管内凝血,需紧急干预。ALL结局随年龄差异明显,儿童5年总生存近90%,老年人显著较低;部分患者可在确证化疗前使用糖皮质激素减少淋巴母细胞增殖。AL诊断依赖细胞形态、免疫表型、细胞遗传和分子综合评估。有经验人员和连续显微镜服务的中心可快速识别APL特征,但非工作时间和资源有限机构可能无法即时专家形态复核,确证诊断工作仍需时间。在已确认APL/M3、AMoL/M5或ALL人群中,基于现有全血细胞计数(complete blood count, CBC)数据的自动化信号可帮助优先亚型涂片复核和确证检测,但不能替代显微镜。Alcazer et al. 开发了Artificial Intelligence Prediction of Acute Leukemia(AI-PAL)工具,在法国多中心队列中使用年龄、常规血液学、生化和凝血参数区分APL、非APL AML和ALL,证明基于实验室数据分类急性白血病可行。但是否仅用常规CBC参数即可在大型东亚多中心人群中区分AMoL/M5与APL/M3和ALL仍未充分研究。研究人员假设常规临床实验室参数含足够信息,可在已确诊这三类诊断患者中支持自动初步鉴别,因此系统比较多种机器学习算法,应用SHAP特征选择提高简约性和可解释性,并开发RF模型作为限制性诊断人群中后续形态和确证评估的辅助。该模型不设计或验证为未选择疑似急性白血病患者的通用筛查工具。
关键技术方法(不超过250字):该多中心回顾性研究纳入中国四家三级医院2019年5月1日至2025年5月31日9,398例新诊断、既往未治疗APL/M3、AMoL/M5或ALL患者,排除复发、缓解、随访及非初发。安徽医科大学第一附属医院为开发队列(n=7,077),皖北煤电集团总医院(n=434)、铜陵市人民医院(n=1,024)和广东省第二人民医院(n=863)为外部验证。仅用24项常规血液学参数;比较十种机器学习算法,采用五折分层交叉验证,SHAP排序和向后消除,锁定18特征RF。外部独立验证,并分析APL警报阈值、校准及开发Streamlit应用。
研究结果:
患者特征:经筛选并排除复发、缓解、既往治疗、随访、非初发和无法核实疾病发作后,纳入9,398例新诊断患者。开发中心队列7,077例,包括APL/M3 2,043例、AMoL/M5 1,783例、ALL 3,251例;外部验证2,321例,其中皖北434例、铜陵1,024例、广东863例。开发队列中位年龄分别为46、44和43岁,男性比例分别为43.0%、44.4%和46.1%。通过队列特征分析明确了三类患者的基线分布。
模型开发与性能比较:在开发队列中,用24项常规血液学参数和五折分层交叉验证比较十种算法。XGBoost(AUC=0.9390)、RF(AUC=0.9378)和LightGBM(AUC=0.9314)获得最高开发阶段交叉验证判别能力;其余模型AUC较低。配对DeLong检验未检测到RF、LightGBM和XGBoost间统计学显著差异,但未解释为等效或非劣。标准化可明显提高MLP、SVM和KNN的宏平均AUC,而对树模型影响很小。均值、中位数和RF插补下最终RF模型判别相似,故保留均值插补。由此保留RF、XGBoost和LightGBM进入特征减少分析。
最终模型特征减少与选择:SHAP共识排序和向后消除显示,RF特征集从24降至17时AUC下降(0.9378 vs. 0.9046,P<0.05)。18特征RF模型AUC为0.9339,较24特征模型低0.0039(P=0.28);该不显著结果未解释为等效。基于简约性、18特征时较小下降及17特征后较大下降,18特征配置被保留为主要模型。其开发阶段交叉验证AUC为0.93,敏感度0.78,特异度0.90,PPV 0.81,NPV 0.91,准确度0.81,F1评分0.79。LightGBM在19个或更少变量时下降,XGBoost在18个或更少变量时下降;18特征模型中RF交叉验证AUC最高。最终变量包括嗜碱性粒细胞百分比、嗜酸性粒细胞计数、嗜碱性粒细胞计数、单核细胞计数、嗜酸性粒细胞百分比、中性粒细胞计数、淋巴细胞计数、单核细胞百分比、红细胞计数(RBC;10
12/L)、白细胞计数(WBC;10
9/L)、淋巴细胞百分比、血小板压积(PCT)、血小板计数(PLT;10
9/L)、中性粒细胞百分比、血小板分布宽度(PDW)、平均红细胞血红蛋白量(MCH)、红细胞分布宽度标准差(RDW-SD)和平均红细胞体积(MCV)。
共线性评估与18特征模型确认:方差膨胀因子分析发现中性粒细胞百分比(VIF,9.57)和淋巴细胞百分比(VIF,8.74)存在共线性,其余VIF低于5。沿共识SHAP排序向后消除路径,18特征RF开发阶段交叉验证AUC为0.9339,24特征为0.9378,差值为?0.0039(DeLong P=0.2756);不显著结果未解释为等效或非劣。降至17特征时AUC为0.9046(P=2.07 × 10
?13),12特征SHAP排序模型AUC为0.8308(P=1.38 × 10
?90)。研究人员基于简约性和观察到的AUC轨迹保留18特征模型,而非声称统计等效。
最终模型外部验证:锁定算法、超参数和特征集后,最终18特征RF模型用完整开发队列重新拟合,并无修改应用于三个独立外部队列。皖北煤电集团总医院AUC为0.89,铜陵市人民医院为0.87,广东省第二人民医院为0.90。精确率–召回率曲线在验证队列间也具可比性,支持模型在未见过人群中的稳定性。决策曲线分析显示在开发和外部验证中较宽阈值概率范围内有净临床获益。
类别特异性外部验证性能:类别特异性结果显示,在AMoL/M5病例少的中心存在较大不确定性。广东仅7例AMoL/M5,其一对一其余类别AUC为0.929,敏感度71.43%,PPV 7.04%;皖北116例AMoL/M5,AUC 0.902,敏感度62.07%,PPV 80.00%;铜陵32例,AUC 0.874,敏感度68.75%,PPV 16.18%。这些结果反映样本量有限和中心疾病患病率差异,提示AMoL/M5分类的外部泛化性仍不确定。
预测概率校准:开发队列中,APL/M3、AMoL/M5和ALL校准截距接近0,斜率分别为1.570、1.619和1.820;类别特异性Brier评分分别为0.081、0.100和0.086,总体多类Brier评分为0.267。外部验证显示中心特异性校准漂移:皖北截距为?0.281至0.152,总体Brier评分0.359;铜陵和广东出现更明显截距偏移,总体Brier评分分别为0.452和0.356,与亚型患病率和病例构成差异一致。广东AMoL/M5估计因仅7例而尤其不精确。因此,显示的数值输出不应解释为普遍可移植的绝对诊断概率。
APL优先警报性能:默认最大概率分类规则下,APL/M3特异性AUC为0.947,敏感度0.7508,PPV 0.8615。为优先APL,开发队列中达到至少99% APL敏感度的最高阈值是0.0966。该阈值下开发队列敏感度99.02%,PPV 54.34%。阈值不变时,外部敏感度广东97.66%、皖北97.94%、铜陵96.32%;相应PPV为66.24%、35.58%、84.25%;未标记APL病例分别为10、2、28例。这说明高敏感警报以减少漏诊APL为代价,增加假阳性警报,PPV随病例构成和APL患病率变化。
基于网络的模型实现:最终模型实现为Streamlit网络应用。用户输入18项血液学参数后,应用显示各亚型预测概率并突出最高概率类别。该应用独立比较APL概率与预设阈值0.0966,无论最高概率类别为何;当APL概率不低于0.0966时,显示“APL ALERT—APL cannot be excluded”,并提示紧急外周血涂片复核、凝血评估、PML::RARA检测和血液专科评估。永久安全提示指出,低于0.0966不能用于排除APL,输出不能替代形态学、流式细胞术、细胞遗传学、分子确认或专家解释。
讨论部分总结:人工智能和机器学习在血液学中应用增加,但许多方法依赖形态学图像分析,受样本量小、图像质量变异和缺乏独立外部验证限制,可能影响临床泛化。本研究使用常规血液学参数而非细胞图像,在预设三类诊断人群中区分APL/M3、AMoL/M5和ALL,最终RF模型在三个独立外部队列中保持良好判别。但结果不证明在未选择疑似急性白血病患者或其他血液或非恶性疾病中的性能。该方法旨在补充而非替代形态和免疫表型评估。外部队列AMoL/M5明显不平衡,尤其广东7例、铜陵32例,因此总体或宏平均指标不应解释为各亚型同等可靠。AMoL/M5一对一其余类别AUC为0.874–0.929,但敏感度置信区间宽,广东PPV仅7.04%,铜陵16.18%,外部泛化性不确定。校准分析进一步限定模型输出解释:开发队列截距近0但斜率大于1,提示交叉验证预测有些欠离散;外部校准按中心变化,数值输出不应解释为普遍可移植绝对诊断概率。0.0966是在限制性三类人群中优先敏感度的操作阈值,而非个体APL绝对概率为9.66%的陈述;新机构定量使用概率前需前瞻性本地验证和必要校标。在已有自动CBC审查规则和连续有经验形态评估的机构,本模型未显示时间或效率优势。目标用户是评估已确认APL/M3、AMoL/M5或ALL患者、需要三类间辅助鉴别的血液科和实验室人员;不应作为急诊或全科医生面对更广泛人群的独立分诊或筛查工具。由于其他AML亚型、混合表型急性白血病、其他血液恶性肿瘤和非恶性相似疾病未纳入,所有输入都会被归入三类之一,即使真实诊断不在其中。模型不用于确定诊断或替代专家评估、形态学、流式、细胞遗传或分子检测。因回顾性数据无标准化独立记录的形态筛查分类或可比周转时间,无法与形态筛查直接比较;研究人员不声称模型比 expert 形态筛查更快、更准确或更高效。需要前瞻性工作流程研究比较自动审查规则、模型辅助分诊和常规显微镜的增量临床价值。机器学习可捕捉高维临床数据中复杂非线性关系。十种算法中RF在判别、稳定和简约间平衡最好。相关预测变量可影响可解释性声明,但RF不估计回归系数,使用自助聚合和随机预测变量子采样,预测性能对多重共线性相对稳健;相关变量仍可能竞争相似分裂并分摊重要性或SHAP归因,因此单个百分比或绝对计数的的重要性不应解释为独立因果效应。VIF分析确认中性粒细胞和淋巴细胞百分比共线性。18特征选择基于简约和观察到的性能轨迹,18特征比较的不显著DeLong结果未解释为等效。与AI-PAL相比,AI-PAL为10变量XGBoost模型,纳入年龄、CBC指标、乳酸脱氢酶、凝血酶原活动和纤维蛋白原,在法国六家医院1,410例患者中区分APL、非APL AML和ALL;本研究在四家中国医院9,398例患者中开发,仅用CBC参数,并特别区分AMoL/M5。目标人群、疾病类别、预测变量可用性和性能估计方法不同,禁止直接数值比较;本模型应视为AI-PAL的补充。仅用CBC既是设计选择也是限制;生化、凝血变量可能改善判别,尤其APL。误分类不可避免,许多变量非特异,可受感染、炎症、过敏、寄生虫病、药物或其他血液疾病影响;亚型表型重叠和中心患病率差异可能限制判别。三类错分后果不对称,未识别APL可能延误潜在致死性凝血病处理,因此增加APL优先警报阈值,要求至少99%开发队列敏感度,锁定阈值在外部保持高APL敏感度96.32%–97.94%,但PPV随患病率和病例构成变化。该警报用于优先紧急涂片复核、凝血检测、PML::RARA确认和专科评估,不是诊断阈值,不能独立触发或停止治疗;即使高敏感策略也漏诊部分APL,低于0.0966不能排除APL。研究限制包括仅中国队列、仅已确认三类患者、其他疾病未纳入、回顾性设计及中心患病率差异导致选择偏倚和谱系偏倚、广东和铜陵AMoL/M5样本极少、无标准化形态筛查和周转时间、开发阶段算法比较和特征选择在同一队列可能使交叉验证性能偏乐观;三个外部队列未用于预处理、调参、特征排序、特征消除、算法比较或模型选择,因此提供锁定最终模型的独立评估。模型仅在限制性三类人群中提供初步决策支持,不能替代形态、流式、细胞遗传或分子确认;因仅纳入初发疾病,不应外推至治疗、缓解或复发患者。
研究结论翻译:研究人员开发并外部验证了一个可解释RF模型,该模型使用18项常规血液学参数,在已确认患有APL/M3、AMoL/M5或ALL的患者中区分这三种诊断。模型获得开发阶段五折交叉验证AUC 0.93,并在三家独立医院获得外部AUC 0.87–0.90。研究人员创建了基于网络的实现,以支持在这一限制性诊断人群中的前瞻性评估。这些发现提示,常规血液检测数据可能有助于三类模型内辅助鉴别和亚型特异性确证检测的优先级排序,但该模型不应用于一般急性白血病筛查。临床采用前需要前瞻性、多国和真实世界实施研究。