基于嵌套交叉验证与传统划分的肝细胞癌一年死亡率预测模型性能比较研究

《Journal of Clinical Medicine》:Intestinal Bacterial Overgrowth in Severe Traumatic Brain Injury Is Associated with Late In-Hospital Mortality

【字体: 大 中 小 】 时间:2026年10月14日 来源:Journal of Clinical Medicine 3.3

编辑推荐:

   摘要

  

摘要

背景:肝细胞癌(HCC)中机器学习(ML)模型的性能估计可能依赖于内部验证策略,尤其是在小数据集的情况下。目的:开发用于预测一年死亡率的模型,并比较使用传统训练-测试划分和嵌套交叉验证(nCV)时的性能、校准、决策分析性能以及不确定性估计。方法:我们分析了165例HCC患者的公共数据集,其中包含63例一年内死亡病例。使用基于折的特异性预处理、成本敏感学习、基于Optuna的超参数优化以及基于训练的阈值选择,开发了随机森林(RF)、XGBoost和CatBoost模型。L2惩罚逻辑回归作为常规基准提供。使用分层80/20划分和五折nCV(内含五折)对模型进行评估。六种分层划分用于评估划分变异性,非加权模型用于评估类别加权的效果。使用ROC-AUC、PR-AUC、平衡准确率、Matthew相关系数、Brier分数、校准曲线和决策曲线分析来评估判别能力、阈值依赖的分类、校准和决策分析性能。置信区间使用2000次自助重采样;SHAP用于解释。 结果:在传统划分中,RF和CatBoost获得了最高的测试集ROC-AUC(均为0.892),而RF获得了最高的PR-AUC(0.860)。在nCV下,RF获得了最高的平均外折ROC-AUC(0.788)和合并的外折ROC-AUC(0.784)。XGBoost获得了最高的平均PR-AUC(0.673),而CatBoost获得了最高的合并PR-AUC(0.648)。RF具有最低的平均Brier分数(0.188),其次是XGBoost(0.194)和CatBoost(0.203)。各模型校准存在差异,合并校准斜率分别为1.438、0.691和0.427。在六种80/20划分中,RF、XGBoost和CatBoost的平均ROC-AUC值分别为0.792、0.769和0.761,存在显著的划分依赖变异。去除类别加权后的性能大致相当。合并nCV预测的自助置信区间较窄,但评估样本大小不同(165对33例患者),无法将此差异归因于验证策略本身。决策曲线分析为探索性分析,因为没有预设具有临床可操作性的阈值。SHAP识别出AFP、ALP、血红蛋白、白蛋白、体能状态和AST是RF中最具影响力的预测因子;排名最高的预测因子在各外折中基本一致。结论:nCV将模型开发与评估分离,并降低了对单一小测试集的依赖。根据预设的平均外折ROC-AUC标准选择了RF,但基于树的模型之间的差异较小,且未显示出相对于惩罚逻辑回归的明确判别优势。临床使用前需要外部验证。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号