
-
生物通官微
陪你抓住生命科技
跳动的脉搏
视网膜多疾病分类模型内部验证掩盖采集来源脆弱性:来源感知评估与外部验证的必要性
《Scientific Reports》:Robust and interpretable retinal disease classification: a cross-source validation study
【字体: 大 中 小 】 时间:2026年09月29日 来源:Scientific Reports 4.9
编辑推荐:
摘要视网膜疾病,如高血压性视网膜病变(HR)、近视和视网膜色素变性(RP),可能在出现不可逆的视力损害之前一直未被诊断。视网膜多疾病分类模型通常通过整合多个公开眼底数据集来开发,并使用内部验证进行评估。我们探讨了此类评估是否充分反映了与疾病相关的性能,还是可能掩盖了采集来源效
视网膜疾病,如高血压性视网膜病变(HR)、近视和视网膜色素变性(RP),可能在出现不可逆的视力损害之前一直未被诊断。视网膜多疾病分类模型通常通过整合多个公开眼底数据集来开发,并使用内部验证进行评估。我们探讨了此类评估是否充分反映了与疾病相关的性能,还是可能掩盖了采集来源效应。在内容级去重后,共分析了5,373张代表HR、近视、正常视网膜和RP的眼底图像。将ImageNet预训练的ResNet-18嵌入与26个尺度不变的手工特征相结合,并使用分组感知交叉验证和密封的留出测试集进行评估。仅使用图像的模型实现了0.872的测试准确率(95% CI:0.850–0.890),而仅使用手工特征实现了0.810的准确率。此外,来源感知分析发现了大量的采集相关混杂因素。所有RP图像均来自单一采集来源,仅图像分辨率就能以1.000的F1分数将RP与其他类别区分开来。来源身份也仅从保留的特征中即可预测(97.4%)。使用两个独立数据集进行了外部评估,结果准确率明显较低,分别为0.580和0.601。特别是,模型将RP分配给了一个不含RP病例的数据集中37.5%的图像。因此,传统的内部验证未能揭示在跨来源和外部评估下变得明显的漏洞。相比之下,近视显示出更为一致的跨来源识别能力,在四个独立来源中留一来源法灵敏度范围为0.80至0.97。在手工特征中,镶嵌指数和视盘面积比在置换重要性、梯度归因和FDR校正统计检验中均显示出与近视的一致关联,而这两个特征预测采集来源的准确度均不高于疾病类别。这些发现表明,多来源视网膜分类中的高内部性能可能与对采集来源差异的显著脆弱性共存。因此,在评估来自异质性视网膜数据集开发的模型的鲁棒性和泛化能力时,应纳入来源感知分区和独立的外部评估。