
-
生物通官微
陪你抓住生命科技
跳动的脉搏
ann-thyroid 基准测试机器学习研究评估:数据标签审查揭示性能来源与局限性
《Scientific Reports》:Reported performance differences on the ann-thyroid benchmark reflect class labelling rather than method choice
【字体: 大 中 小 】 时间:2026年10月21日 来源:Scientific Reports 4.9
编辑推荐:
摘要关于ann-thyroid基准测试的机器学习研究通常报告接近完美的区分性能,然而这些性能的来源很少被单独分析,且该基准测试的类别标签也很少受到质疑。我们对这个基准测试进行了严格的审查,区分了传统处理流程的贡献与数据本身提供的信息。在无泄露的处理流程中,我们对十种分类器进行了评
关于ann-thyroid基准测试的机器学习研究通常报告接近完美的区分性能,然而这些性能的来源很少被单独分析,且该基准测试的类别标签也很少受到质疑。我们对这个基准测试进行了严格的审查,区分了传统处理流程的贡献与数据本身提供的信息。在无泄露的处理流程中,我们对十种分类器进行了评估,这些分类器在不同分层的数据集上进行了测试。通过2×2因子实验将特征选择与类别平衡分开;比较了九种特征选择方法和七种类别平衡策略;参数扫描测试了混合选器;并以TSH和TT4的简单阈值规则作为临床基线。方法之间的差异通过Friedman检验进行评估,并使用Nemenyi事后比较方法进行分析,同时还进行了两项单侧检验来检验测试前设定的等价区间。类别标签通过与激素检测结果的比对进行了验证,并进一步与同一数据库中分布的诊断代码进行了对比。UCI数据文件中没有标注类别名称,附带文档中描述的一个“甲状腺功能亢进”类别实际上并不存在于数据中;通过与同一数据库中分布的诊断代码对比,发现3597个病例存在一一对应关系且没有不一致性,从而确立了三个甲状腺功能减退症谱系(显性甲状腺功能减退、亚临床甲状腺功能减退、正常甲状腺功能),并将89例被诊断为甲状腺功能亢进的病例归入多数类别。使用多数类别作为基线时,宏观F1值达到0.926%,但准确率并不能提供太多临床信息。主要的临床收益在于宏观特异性从0.905上升到了0.987,这主要归因于类别平衡而非特征选择。各种特征选择方法的ROC-AUC范围仅为0.0018,类别平衡策略的宏观F1范围为0.0098;Friedman检验在两种比较中都发现了可重复的排序结果,但由于所有成对差异都在测试前设定的等价区间内,因此这种排序在临床意义上并不具有说服力。仅报告ROC-AUC会掩盖这一点:在十种分类器中,有五种分类器的少数类别PR-AUC显著降低,而相应的ROC-AUC变化仍接近0.002。一个基于训练数据集拟合的两条阈值的规则在0.2秒内获得了0.885的宏观F1值,这与经过优化的逻辑回归模型相当;在所有十个数据分割中,拟合得到的阈值与数据提供者自己记录的阈值一致。在这个基准测试中,算法改进的边际价值较小且难以证实;数据的标注比选择方法本身更需要仔细审查。