今日动态 返回首页
会员注册 登录 生物通快讯免费订阅
  • 首页 今日动态 人才市场 新技术专栏 中国科学人 云展台
    BioHot
    • 定制我的BioHot
    • 进入我的BioHot
    • 进入我的集采
    • 肿瘤癌症研究
    • 免疫/基因/细胞疗法
    • 神经生物学
    • 健康与疾病
    • 衰老机制与长寿
    • 单细胞技术
    • 基因编辑-CRISPR
    • RNA研究
    • 肠道菌与人体微生态
    • 细胞代谢
    • AI生物信息学
    • COVID
    云讲堂直播 会展中心 特价专栏 技术快讯 免费试用

  • 生物通官微
    陪你抓住生命科技
    跳动的脉搏

生物通首页  >  今日动态  >  正文

ann-thyroid 基准测试机器学习研究评估:数据标签审查揭示性能来源与局限性

《Scientific Reports》:Reported performance differences on the ann-thyroid benchmark reflect class labelling rather than method choice

【字体: 大 中 小 】 时间:2026年10月21日 来源:Scientific Reports 4.9

编辑推荐:

  摘要关于ann-thyroid基准测试的机器学习研究通常报告接近完美的区分性能,然而这些性能的来源很少被单独分析,且该基准测试的类别标签也很少受到质疑。我们对这个基准测试进行了严格的审查,区分了传统处理流程的贡献与数据本身提供的信息。在无泄露的处理流程中,我们对十种分类器进行了评

  

摘要

关于ann-thyroid基准测试的机器学习研究通常报告接近完美的区分性能,然而这些性能的来源很少被单独分析,且该基准测试的类别标签也很少受到质疑。我们对这个基准测试进行了严格的审查,区分了传统处理流程的贡献与数据本身提供的信息。在无泄露的处理流程中,我们对十种分类器进行了评估,这些分类器在不同分层的数据集上进行了测试。通过2×2因子实验将特征选择与类别平衡分开;比较了九种特征选择方法和七种类别平衡策略;参数扫描测试了混合选器;并以TSH和TT4的简单阈值规则作为临床基线。方法之间的差异通过Friedman检验进行评估,并使用Nemenyi事后比较方法进行分析,同时还进行了两项单侧检验来检验测试前设定的等价区间。类别标签通过与激素检测结果的比对进行了验证,并进一步与同一数据库中分布的诊断代码进行了对比。UCI数据文件中没有标注类别名称,附带文档中描述的一个“甲状腺功能亢进”类别实际上并不存在于数据中;通过与同一数据库中分布的诊断代码对比,发现3597个病例存在一一对应关系且没有不一致性,从而确立了三个甲状腺功能减退症谱系(显性甲状腺功能减退、亚临床甲状腺功能减退、正常甲状腺功能),并将89例被诊断为甲状腺功能亢进的病例归入多数类别。使用多数类别作为基线时,宏观F1值达到0.926%,但准确率并不能提供太多临床信息。主要的临床收益在于宏观特异性从0.905上升到了0.987,这主要归因于类别平衡而非特征选择。各种特征选择方法的ROC-AUC范围仅为0.0018,类别平衡策略的宏观F1范围为0.0098;Friedman检验在两种比较中都发现了可重复的排序结果,但由于所有成对差异都在测试前设定的等价区间内,因此这种排序在临床意义上并不具有说服力。仅报告ROC-AUC会掩盖这一点:在十种分类器中,有五种分类器的少数类别PR-AUC显著降低,而相应的ROC-AUC变化仍接近0.002。一个基于训练数据集拟合的两条阈值的规则在0.2秒内获得了0.885的宏观F1值,这与经过优化的逻辑回归模型相当;在所有十个数据分割中,拟合得到的阈值与数据提供者自己记录的阈值一致。在这个基准测试中,算法改进的边际价值较小且难以证实;数据的标注比选择方法本身更需要仔细审查。

相关新闻
生物通微信公众号
生物通新浪微博
微信
新浪微博
我要投稿
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热搜:机器学习|甲状腺功能|基准测试|数据标注|特征选择|类别平衡

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号