TOC-UCO:一个全面的表格型序分类数据集存储库及其在稳健评估中的意义

《Neurocomputing》:TOC-UCO: a comprehensive repository of tabular ordinal classification datasets

【字体: 大 中 小 】 时间:2026年04月06日 来源:Neurocomputing 6.5

编辑推荐:

  为解决序分类领域缺乏标准基准数据集的问题,科尔多瓦大学团队建立了名为TOC-UCO的公开数据集存储库。该库包含46个预处理统一、类别分布合理的表格型序数据集,并提供k-means离散化、Python接口及固定划分索引。此举旨在为验证新方法提供标准、可复现的基准,推动OC研究发展。

  
在机器学习和数据挖掘的广阔领域中,分类问题无处不在,其中绝大多数任务假设类别之间是“无序”的,即预测“猫”或“狗”与预测“狗”或“猫”没有本质区别。然而,现实世界中存在一类特殊问题,其类别之间天然具有等级次序关系,这便是序分类。想象一下医生评估患者疾病的严重程度(健康、轻度、中度、重度),品酒师为红酒打分,或者分析师为债券评级,这些任务的标签并非简单的名称,而是蕴含着“优于”或“次于”的比较信息。序分类正是专门研究此类带有有序标签的分类问题的子领域,它也被称为序回归。
尽管序分类在实际应用中如此普遍,但该领域的持续发展却面临着一个基础性的瓶颈:缺乏一套全面、标准、高质量的基准数据集。长期以来,研究人员在验证新的序分类方法时,往往依赖于一个非正式收集的数据集库,这个库在文档中被称作“Previous”库。这个库虽然被广泛使用,但其本身存在多个固有缺陷。首先,库中许多数据集样本量极少,类别分布极端不平衡,有些类别的样本甚至只有1个,这严重限制了模型训练和可靠评估。其次,库中包含了大量由回归问题通过“等频”方式离散化得到的序分类数据集,导致每个类别的样本数完全相同,这种不自然的均匀分布与现实数据情况不符,可能使评估结果产生偏差。更成问题的是,同一个回归数据集被离散化成不同类别数量(如5类和10类)的版本,导致数据集重复,这可能在评估时无意中“偏袒”某些在重复数据集上表现好的方法。最后,由于缺乏一个正式、统一的基准,不同研究在选择评估数据集时往往“各自为政”,只选取一部分对自己方法有利的数据集进行测试,这导致了结果难以比较,甚至可能产生“选择性报告”的问题。
为了从根本上解决这些障碍,为序分类领域建立一个坚实、可靠的评估基石,来自西班牙科尔多瓦大学的研究团队在《Neurocomputing》期刊上发表了他们的工作,正式推出了一个全新的、全面的表格型序分类数据集存储库——TOC-UCO。这项研究旨在用一套经过精心预处理、具备合理规模和分布的数据集,取代过去零散、不规范的评估实践,为未来的方法论创新提供一个公平、可复现的“竞技场”。
为了构建这个存储库,研究人员开展了一系列系统性的工作。他们首先以“Previous”库为基础,但对其进行了彻底的改进和扩充。核心的技术方法包括:1) 对来自“Previous”库的回归数据集,摒弃了等频离散化,采用了基于k-means聚类的策略进行离散化,以获得更自然的类别分布。2) 对所有数据进行了统一的预处理,确保每个数据集都包含适当数量的样本,最少的类别也至少有16个样本,远优于“Previous”库中低至1个样本的情况。3) 移除了重复的数据集变体,每个数据集只保留一个最优的类别数量版本,该数量通过最小化校正不平衡比来选择。4) 引入了16个全新的数据集,覆盖大气、健康、价格评估、质量评价等多个领域,极大地丰富了数据多样性。5) 为每个数据集提供了30个不同的、固定的随机化训练-测试划分索引,确保了实验结果的严格可复现性。最终,TOC-UCO存储库共包含了46个独特的数据集,其中12个是经过k-means离散化的回归数据集,34个是原始序分类数据集。
研究团队对TOC-UCO存储库进行了详尽的描述,并与“Previous”库在多个维度上进行了全面对比,以凸显其优势。
在数据集规模与多样性方面,TOC-UCO包含46个独特数据集,远超“Previous”库的29个。其总样本量达到202,860,近乎是“Previous”库(114,160)的两倍。在类别数量分布上,TOC-UCO拥有11个4类数据集和16个6-9类数据集,在中等类别数上覆盖更佳,而“Previous”库则因重复离散化在5类和10类数据集上数量虚高。TOC-UCO中最小的数据集(tae)有151个样本,而“Previous”库中最小数据集仅有24个样本,TOC-UCO显著提升了基准的稳健性。
在数据质量与挑战性方面,研究比较了不平衡比和标签噪声。对于原始序分类数据集,TOC-UCO在平均、最小和最大IR值上均优于“Previous”库,表明其类别分布更均衡。对于离散化回归数据集,由于采用了k-means离散化,TOC-UCO的IR值会更高(即更不平衡),但这恰恰反映了更现实的数据分布。更重要的是,k-means离散化策略带来了更低的标签噪声水平,这表明数据点与其最近邻属于同类的概率更高,学习任务的内在难度相对降低。
在方法学贡献与可用性方面,TOC-UCO不仅仅是一个数据集合。研究人员还贡献了用于加载和使用数据集的Python代码,提供了基于TOC-UCO的名义分类模型和序分类模型的基线结果,并详细说明了每个数据集的来源、预处理步骤以及如何利用提供的30个固定划分进行可复现的基准测试。所有数据和代码均已公开,旨在使其成为序分类文献中公认的标准基准集。
综上所述,科尔多瓦大学团队推出的TOC-UCO存储库,是针对序分类领域基准测试标准化需求的一项重大贡献。它系统地解决了以往数据集中存在的规模小、不平衡、分布不自然、重复和不可复现等诸多问题。通过提供更多样化、更高质量、预处理统一且附带可复现实验框架的数据集,TOC-UCO为开发和验证新的序分类方法树立了新的标杆。这项工作有望推动整个领域告别零散评估的旧时代,进入一个基于共同标准、结果可比较、可复现的新阶段,从而加速序分类技术在医疗诊断、质量评估、风险评估等众多实际场景中的有效应用。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号