AHE:一种用于大规模高度不平衡数据分类的自适应混合采样集成方法

《The Knee》:AHE: Adaptive hybrid-sampling ensemble for large-scale highly imbalanced data classification

【字体: 大 中 小 】 时间:2025年12月11日 来源:The Knee 1.6

编辑推荐:

  曾星健|袁雅丽|梅汉涛|程光 中国南京东南大学网络科学与工程学院,210000 摘要 在众多研究领域中,不平衡数据较为常见,这类数据会导致分类器偏向样本数量占优的类别,从而显著降低分类性能。目前,各种数据级方法和集成学习方法在平衡比例适中的小型不平衡数据集上取得了良好效果

  曾星健|袁雅丽|梅汉涛|程光 中国南京东南大学网络科学与工程学院,210000

摘要
在众多研究领域中,不平衡数据较为常见,这类数据会导致分类器偏向样本数量占优的类别,从而显著降低分类性能。目前,各种数据级方法和集成学习方法在平衡比例适中的小型不平衡数据集上取得了良好效果。然而,当面对大规模且高度不平衡的数据时,这些方法往往会出现噪声干扰和信息丢失等问题。为克服这些局限,本文提出了一种适用于大规模高度不平衡数据分类的自适应混合采样集成方法——AHE。该方法旨在在最小化噪声引入的同时增强少数类的代表性,并减少多数类带来的信息损失。为此,设计了一种新的混合采样流程,为基分类器构建有用的训练集:通过过采样少数类实现部分增强,同时欠采样多数类以实现类别平衡。在过采样阶段,AHE根据少数类内的不平衡程度确定合适的采样量,并采用改进的SMOTE方法生成样本。在欠采样阶段,AHE根据分类难度动态更新直方图,将多数类划分为多个采样子空间,然后从每个子空间中均匀采样。最后,将这些基分类器以类似提升法的模式组合起来,形成集成分类模型。在24个基准数据集上的实验表明,AHE在F1、G-mean和MCC指标上的表现优于17种传统方法,尤其表现出色,这证明了AHE中自适应混合采样机制的有效性及其在大规模不平衡分类场景中的适用性。

引言
在机器人检测[1]、智能故障预测[2]以及医学诊断[3]等研究领域中,不平衡数据十分常见,其特点在于不同类别的样本分布不均。由于分类器通常以准确性为设计目标,直接在不平衡数据集上训练时,往往会过度重视样本数量占优的多数类[4]。这种偏差会削弱分类器准确预测少数类(即样本数量较少的类别)的能力,而少数类往往包含更重要的特征[5]。此外,现实世界中的不平衡数据集还面临其他复杂问题[6]、[7]、[8],如极高的不平衡比例、大规模的样本量以及严重的类别重叠,这些问题共同给不平衡分类带来了巨大挑战。

为解决不平衡问题,数据级方法被广泛视为有效的策略。过采样方法[9]、[10]、[11]、[12]、[13]通过生成样本来增加少数类的数量,使其与多数类相当。欠采样方法[14]、[15]、[16]、[17]、[18]、[19]则通过移除多数类中的多余样本来降低类别不平衡。然而,这些重采样方法各有缺陷:过采样可能导致少数类中出现噪声样本[20]、[21],而欠采样则不可避免地造成多数类信息的丢失[22]、[23]、[24]、[25]。鉴于此,混合采样方法[26]、[27]、[28]、[29]、[30]、[31]应运而生,它通过先过采样生成合成样本以实现类别平衡,再欠采样去除噪声样本以净化数据集,从而兼顾各方法的优点并弥补其缺点。

不过,传统的混合采样方法在处理大规模且高度不平衡的数据集时,适应性不足,性能也有限。这一限制源于其“先平衡后净化”的重采样流程,该流程依赖样本生成来弥补巨大的样本量差距。当对不平衡比例高且样本量大的数据集进行过采样以实现平衡时,会生成大量合成样本,这容易扭曲少数类中的数据模式,使得基于欠采样的降噪方法失效。因此,混合采样过程几乎退化为单纯的过采样环节,且容易受到噪声干扰。

近年来,基于欠采样的集成学习方法[22]、[23]、[24]、[32]、[33]、[34]因其高效的设计和出色的性能而备受关注。尽管这些方法仅使用少数类的一个小子集进行训练,但由于基分类器可以从多数类的不同方面学习并互补彼此的局限性,因此能在一定程度上减少严重的信息丢失。然而,这些方法主要侧重于欠采样多数类,而忽视了少数类样本稀缺的问题。在处理大规模高度不平衡数据集时,少数类样本数量有限,这不仅限制了训练集的大小,也制约了基分类器的分类性能。这说明,通过为少数类引入适当的增强措施,可以进一步提升整个基于欠采样的集成模型的学习能力。

为克服上述局限,本文提出了AHE,这是一种用于大规模高度不平衡数据分类的自适应混合采样集成方法。AHE的创新之处在于重新定义了传统混合采样中两个组件的角色,通过集成框架充分发挥它们的优势,同时减弱各自的缺点。AHE并非通过扩大少数类来实现类别平衡,而是将少数类过采样到接近多数类大小的规模,生成适当数量的合成样本,同时控制因大量样本生成而带来的噪声引入。之后,AHE通过欠采样多数类,结合多样化的训练样本来实现类别平衡。通过将这种“先增强后平衡”的流程融入类似提升法的框架中,AHE能够构建有用的训练集,并通过整合多个基分类器有效减少信息丢失。

具体而言,在过采样阶段,AHE通过聚类分析估计少数类内部的不均衡子概念分布,进而计算出消除类别内不平衡所需的合成样本数量。而传统的混合采样方法[26]、[27]、[28]、[29]、[30]、[31]是以1:1的比例完全增强少数类,AHE则采用较低的局部采样率,从而在扩大少数类的同时从根源上减少噪声干扰。为保持适度的合成速度,AHE还利用调度函数来确定每次迭代的采样量。此外,AHE还设计了改进版的SMOTE[9]方法,通过严格控制的样本生成来增强少数类并优化类别边界。在欠采样阶段,AHE通过动态硬度直方图来捕捉分类难度分布,将多数类样本划分为多个区间。与以往需要超参数[22]、[33]或采用极值[23]、[24]来确定区间数量的基于欠采样的集成方法不同,AHE将多数类样本的分割视为一种一维聚类任务,通过改进的Jenks自然断点法[35]最小化各区间内的难度差异,同时确保区间数量最少。这样得到的硬度直方图能够在最少的区间数下实现对多数类最细致的分割,从而形成多样化的采样子空间。随后,AHE从每个区间中均匀采样,提取出与增强后的少数类规模相当的多数类子集,从而确保在不同分类难度水平下都具有样本多样性。

综上所述,本文的贡献如下:
• 提出了AHE,一种具有创新采样流程的自适应混合采样集成框架,专为大规模高度不平衡数据分类设计。
• 提出了一种新的混合采样机制,包括部分过采样和基于直方图的均匀欠采样,用于为基分类器构建有用的训练集,该机制能有效增强少数类,同时减少多数类带来的信息丢失。
• 通过24个具有不同不平衡比例和数据量的真实世界不平衡数据集对AHE进行了全面评估。实验结果表明,AHE在F1、G-mean、MCC和AUCPRC指标上的表现优于17种传统方法,且能够适配具有不同学习方式的基分类器。

本文的其余结构如下:第2节概述了不平衡分类领域的相关研究;第3节详细介绍了所提出的AHE方法;第4节给出了全面的实验评估结果;最后,第6节对全文进行总结。

相关研究
不平衡学习方法可分为数据级方法、算法级方法和集成学习方法。由于算法级方法是通过修改现有的学习算法来减轻分类器对不平衡数据的偏见,而超出了本文的研究范围,因此本节将重点介绍数据级方法和集成学习方法。

问题定义
在本节中,我们首先详细阐述本文要解决的不平衡问题,并给出必要的符号说明,以便解释不平衡分类的评估指标。对于不平衡数据集,多数类和少数类分别用N和P表示。不平衡比率(IR)用于反映N和P之间的样本差异,其计算公式为:
IR = |N| / |P|

类别不平衡是分类任务中普遍存在且极为重要的挑战,其特征是……

实验数据集
实验数据集分为三组,每组具有不同的特点和评估目标:(1)具有逐渐增加的IR值和样本量的合成数据集;(2)具有高IR值和大规模样本量的真实世界数据集;(3)具有中等IR值和样本量的真实世界数据集。

为了直观验证AHE的效果,并凸显传统混合采样方法的固有局限,我们构建了两组合成棋盘格状数据集……

讨论与未来工作
AHE的局限性。本文提出了AHE,这是一种用于大规模高度不平衡二元分类的自适应混合采样集成方法。但目前版本的AHE仅限于二元分类任务,这可能限制其在那些经常需要处理不平衡多类分类的真实世界场景中的应用。在未来的工作中,我们计划扩展AHE,使其能够处理多类问题,尤其是那些具有复杂长尾数据分布的多类问题。

结论
本文提出了一种名为AHE的自适应混合采样集成框架,专门用于大规模高度不平衡数据分类。AHE采用一种新颖的两阶段混合采样流程,能够有针对性地为基分类器构建有用的训练集。在过采样阶段,AHE基于改进的SMOTE技术引入了一种部分增强策略,通过逐簇采样消除少数类内的类别不平衡……

CRediT作者贡献声明
曾星健:撰写——初稿、软件、方法论、数据整理、概念设计。袁雅丽:指导、方法论、概念设计。梅汉涛:撰写——审阅与编辑、软件、概念设计。程光:撰写——审阅与编辑、验证、指导。

利益冲突声明
作者声明不存在任何可能影响本文研究的已知财务利益或个人关系。

致谢
本研究部分得到了江苏省自然科学基金(项目编号SBK2023041256)和中国国家自然科学基金(项目编号62302097)的支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号