一种用于回归任务的基于形状增强技术的异常值检测框架

《Knowledge-Based Systems》:A Shape-Enhanced Outlier-Detection Framework for Regression Tasks

【字体: 大 中 小 】 时间:2025年12月27日 来源:Knowledge-Based Systems 7.6

编辑推荐:

  异常检测框架SODA通过形态特征和残差结构分析,分三阶段处理不同异常类型与复杂场景,实验验证其优于传统方法。

  
熊志林|韩爱华|马铁峰|刘双哲
中国西南财经大学统计与数据科学学院,成都,611130

摘要

异常值会显著削弱回归分析的稳健性。然而,传统的稳健回归方法往往无法有效处理多种数据场景。为了解决这一局限性,我们提出了一种新的异常值检测框架,该框架通过利用数据形态特征和残差结构特性,确保在各种异常值类型、样本量、维度和污染率下都能表现出稳健的性能。该框架包括三个连续阶段:分割、部分净化和完全恢复。分割阶段采用基于递归聚类的方法将数据分割成空间相邻且线性结构化的组件,从而便于隔离异常值。部分净化阶段通过最小中位数平方(LMS)策略提取一组可靠的干净样本,提供初步的稳健估计。最后,完全恢复阶段通过检查稳健残差的形状和大小来识别聚集和稀疏的异常值,实现数据的全面重建。在合成数据和真实世界数据集上的广泛评估证实了该方法在具有挑战性的条件下的优越性能,这一点通过统计分析、敏感性分析和可扩展性分析得到了验证。

引言

回归分析是统计学和机器学习中的基本方法。它在揭示数据内部关系方面发挥着关键作用,并作为构建更复杂学习算法的基础工具[1]、[2]、[3]。它具有简洁的分析属性,并为从多样化数据集中提取有意义的见解提供了强大的框架[4],因此广泛应用于经济学[5]、金融[6]、犯罪学[7]和生物学[8]等领域。然而,像普通最小二乘法(OLS)这样的常用方法对异常值非常敏感,这会导致参数估计偏差和统计推断不可靠[9]。因此,稳健的异常值检测对于确保回归模型的可靠性至关重要。尽管对稳健回归的研究已经进行了数十年,但仍然需要开发一种能够从数据中提取更深层次见解的系统化异常值检测方法。
考虑以下线性模型:
y=Xβ+?。
在这个模型中,y∈Rn是响应向量,设计矩阵X=[1,X*]∈Rn×(p+1)包括一个截距列1∈Rn和一个预测因子矩阵X*∈Rn×p,其中n是样本量,p是预测因子的数量。每个观测值可以表示为向量xi=(1,xi1,..,xip)T∈Rp+1。向量β∈Rp+1包含回归系数,而?∈Rn表示误差项。OLS估计量β^=argminβ∑i=1(yi?xiTβ2本质上是不稳健的,因为其二次损失放大了偏离观测值的影响。由于不同类型的数据点可能以不同的方式影响这个估计量,因此深入理解数据结构对于可靠的分析至关重要。
基于[9]中的分类,图1展示了四种类型的数据点。(1)干净点:这些数据点紧密遵循潜在的线性结构,围绕回归线聚集。(2)不良杠杆点:这些是最有害的异常值,它们位于预测空间中远离大部分数据的位置,同时违反了线性趋势。尽管它们对回归线有很强的影响,但它们的残差可能很小,从而逃避了标准残差分析的检测[10]。(3)良好杠杆点:虽然在预测空间中距离较远,但这些点符合真实的线性关系。它们可以通过减少估计的标准误差来提高模型性能,而不是扭曲它们[11]。(4)垂直异常值:这些点在响应空间中偏离较大,但在预测空间中不偏离。虽然它们可能导致OLS估计的偏差,但它们较大的残差使它们更容易通过诊断图识别。从建模的角度来看,识别和处理不良杠杆点和垂直异常值同时保留干净点和良好杠杆点是非常重要的。
在过去几十年中,提出了各种稳健方法来解决这个问题。Huber的一个里程碑式贡献是通过用有界函数(例如Huber损失)替换方程(2)中的平方损失,引入了M-估计量[12],显著提高了对垂直异常值的稳健性。随后,Rousseeuw开发了最小中位数平方(LMS)和最小修剪平方(LTS)估计量[13]。这些方法分别最小化中位数和修剪后的残差平方和,提供了高分解点和对严重污染的强抵抗力[14]。这些贡献共同构成了稳健回归方法的基石。
然而,随着数据复杂性的增加,这些传统的基于优化的方法往往会变得不那么有效。为了说明这一点,我们构建了一个包含300个样本、20个维度和40%污染的数据集,其中包括严重的杠杆点。图2显示了OLS、M-估计量、LTS(通过fast-LTS[15]计算)和真实系数在这个数据集上的性能比较。第一行显示了真实响应与预测响应的散点图,第二行显示了干净点和异常点的残差直方图。有两个关键发现:(1)传统方法(OLS、M、LTS)受到异常值的严重影响,导致残差分布与真实系数下的结构显著偏离。具体来说,在真实系数下的干净点显示出以零为中心的单峰、对称的残差分布,并且与异常值残差有明显的分离。传统方法通过将干净点从恒等线(y=y^)推开并人为减少异常值残差,从而扭曲了这种结构,使得基于残差的区分无效。(2)四种方法中最小的50%的残差平方和分别为4921.80(OLS)、4976.14(M-估计量)、2367.12(LTS)和65.71(真实系数),这表明即使在高污染和维度下,理论上稳健的LTS也可能收敛到次优解。
基于这些发现,我们提出了一种增强形状的异常值检测方法(SODA),该方法通过分析整体数据几何结构和残差模式来采取全局视角,而不是依赖于对部分数据子集的优化。它分为三个关键阶段:(1)基于聚类的分割以隔离异常值;(2)受LMS启发的可靠观测值提取;(3)用于完整内点重建的稳健残差分析。本文的主要贡献总结如下:
  • •
    SODA引入了一种新的“分割-然后重建”范式,通过连续的精细化过程净化干净数据。该方法在不同的异常值配置、样本量、维度和污染率下都能保持一致的性能。
  • •
    通过整合形状特征,包括空间邻接的投影空间分布和线性的残差结构,我们开发了一个具有形态意识的框架,用于准确的异常值检测。
  • •
    将无监督学习原理引入到监督回归问题中。通过利用干净点和异常值之间的差异,提出了一种递归聚类方法进行有效的分割。
  • 本文的其余部分结构如下:第2节回顾相关工作,第3节概述方法论,第4节展示实验结果,第5节总结本文。

    相关工作

    回归分析中的异常值检测方法大致可以分为三个领域:回归诊断,它在应用估计之前识别和处理异常值;稳健回归,它开发了对异常值不那么敏感的估计量,并通过稳健残差来检测异常值;以及基于学习的方法,它利用数据驱动的机器学习算法来提高异常值检测的灵活性和可扩展性。

    提出的方法论

    所提出的SODA框架采用三阶段过程(图3)。第一阶段基于高斯混合模型(GMM)引入了一种聚类方法,通过三个互补的标准来有效分离聚集和分散的异常值。第二阶段结合簇大小信息和LMS原理提取一个可靠的、干净的子集。第三阶段通过评估簇和噪声来完成恢复过程。这种渐进策略——分割 → 部分净化

    数据集

    我们在七个合成数据集、六个经典基准数据集和八个公共真实世界数据集上验证了该算法的性能。

    结论

    本文提出了SODA,这是一种结构感知的线性回归异常值检测框架,它明确考虑了数据形状和点间关系。SODA通过一个新颖的三阶段框架运行——分割、部分净化和完全恢复。在分割阶段,该方法使用BIC、投影和OLS残差的组合自动将数据分割成结构上同质的子集。然后,部分净化阶段提取一个可靠的、干净的子集

    CRediT作者贡献声明

    熊志林:撰写——原始草稿、可视化、验证、软件、方法论、正式分析、数据整理、概念化。韩爱华:撰写——审阅与编辑、验证、监督、项目管理、方法论、正式分析、概念化。马铁峰:撰写——审阅与编辑、撰写——原始草稿、验证、方法论、正式分析、概念化。刘双哲:撰写——审阅与编辑、监督、方法论、正式分析,

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

    致谢

    我们想感谢审稿人和编辑们的建设性和富有洞察力的评论,这些评论极大地改善了我们手稿的呈现。刘双哲感谢堪培拉大学在2024年对他的研究休假的支持。这项工作得到了国家自然科学基金(项目编号12401380)的支持。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号