AMAD:用于无监督多变量时间序列异常检测的自动掩码注意力

《Knowledge-Based Systems》:AMAD: AutoMasked Attention for unsupervised multivariate time series anomaly detection

【字体: 大 中 小 】 时间:2026年09月30日 来源:Knowledge-Based Systems 8.0

编辑推荐:

   摘要无监督多变量时间序列异常检测(UMTSAD)在金融、网络和传感器系统等领域中至关重要。由于标注异常的稀缺性,该领域已主要转向无监督范式,其中基于Transformer的重建模型被广泛用于学习正常模式并通过重建误差来识别异常。然而,当模型在包含未标注异常的大规模数据上进行训

  

摘要

无监督多变量时间序列异常检测(UMTSAD)在金融、网络和传感器系统等领域中至关重要。由于标注异常的稀缺性,该领域已主要转向无监督范式,其中基于Transformer的重建模型被广泛用于学习正常模式并通过重建误差来识别异常。然而,当模型在包含未标注异常的大规模数据上进行训练时,可能会无意中重建异常模式,从而模糊正常与异常之间的边界。此外,这些方法所依赖的异常关联假设通常基于预定义的模式,例如集中型或峰值型异常,这限制了其对多样化真实世界异常类型的泛化能力。为了解决这两个问题,我们提出了AMAD,即面向UMTSAD任务的自适应遮罩注意力(AutoMasked Attention)。AMAD引入了一种基于AutoMask机制和注意力Mixup模块的新型结构,构建了一个简洁且具有泛化能力的异常关联表示框架,该框架通过自适应地学习关联模式,而非依赖预定义假设,直接针对限制性先验问题。该框架还通过最大-最小训练策略得到进一步增强,该策略显式地拉大正常与异常片段之间的重建误差差距,从而缓解异常吸收问题,并结合了局部-全局对比学习方法。广泛的实验结果表明,AMAD在多个强基线方法上取得了有竞争力的性能,在具有多尺度时序异常结构的数据集上表现尤为突出。

引言

异常检测是金融、网络系统、传感器网络[1]、[2]和工业自动化[3]、[4]等各个领域和系统中的关键任务。这些系统产生大量多变量时间序列(MTS)数据,及时准确的异常检测对于维持运营效率、安全性和可靠性至关重要[5]、[6]。然而,MTS异常检测本身就具有挑战性:数据具有高维度和大规模的特点,而异常本身则稀有、多样,并微妙地嵌入在大量正常模式中[7]、[8]。此外,时间序列数据可能随时间演变,概念漂移会进一步增加正常模式建模的复杂性[9]。这种稀缺性和模糊性使得人工标注工作量大、成本高昂且容易出错,导致依赖预标注真实标签的监督方法在实际部署中基本不切实际。
因此,该领域已主要转向从无标签数据直接学习的无监督范式[3]、[10]、[11]。然而,这种范式转变带来了一系列根本不同的挑战。在没有明确监督的情况下,模型无法被告知什么构成异常;它必须从数据本身推断"正常性"的概念,并将这种隐式理解转化为可靠的异常分数。这将核心难度从数据标注转移到任务设计上:如何构建能产生判别性表示的自监督目标,如何产生稳定且校准良好的异常分数,以及如何捕获异常表现所依赖的丰富时序和跨变量上下文。
深度无监督多变量时间序列异常检测(UMTSAD)正是为回应这些问题而兴起的,但在实际中实现它仍然充满挑战。缺乏标注数据迫使模型通过精心设计的无监督或自监督任务进行训练。一些任务利用数据的固有结构来学习能产生异常分数的判别性特征,从而区分异常序列和正常序列[12]、[13]。例如,一种近期方法(CAROTS)利用变量之间的因果关系,逐步纳入具有共同因果模式的多样化样本,增强了模型区分正常和异常模式的判别能力[14]。其他工作利用自注意力来捕获时间序列数据中的逐点和成对关系,基于以下观察:异常往往与相邻点具有集中关联,而正常点则在整条序列上建立更广泛的连接[15]。另一条突出的研究路线采用基于重建的方法,模型被训练用于重建正常模式,并通过重建误差来识别异常[16]。这些方法假设在主要正常数据上训练的模型将无法准确重建异常模式,从而对异常产生更高的重建误差。虽然这些方法在多个方向上推进了该领域的发展,但仍存在若干根本性局限,我们在下文详细阐述。
尽管上述方法已取得一定成果,UMTSAD仍面临以下挑战。第一,基于重建的无监督模型可能会无意中学习重建异常模式。这一现象在不同的基于重建的架构中已被反复观察到,包括基于Transformer[17]、基于自编码器[8]、[18]和基于GAN[7]的模型。在不知道哪些样本是正常或异常的情况下,对大规模时间序列进行训练的高容量模型倾向于拟合数据中的全局模式,重复出现或微妙的异常可能被吸收到所学习的正常流形中[14]、[16],缩小正常与异常重建误差之间的差距,最终降低检测性能。第二,现有方法依赖于关于异常关联的限制性、预定义假设。越来越多的工作在特定结构先验下建模异常依赖关系——例如,假设异常形成集中尖峰或短峰值片段[15],表现出局部跨变量相关性[12],或遵循预定义的因果模式[14]。虽然在特定异常类型上有效,但这类手工构建的先验本质上限制了模型捕获现实世界多变量时间序列中常见且前所未有的多样化异常模式的能力[5]、[13]。
为了在统一框架中解决这两个挑战,我们提出了AMAD(面向无监督多变量时间序列异常检测的自适应遮罩注意力)。为了克服限制性关联先验问题,AMAD引入了一种广义关联函数,将任意两个时间点之间的相关性作为其值和相对距离的联合函数来度量,从而能够在不采用任何预定义异常形状或局部性假设的情况下,对任意范围内的序列相关性进行表征。受傅里叶变换启发,傅里叶变换通过周期基的线性组合来逼近任意函数,我们将旋转位置编码(RoPE)[19]扩展为一种自适应遮罩机制,该机制能从数据中自适应地学习关联模式,而非依赖固定先验。为了进一步缓解异常吸收问题,AMAD采用了一种最大-最小训练策略,该策略拉大正常与异常片段之间的重建误差差距,防止高容量模型坍缩为以低误差重建异常的平凡解。
我们工作的主要贡献总结如下:
  • •
    我们识别并系统分析了无监督MTS异常检测中两个探索不足的挑战——基于重建模型中的异常吸收问题和关联建模中的限制性先验问题——基于对现有方法的广泛综述。
  • •
    我们提出了AMAD,其特征是一种自适应遮罩注意力机制,将RoPE泛化以学习多尺度关联模式,无需预定义先验,并结合一个Mixup模块来融合局部相对位置信息与全局特征。
  • •
    我们设计了一个联合训练目标,在基于重建的损失下结合了最大-最小策略与局部-全局对比策略,显式地拉大正常与异常之间的重建差距。
  • •
    在五个公开真实世界数据集上的大量实验表明,AMAD在强基线方法上取得了有竞争力的性能,在具有多尺度时序异常结构的数据集上表现尤为突出。
本文其余部分组织如下。第2节详细介绍UMTSAD的相关工作。第3节定义符号和问题陈述。第4节全面解释我们提出的AMAD方法。在第5节中,进行了一系列实验以展示AMAD方法的优越性。最后,第6节提供了总结和结论。

章节摘要

相关工作

现有的UMTSAD方法大致可根据其所利用的自监督信号分为三种范式,即基于重建的方法、基于关联和预测的方法,以及基于插补和生成的方法。我们逐一回顾每种范式,并将我们的工作定位于此分类中。
第一种范式是基于重建的方法,训练模型重建输入序列,并将重建误差作为异常分数。传统的

预备知识

在本节中,我们首先给出MTS数据的正式定义以及UMTSAD问题的定义。随后,我们引入异常关联的定义。

所提出的模型

所提出的AMAD模型如图2所示。其核心是AutoMask注意力机制,该机制专门用于建模多尺度异常关联结构,从而解决现有基于Transformer的方法无法同时考虑多尺度关联的局限性。为了形成全面的表示,模型随后采用基于Mixup的注意力融合模块,将所捕获的局部和全局特征信息进行整合。

基线方法和评估指标

我们将AMAD模型与14种基线方法进行对比,描述如下。
MAD-GAN[7]采用基于LSTM的生成对抗网络,通过结合生成器重建误差与判别器输出来检测多变量时间序列中的异常。
InterFusion[41]采用具有两个随机潜在变量的分层变分自编码器,同时建模多变量时间序列中的跨指标和时间依赖性。
BeatGAN[22]实现了稳健且

结论与未来工作

AMAD的灵感来源于傅里叶变换,傅里叶变换将函数分解为一系列周期分量。类似地,AMAD引入了AutoMask注意力机制,该机制相当于对时间序列数据进行频谱分解。通过嵌入可学习的旋转位置编码,AMAD超越固定高斯核,能够逼近任意关联函数,从而有效捕获局部和全局序列特征。
AutoMask机制

作者贡献声明

黄天格(Tiange Huang):写作—审阅与编辑、写作—初稿撰写、可视化、验证、方法论、调查、形式化分析、数据整理、概念化。李根森(Gengsen Li):写作—审阅与编辑、写作—初稿撰写、方法论、形式化分析、概念化。李永军(Yongjun Li):写作—审阅与编辑、写作—初稿撰写、指导、调查、形式化分析、概念化。张文云(Wenyun Zhang):写作—审阅与编辑、可视化、验证、软件

利益冲突声明

作者声明不存在任何已知的竞争性财务利益或个人关系,这些关系可能影响本文所报告的工作。
黄天格 | 李根森 | 李永军 | 张文云
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号