《Neural Networks》:AnomalyTCN: Efficient Contrastive-based Time Series Anomaly Detection with Pure Convolution Structure
编辑推荐:
时间序列异常检测中,对比学习因性能优越而快速发展,但其依赖复杂注意力机制导致计算成本高、框架通用性差。本文提出AnomalyTCN,通过设计对称双分支卷积结构和非对称监督训练策略,构建无需注意力机制的有效对比表示,在保持性能优势的同时减少83.6%计算时间和20.1%内存占用。
罗东浩|王雪
清华大学精密仪器系,北京,100084,中国
摘要
近年来,基于对比的学习方法在时间序列异常检测领域发展迅速,并因其卓越的性能而受到广泛关注。然而,现有的基于对比的方法通常依赖于复杂的注意力机制,这不仅增加了计算成本,也限制了框架的通用性,阻碍了其进一步的应用。为了解决这些问题,我们在本文提出了一种无需注意力的基于对比的解决方案。通过深入分析,我们发现对比差异学习并不一定需要依赖注意力机制。通过设计非对称的双分支卷积结构并采用非对称的监督训练策略,简单的轻量级纯卷积结构也能生成有效的对比表示,用于异常检测。基于这些发现,我们提出了AnomalyTCN,作为一种更高效、更有效的基于对比的时间序列异常检测方法。通过采用简单的轻量级纯卷积结构,我们的方法在保持基于对比的方法的性能优势的同时,大幅提高了效率。实验结果表明,AnomalyTCN在各种时间序列异常检测任务上达到了与现有技术相当甚至更优的性能,同时节省了83.6%的运行时间和20.1%的内存消耗。这些结果证明了AnomalyTCN在性能与效率之间取得了良好的平衡,是时间序列异常检测的理想解决方案。此外,我们的研究还展示了将基于对比的异常检测框架与其他高效的时间序列模型相结合的潜力,进一步展现了这一新兴研究方向的巨大潜力。
引言
在各种实际应用中(例如工业监控、金融欺诈检测和系统维护),物联网传感器会收集大规模的时间序列数据。时间序列异常检测旨在从这些数据中挖掘异常点,对于确保工业安全和避免经济损失具有重要意义(参见Anandakrishnan等人(2017年);Cook等人(2020年);Golmohammadi和Zaiane(2015年);Ren等人(2019年);Zhong等人(2023年)的研究)。鉴于其巨大的实用价值,近年来时间序列异常检测技术得到了快速发展。
其中,基于对比的方法(Fang等人(2024年);Xu等人(2021年);Yang等人(2023年)因其卓越的性能而引起了广泛关注。这些方法借鉴了对比差异学习的理念(Chen等人(2020年);Chen和He(2020年);Grill等人(2020年);He等人(2019年)),并基于一个发现:正常点比异常点更有可能共享相似的潜在模式(Fang等人(2024年);Xu等人(2021年);Yang等人(2023年)。根据这一发现,正常点在不同视图下的表示差异通常小于异常点,这自然可以作为更有效的异常检测标准,从而提高检测性能。
尽管基于对比的时间序列异常检测方法取得了理想的效果,但仍面临一些挑战,限制了其进一步的发展。这类方法的核心在于如何构建用于对比学习的非平凡表示视图。现有方法(Fang等人(2024年);Xu等人(2021年);Yang等人(2023年)认为这一构建过程非常困难,需要精心设计,并且通常依赖于复杂的注意力机制。然而,对注意力机制的依赖降低了框架的通用性,阻碍了相关研究的进一步发展。此外,注意力机制的复杂度较高,特别是在对比学习场景下,会导致计算成本大幅增加,限制了其在实际应用中的普及。
从现有文献来看,基于对比的方法具有显著的性能优势,但存在效率和通用性方面的问题。如果我们能够将基于对比的异常检测框架与其他高效的时间序列模型相结合,就可以解决这些问题,提出一个在性能和效率之间取得更好平衡的理想解决方案。为了实现这一目标,我们首先探讨了是否可以去除复杂的注意力机制,设计一种无需注意力的基于对比的方法。
作为一项开创性的探索,我们借鉴了之前研究(Luo和Wang(2024年)的经验,进一步研究了提出纯卷积结构用于基于对比的时间序列异常检测的可行性。先前的研究表明,纯卷积结构在时间序列建模中的效率优于复杂的基于注意力的结构,同时性能表现相当或更优。通过初步分析,我们发现构建用于对比学习的非平凡表示视图并不像想象中那么困难,并且不一定依赖于注意力机制。通过设计非对称的双分支卷积结构和采用非对称的监督训练策略,简单的轻量级纯卷积结构也能生成有效的对比表示。如图1所示,即使是最简单的、不可训练的双分支卷积结构也具备一定的异常检测能力,验证了其巨大潜力。在第四节中,我们将介绍更复杂的网络结构以提升表示能力,并使卷积核的权重可训练,从而使模型能够处理更多类型的异常,适用于更复杂的异常检测任务。
基于以上动机,我们提出了AnomalyTCN,作为一种更高效、更有效的时间序列异常检测方法。通过采用简单的轻量级纯卷积结构,我们的方法在效率上具有明显优势。同时,通过设计非对称的双分支卷积结构和采用非对称的监督训练策略,我们的纯卷积方法能够在不需要注意力机制的情况下保持基于对比的方法的性能优势。实验结果表明,AnomalyTCN在各种时间序列异常检测任务上达到了与现有技术相当甚至更优的性能,并节省了83.6%的运行时间和20.1%的内存消耗。我们的贡献包括:
- •
我们探讨了如何提出一种无需注意力的基于对比的时间序列异常检测方法。通过成功结合纯卷积结构和基于对比的检测框架,我们展示了解决这一问题的可能性,证明了这一新兴研究方向的巨大潜力。
- •
我们的AnomalyTCN在各种基准测试中取得了与现有技术相当甚至更优的性能,证明了其性能优势。我们还提供了详尽的模型分析和案例研究。
- •
作为一种纯卷积结构,AnomalyTCN在性能与效率之间取得了良好的平衡,是时间序列异常检测的理想解决方案。它成功解决了基于对比的方法在效率方面的问题,同时保持了性能优势,具有广泛的实际应用潜力。
时间序列异常检测
作为重要的实际问题,研究人员提出了多种时间序列异常检测方法。其中,经典的基于重构的方法(如LSTM-VAE(Park等人,2018年);OmniAnomaly(Su等人,2019年);InterFusion(Li等人,2021年);TimesNet(Wu等人,2023年);GPT4TS(Zhou等人,2023年);D3R(Wang等人,2023年);f-AnoGAN(Schlegl等人,2019年);MAD-GAN(Li等人,2019年);BeatGAN(Zhou等人,2019年)等)最为流行。
问题定义
时间序列异常检测定义:
考虑一个长度为T、具有M个变量的多变量时间序列:
表示时间t的观测值,时间序列异常检测的目标是判断x_t是否异常。作为常见的处理流程,我们使用神经网络表示输入的时间序列并计算其异常分数以进行判断。用于基于对比的时间序列异常检测的纯卷积结构与非对称双分支设计
在本文中,我们首次设计了非对称的双分支卷积结构,用于生成有效的对比表示
方法论
为了在性能和效率之间取得更好的平衡,我们提出了AnomalyTCN,作为一种更高效、更有效的时间序列异常检测方法。
实验
为了全面验证AnomalyTCN的有效性和效率,我们进行了全面的实验和深入分析,以回答以下研究问题:
•Q1:AnomalyTCN在时间序列异常检测中的表现如何?我们的方法是否优于其他竞争性方法?(见第5.2节和第5.4节)。
•Q2:我们的方法在各种评估指标上是否始终表现出性能优势?(见第5.3.1节和第5.4节)。
•我们的方法能否检测到……
结论
本文提出了一种无需注意力的基于对比的时间序列异常检测方法。为了解决之前基于复杂注意力机制的方法在效率和通用性方面的问题,我们提出了AnomalyTCN。通过采用简单的轻量级纯卷积结构,我们避免了昂贵的注意力计算,提高了效率。同时,通过设计非对称的双分支卷积结构并采用……
CRediT作者贡献声明
罗东浩:撰写 – 审稿与编辑、初稿撰写、可视化、验证、软件实现、方法论设计、数据分析、概念化。王雪:撰写 – 审稿与编辑、监督工作、资金获取、项目管理。
利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文的研究结果。
致谢
本研究得到了河北省创新计划(20540301D)的支持。