一种兼具重构与识别功能的双路径融合网络,用于零样本多变量时间序列异常检测
《Neurocomputing》:A dual-path fusion network with reconstruction and discrimination for zero-shot multivariate time series anomaly detection
【字体:
大
中
小
】
时间:2026年04月06日
来源:Neurocomputing 6.7
编辑推荐:
王泰志|高欣|刁新平|李渊|于海波|林宇坤|徐慧婷|刘英兰中国北京邮电大学智能工程与自动化学院,北京100876摘要为解决主流多变量时间序列异常检测方法在数据匮乏场景下的局限性,新兴的零样本多变量时间序列异常检测方法通过从多种多源时间序列数据中学习跨领域通用表示,能够在无需目标领
王泰志|高欣|刁新平|李渊|于海波|林宇坤|徐慧婷|刘英兰中国北京邮电大学智能工程与自动化学院,北京100876摘要为解决主流多变量时间序列异常检测方法在数据匮乏场景下的局限性,新兴的零样本多变量时间序列异常检测方法通过从多种多源时间序列数据中学习跨领域通用表示,能够在无需目标领域额外训练或微调的情况下直接进行异常检测。然而,这些方法所基于的重建范式在跨领域表示方面面临两大挑战。首先,当跨领域特征差异较大时,重建模型往往只能捕捉到浅层的共有结构,这降低了其传递深层语义信息的能力,进而限制了模型的泛化能力。其次,为提升泛化能力而放宽信息瓶颈可能会降低模型对细微异常的敏感度,从而影响检测性能。本文提出了一种双路径融合网络(DPF-Net),用于零样本多变量时间序列异常检测,该网络将重建与判别功能整合在一个协同框架中。重建路径旨在捕捉丰富的跨领域时间依赖关系,而判别路径则通过一种新的点级注意力机制和图注意力网络,灵活聚合局部时间与空间信息,以提取更具通用性的点级特征。此外,本文还引入了一种多模块协同训练策略,包括动态难样本挖掘以及三阶段交替双路径训练过程。这种策略使得两条路径之间能够实现协同互补,结合重建路径的时间依赖建模优势与判别路径的跨领域泛化能力。在五个真实世界数据集上的大量实验表明,与16种全样本及5种现有最先进的零样本基线方法相比,DPF-Net取得了具有竞争力的零样本异常检测性能。引言在工业制造、金融市场和医疗检测等研究领域中,系统行为通常需要被量化、采样并整理为多变量时间序列数据以便分析[1]、[2]。多变量时间序列不仅可以描述系统状态随时间变化的动态规律,还能揭示演化过程中多个变量之间的相互依赖关系和交互模式。作为多变量时间序列分析的关键任务之一,多变量时间序列异常检测旨在识别那些在复杂时间序列系统中显著偏离正常模式的异常行为。由于时间序列数据中的异常往往预示着潜在或即将发生的系统故障,因此对多变量时间序列异常检测的研究对于工业生产流程、IT基础设施维护以及网络入侵检测等领域具有非常重要的意义[3]、[4]、[5]。因此,多变量时间序列异常检测已成为一个备受关注的重要研究方向,具有重大的学术价值和应用前景。近年来,在基于未标记历史数据的无监督多变量时间序列异常检测方面取得了显著进展。根据学习任务的不同,这些方法可分为基于预测的方法[6]、[7]、基于重建的方法[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17],以及基于对比表示的方法[18]、[19]。此外,还有一些方法试图利用标记数据来监督异常检测模型的训练,这类方法通常旨在提取点级判别特征,以预测每个点的异常标签[20]、[21]、[22]。然而,上述方法往往需要大量的目标检测系统的历史数据才能充分挖掘其序列模式,而在许多实际场景中这可能难以实现。例如,新部署的系统或边缘设备可能没有历史数据积累[23],工作环境可能频繁变化导致历史数据无法获取[14],或者数据隐私问题使得数据收集变得困难[24]等。在这些情况下,现有的异常检测方法无法有效检测异常。此外,上述方法还需要为每种设备或设备类型从头开始训练模型,这会消耗大量的计算资源和时间[23]。近年来,随着少样本或零样本方法在图像识别等领域得到广泛研究和成功应用,研究人员开始探索是否可以将类似理念应用于多变量时间序列异常检测领域。零样本范式指的是在训练阶段使用与目标领域无关的源领域数据进行训练,之后无需微调即可进行推理。其目的是解决实际场景中训练数据不足的问题,提升模型在不同异常检测对象上的泛化能力。在时间序列异常检测领域,零样本范式的相关研究包括[23]、[25],这类方法不需要大量来自目标检测系统的历史数据,而是借助其他领域的先验知识。现有的零样本多变量时间序列异常检测方法主要遵循全样本方法中常用的重建范式,即通过带有信息瓶颈的自编码器来压缩和重建时间序列。在这一过程中,模型会学习正常模式中最具代表性的信息,并通过调整来增强多领域泛化能力,从而帮助模型全面捕捉时间依赖关系等信息。然而,在面对多领域泛化问题时,这类方法在适应不同数据分布方面仍存在显著局限,这与重建模型的本质特性有关。首先,在多变量时间序列领域之间的特征差异较大的情况下,重建模型提取的全局特征通常只具备较浅层次的跨领域共有知识。与能够提取更深层特征的判别模型相比,以重建任务为驱动的模型在实现跨领域泛化方面面临更大挑战。其次,重建模型是通过构建信息瓶颈来学习正常模式的压缩表示,然后根据重建误差来识别异常。为确保重建模型在不同领域间的适应性,其信息瓶颈不应过于狭窄。但这也会使得重建模型难以检测到与正常模式仅有细微差异的异常。在全样本多变量时间序列异常检测中,已经应用了能够更好实现跨领域泛化的判别方法,这类方法主要利用无监督域适应技术,引入其他领域标记数据中的先验信息[20]、[21]。与重建模型提取的全局特征相比,这类方法提取的判别特征更有利于跨领域泛化。然而,仅依靠判别方法很难独立完成零样本多变量时间序列异常检测任务。由于异常样本数量较少且其模式多样性较高,这类方法在区分正常模式与异常模式方面的判别能力受到极大限制。此外,判别方法缺乏对时间序列的整体建模能力,导致它们过度关注局部片段中的特定模式,无法充分学习正常样本的丰富信息,尤其是时间依赖关系。另外,现有专注于多变量时间序列异常检测中跨领域泛化的判别方法缺乏明确的机制来捕捉跨维度依赖关系,这在一定程度上也可能限制其异常识别能力。基于以上分析,将基于重建的范式与基于判别的范式有机融合,能够充分发挥两种建模策略的优势,既有助于提取更深层、更具可迁移性的特征,又能确保对时间依赖关系的稳健建模。因此,本文提出了一种双路径融合网络(DPF-Net),该网络在有一个或多个源领域的标记数据可供训练的前提下,将重建与判别功能整合在一个协同框架中,用于实现零样本多变量时间序列异常检测。DPF-Net采用双路径架构,并包含一个由对抗性重建模块(AReM)、判别加权模块(DWM)以及焦点选择机制(FSM)组成的协同多模块优化框架。AReM在训练过程中会依据异常标签来捕捉与领域无关的时间模式。DWM则负责聚合时间和空间维度上的点级判别信息,捕捉跨维度依赖关系,从而增强跨领域泛化能力,进而为AReM的训练提供辅助。FSM会根据模型的预测结果,选出难以区分的异常样本以及相似的正常样本,构建出用于判别的数据集,从而提升模型识别细微异常的能力。焦点的选择也是基于模型的预测结果,这不仅有助于缓解正常样本与异常样本之间的不平衡,还能让DWM专注于模型难以识别的关键部分,从而弥补重建任务在识别难以区分的异常时的不足。在训练AReM的过程中,DWM生成的异常置信度分数可作为引导权重,用于优化AReM,从而使两者之间实现互补协同。本文的主要贡献如下:本文提出了一种专为零样本多变量时间序列异常检测设计的建模框架,该框架将基于重建的范式与基于判别的范式进行了协同融合。针对现有方法的局限性——单一重建模型在跨领域适应性方面不足,而单一判别模型在捕捉时间依赖关系方面的能力有限——该框架采用双路径设计,共同建模多个领域之间的共同特征。具体而言,重建路径侧重于捕捉全局时间依赖特征,有效建模各领域共有的演化模式;而判别路径则致力于捕捉局部判别特征,从而提升模型对异常模式的敏感度及其整体判别能力。本文还提出了一种基于交替优化和多模块协同学习的双任务训练机制。在训练的每一轮迭代中,都会采用“重建驱动——难样本识别——判别驱动”三阶段策略,实现对双路径的交替训练,从而结合重建功能在时间依赖建模方面的优势与判别功能在跨领域泛化方面的能力。通过这种训练机制,所提出的方法实现了零样本多变量时间序列异常检测中双任务的深度整合,显著提升了检测性能的泛化能力和稳定性。本文还设计了一种判别加权模块(DWM),用于有效提取多个领域中的点级时间和空间判别特征。为了实现对任意焦点位置的精细异常识别,该模块采用了点级注意力层,能够灵活高效地将窗口级的时间依赖特征聚合为点级表示。为了解决多领域多变量时间序列数据与模型之间可能存在的维度不匹配问题,该模块还采用了图注意力网络来捕捉和概括跨维度依赖关系,从而实现跨维度信息的聚合,显著提升模型的判别能力。本文的其余结构如下:第2节回顾与所提方法相关的现有研究;第3节详细阐述所提方法;第4节介绍实验、结果及相应分析;最后,第5节对本文进行总结,并探讨未来研究的潜在方向。相关研究鉴于目前关于全样本多变量时间序列异常检测已有大量研究成果,本节首先回顾了全样本场景下的最新进展,涵盖了无监督方法和有监督方法。其中,无监督方法的讨论主要集中在重建技术上,因为所提方法也采用了重建范式,并借鉴了先前在时间与空间依赖关系建模以及控制模型泛化能力方面的研究成果。有监督方法……所提方法本节首先定义了零样本场景下的多变量时间序列异常检测问题,随后介绍了所提方法的整体框架和训练流程,最后详细描述了各个组成部分。实验本节通过全面的实验来评估所提方法的性能。首先,将其与现有的三种最先进的零样本多变量时间序列异常检测方法进行比较;其次,进一步将其与16种先进的全样本多变量时间序列异常检测方法进行对比。此外,还对所提框架的各个组成部分进行了消融实验,以验证各模块的有效性。进一步地,还研究了……结论本文提出了一种名为DPF-Net的零样本多变量时间序列异常检测方法,该方法无需在目标领域数据上进行训练或微调即可直接应用。DPF-Net融合了基于重建和基于判别的两种范式,通过一种双任务、多模块协同优化训练机制,充分利用了重建模块与判别模块的互补优势。所设计的判别加权模块(DWM)能够有效聚合时间和……CRediT作者贡献说明王泰志:写作——审阅与编辑、写作——初稿撰写、软件、方法论、形式分析。高欣:写作——审阅与编辑、写作——初稿撰写、指导监督、资源协调、方法论、资金获取、形式分析、概念构思。刁新平:写作——审阅与编辑、验证、软件。李渊:验证、资金获取。于海波:资源协调、资金获取、概念构思。林宇坤:写作——审阅与编辑。徐惠亭:利益冲突声明 作者声明自己不存在任何可能影响本文研究结果的已知财务利益或个人关系。致谢 作者感谢机器学习小组的同事们对本文提出的宝贵意见。本研究得到了中国国家电网公司科技项目(5216A025000M-057-ZN)以及北京邮电大学超级计算平台的支持。王泰志于2024年从中国北京邮电大学获得自动化专业学士学位,目前在该校智能工程与自动化学院攻读博士学位。他的研究兴趣包括人工智能和深度学习领域。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号