结合离线知识的自适应双域融合在线时间序列预测方法

《Neurocomputing》:Adaptive dual-domain fusion for online time series forecasting with offline knowledge

【字体: 大 中 小 】 时间:2025年12月27日 来源:Neurocomputing 6.5

编辑推荐:

  针对在线时间序列预测中存在的离线知识利用不足、跨变量与时间依赖整合困难等问题,提出OnADFNet模型。该模型通过在线学习层处理概念漂移,MLP捕捉时间依赖,多头注意力机制处理跨变量关系,并动态调整权重。实验表明,相比现有最佳模型,MSE平均降低19.6%,长期预测误差减少26%。

  
王正凯|刘慧|左家峰|狄家琦|杜俊兆
西安电子科技大学计算机科学与技术学院,中国西安,710126

摘要

准确的时间序列预测能够显著节省时间并减少经济损失。尽管已经开发了各种先进的预测模型,但仍存在一些挑战:(1)大多数现有模型在离线环境下运行,对流式数据的实时处理能力有限;(2)现有的在线预测方法要么仅捕捉变量内部依赖性,要么仅关注变量间交互作用,很少有研究能够有效结合这两方面,并且未能利用先前的离线知识。因此,我们提出了一种结合离线知识的在线自适应双域融合网络(OnADFNet)用于在线预测。首先,我们采用具有记忆功能的在线学习层来实现在线学习,有效处理不断演变的概念漂移模式。为了全面捕捉时间序列的非线性复杂性,我们将离线多层感知器与在线学习层相结合来建模变量内部依赖性。对于变量间相关性,我们在在线学习层之上加入了多头注意力机制。与基于Transformer的时间序列方法不同,我们在处理之前首先反转时间序列的嵌入表示,从而更准确、更真实地提取变量间交互作用。最后,我们使用指数梯度下降和离线强化学习动态调整两个组分的长期和短期权重,实现模型的自适应在线学习。实验结果表明,与最先进的方法相比,我们的模型平均降低了19.6%的均方误差(MSE),在长期预测中降低了26%的MSE。

引言

时间序列(TS)数据是一组具有时间属性的数据,涵盖了金融、能源、医疗保健和交通等各个领域。TS预测涉及使用历史数据来预测未来的值、趋势和模式。准确的TS预测可以帮助人们理解数据中的潜在规律和模式,从而做出明智的安排和决策。例如,通过预测云负载(CPU利用率、内存利用率、磁盘占用率等),可以提前了解服务器的未来运行状态,从而合理调度资源并提高用户满意度。目前,已经存在多种TS预测方法。
早期的时间序列预测方法主要依赖于统计模型和机器学习模型,如自回归积分滑动平均(ARIMA)[1]模型、高斯过程(GP)[2]模型和支持向量回归(SVR)。深度学习的发展为TS预测领域带来了新的见解。传统的深度学习方法包括循环神经网络(RNN)[3]及其变体,如长短期记忆网络(LSTM)和门控循环单元(GRU)。近年来,最初为处理自然语言文本而设计的Transformer模型已成为时间序列预测的基础支柱,因为它具有强大的数据建模能力和适应性。Transformer的变体,如Informer [4]、Autoformer [5]和Pyraformer [6],已成为研究的热门课题。这些模型能够有效捕捉变量间的长期依赖性,从而实现可靠的长期预测。最近的一些研究[7]表明,在某些条件下,单个线性模型的预测性能可以超过大多数Transformer变体。基于这一发现,出现了许多基于MLP的变体,包括N-BEATS [8]和LightTS [9]。尽管这些方法结构较为简单,但它们取得了令人满意的预测性能。所有上述方法都在批量学习环境下运行,模型训练依赖于完整的数据集,并假设数据分布是静态的——即训练阶段和测试阶段之间的输入输出关系保持不变。我们将这类模型称为离线模型(对应于离线知识)。然而,在现实世界中,数据通常以流式形式持续到达,输入输出关系会随时间动态变化。为了每次更新都处理全部历史数据将产生巨大的计算开销,大大降低预测效率。因此,出现了在线TS预测方法,这些方法仅使用数据流动态更新模型参数,从而实时生成准确预测。
当前的在线TS预测模型尚未完全成熟,仍存在某些局限性。通过我们的观察和研究,当前在线TS预测模型的局限性(我们的动机)可以归纳为三点。首先,一些模型(如[10]中的模型)仅简单地在数据流上进行训练,这不仅引入了高噪声信息,还使得收敛变得困难。在遇到概念漂移的情况时,这些模型通常需要大量数据才能准确识别变化模式,从而影响后续的预测性能。其次,当前的在线预测模型要么专注于变量间建模,要么专门用于建模时间上的依赖性。然而,如图1所示,在线变量间模型和在线跨时间模型的性能会交替领先,每种模型都有其优势阶段,因此很难确定哪种模型更优越。此外,少数尝试结合两者的方法是为离线学习设计的,未能实现最佳的在线预测性能。最后,当前的在线学习模型主要关注设计更优秀的在线模型或优化目标,如FSNet [11]和OneNet [12],而忽视了非在线学习模型的强大能力。然而,根据[12]中的结果显示,一种并非专门为在线环境设计的离线方法PatchTST [13]在在线预测任务中的表现优于2023年最好的在线TS预测模型FSNet。因此,在增强在线学习能力时,全面考虑非在线学习因素并充分利用离线模型的优势是至关重要的。
总之,我们提出了OnADFNet,它不仅结合了离线知识,还动态整合了变量间依赖性和时间依赖性。为了实现实时在线学习并有效应对概念漂移情况,我们使用了一个具有记忆功能的新型在线学习层。接下来,在在线时间预测模块(OTPModule)中,我们专注于捕捉时间维度的依赖性。为此,我们使用了一个具有强大非线性特征捕捉能力的轻量级MLP来优化在线学习层,有效整合了这两个组件。随后,在在线特征预测模块(OFPModule)中,我们专注于捕捉时间序列之间的相关性。为此,我们引入了一个反转机制和多头注意力机制。这种设置不仅充分利用了离线学习的强大建模能力,还解决了原始Transformer无法处理的错误时间戳等问题,这种方法已被[14]证明非常有效。我们还将它与在线学习层结合使用,利用最后一个时间戳的信息来完全捕捉序列间的相关性。最后,为了充分利用两个模块的优势,我们提出了在线权重学习模块(OWLModule)。我们使用指数梯度下降(EGD)计算长期预测权重,并在此基础上使用离线强化学习(RL)生成短期预测权重,从而得到最终预测结果。这种方法与我们的先前工作[15]不同,后者是依次处理变量间和变量内依赖性的。新型的并行双分支架构使每个分支能够学习更全面、更细粒度的特征表示,有效避免了串行架构中的信息干扰和表示限制。此外,系统能够动态调整分支权重,使每个分支在其最佳时间段内充分发挥其优势。我们的贡献如下:
  • •
    与传统时间序列预测不同,我们专注于在线场景。首先,我们引入了一个独特的在线学习层来实现在线学习。其次,模型同时考虑变量内部和变量间的依赖性,并在它们之间动态分配权重。最后,它克服了当前在线预测模型的局限性,后者未能充分利用离线模型的强大建模能力。
  • •
    为了捕捉变量的长期时间依赖性,我们提出了OTPModule,它将在线学习层与离线模型MLP相结合。为了建模变量间关系,提出的OFPModule通过整合基于离线的多注意力机制增强了在线学习框架。
  • •
    为了动态且适当地分配OTPModule和OFPModule的权重,我们使用了OWLModule。它使用EGD生成它们的长期权重,并通过离线RL获得短期权重。
  • •
    我们在五个真实数据集上进行了实验,以当前最佳策略作为基线模型。实验结果表明,与当前最先进(SOTA)模型相比,OnADFNet在相同的运行时间内平均降低了19.6%的预测误差。
  • 相关工作

    相关工作

    目前,研究人员提出了许多用于不同任务的时间序列预测模型,这些模型可以以不同的方式进行分类。鉴于本文关注在线学习环境,我们将现有方法分为离线预测模型和在线预测模型。此外,由于本文采用了专家建议预测和强化学习的思想和策略,我们还简要介绍了专家建议预测和强化学习。

    方法论

    问题定义:给定时间序列数据输入,其中表示序列长度,表示时间的变量的值,表示时间的第d个变量的值。具体来说,当D = 1时,时间序列被称为单变量时间序列。
    我们的目标是确定一个最优的在线模型,该模型具有一组参数,以预测未来的数据值,同时最小化预测值与实际值之间的差异

    实验

    本节首先介绍了使用的数据集和评估指标。接下来,它展示了针对各种方法进行的测试结果,并分析了这些结果。最后,它展示了额外的实验发现,包括概念漂移测试、消融研究、超参数研究和效率研究。实验细节和可视化结果在附录中提供。

    结论

    我们的工作:本文提出了一种结合离线知识(OnADFNet)的自适应双域融合模型,用于在线时间序列预测场景。我们的贡献可以总结如下:(1)大多数现有的时间序列预测研究基于离线环境,没有考虑现实世界环境中数据流的高效处理。为了解决这个问题,我们提出了一种适用于在线环境的有效在线预测解决方案。(2)像OneNet这样的模型

    CRediT作者贡献声明

    王正凯:撰写——原始草稿、可视化、软件、方法论、调查、形式分析、数据整理、概念化。刘慧:撰写——审阅与编辑、撰写——原始草稿、验证、监督、资源获取、概念化。左家峰:软件、调查、数据整理。狄家琦:可视化、调查、数据整理。杜俊兆:撰写——审阅与编辑、项目管理、资金获取。

    利益冲突声明

    作者声明他们没有已知的可能会影响本文报告工作的竞争财务利益或个人关系。

    致谢

    本工作部分得到了中国国家自然科学基金(编号62272368、62032017)、陕西省创新能力支持计划(编号2023-CX-TD-08)、西安电子科技大学重点人才项目(编号QTZX24004)、陕西省科技创新团队“科学家+工程师”(编号2023KXJ-040)、卫星导航系统与设备技术国家重点实验室开放基金(编号CEPNT2022A06)以及中央基本研究基金的资助。
    王正凯于2023年获得中国山东科学院齐鲁理工大学的硕士学位。他目前正在西安电子科技大学攻读软件工程博士学位。他的研究兴趣包括数据挖掘、时间序列预测和云计算。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号