MFF-Mixer:一种用于长期多变量时间序列预测的多视角特征融合方法

《Knowledge-Based Systems》:MFF-Mixer: A multi-perspective feature fusion method for long-term multivariate time series forecasting

【字体: 大 中 小 】 时间:2025年12月31日 来源:Knowledge-Based Systems 7.6

编辑推荐:

  长期时间序列预测中,传统方法难以处理多变量、非线性及长周期数据,而深度学习方法如Transformer和CNN各有优劣。本文提出MFF-Mixer混合框架,通过Transformer捕获全局特征,1D卷积提取局部特征,经门控融合单元整合后进行频率域分解与混合,有效解决多尺度特征重叠问题,实验表明优于最新SOTA模型。

  
韩书洲|梁子健|李曙光
山东技术商务大学计算机科学与技术学院,中国烟台市264005

摘要

长期时间序列预测在许多实际应用中起着关键作用,例如气候预测、电力负荷预测和交通流量估计。现有的方法,特别是基于多层感知器(MLP)模型的方法,通常侧重于序列的多尺度分解和融合。尽管这些模型表现出较强的性能,但它们的分解策略仍然局限于时间域,因此无法有效捕捉多尺度序列的独特特征。此外,在分解之前缺乏足够的特征提取进一步削弱了多尺度融合的效果。为了解决这些限制,我们提出了一种与现有基于MLP的模型显著不同的混合框架。我们的方法采用了一种全局独立于通道的降采样处理方案。具体来说,我们引入了一个Transformer模块和一个一维卷积模块来首先处理序列,分别捕捉全局和局部特征。然后通过一个门控融合单元将这些特征融合在一起。经过这种处理后,序列在频率域中进行分解,随后使用MLP进行混合。在多个真实世界数据集上的广泛实验表明,我们提出的方法在各个类别中都优于最新的先进方法。代码可在以下链接获取:https://github.com/hswerk/MFF-Mixer

引言

长期时间序列预测(LTSF)是指根据固定长度的历史观测数据来预测未来序列的任务。这种能力在多个领域都至关重要,包括气候分析[1]、电网负荷估计[2]、金融趋势分析[3]和交通流量管理[4]。随着对可靠长期预测需求的增加,已经提出了许多LTSF模型来应对多变量、动态和非线性时间序列所带来的挑战。
在深度学习广泛采用之前,传统的预测方法如指数平滑(ES)[5]、[6]和自回归积分移动平均(ARIMA)[7]、[8]占主导地位。这些统计方法属于模型驱动的方法,适用于稳定、短期的单变量预测任务。然而,当应用于长期、多变量或非平稳数据时,它们的性能往往会下降。随后,数据驱动的机器学习方法如回归模型[9]、[10]、决策树[11]、[12]和支持向量机(SVM)[13]、[14]、[15]、[16]开始受到关注。尽管这些方法在灵活性方面有所改进,但它们仍然难以捕捉复杂时间数据集中的复杂全局模式和非线性依赖关系。
深度学习的发展引入了更先进的序列建模架构。循环神经网络(RNN)[17],包括长短期记忆(LSTM)[18]和门控循环单元(GRU)[19],展示了学习时间依赖关系的能力,但在可扩展性和并行性方面存在局限性,使其不太适合在长序列场景中进行高速推理。为了解决这些缺点,引入了基于Transformer的[20]架构,它们具有并行处理的优点,并能高效地建模长距离依赖关系。诸如Informer[21]、Autoformer[22]、FEDformer[23]和Crossformer[24]等方法分别对注意力机制进行了改进,以更好地捕捉时间和多变量关系。PatchTST[25]和iTransformer[26]进一步改进了数据预处理方法,如分块和通道独立性,以提高Transformer的性能。同时,卷积神经网络(CNN)[27],特别是时间变体如时间卷积网络(TCN)[28],由于其计算效率和强大的局部特征提取能力而受到重新关注。基于CNN的设计,如TimesNet[29]和ModernTCN[30]在LTSF基准测试中展示了有希望的结果。
总之,Transformer在捕捉时间序列的全局特征方面表现出色[31],而卷积在捕捉局部特征方面更有效[32]。有效地整合这两个组件可以实现更全面的特征表示。在LTSF中,MLP架构不仅以其效率闻名,还表现出值得注意的性能。例如,DLinear[33]结合了季节性趋势分解,其性能优于Autoformer[22];TimeMixer[34]利用数据预处理技术来弥补架构上的局限性,其性能优于PatchTST[25]。因此,使用MLP进一步处理捕获的特征可以在一定程度上提高模型性能,而降采样技术可以用来解决MLP在建模长期趋势方面的不足[34]。然而,现有的降采样方法在时间域中操作,无法精确分离不同尺度的时间序列。这可能导致相邻尺度特征之间的部分重叠,使模型过分强调这些特征。
受这些观察的启发,我们提出了一个专为LTSF设计的新框架,称为MFF-Mixer。首先,时间序列分别通过Transformer模块和1D卷积模块进行处理,从不同角度获取时间特征。然后使用门控融合单元将得到的特征序列融合在一起,产生更全面的表示。接下来,在频率域应用频率插值技术进行序列分解,防止模型过分强调某些特征。随后进行多尺度特征混合,以充分利用模型的预测能力。最后,将不同频率带和不同特征特征的时间序列融合成一个全频带序列进行预测。在九个真实世界数据集上的广泛实验表明,我们提出的方法优于许多最新的先进方法(SOTA)。
本文的主要贡献可以总结如下:
  • 1)
    我们引入了一个门控融合单元,有效合并通过不同机制处理的序列,从而获得更全面的特征表示。
  • 2)
    我们采用频率插值方法在频率域分解具有不同特征的序列,防止在多尺度混合过程中过度强调重叠特征。
  • 3)
    我们提出的混合框架有效地整合了具有不同功能的组件,并通过实验验证了每个组件在模型中的独特作用。
  • 4)
    在真实世界数据集上的广泛实验表明,我们的方法在预测性能上优于最新的基于LLM、MLP、Transformer和CNN的模型。
  • 本文的其余部分组织如下:第2节回顾了与我们研究相关的最新进展。第3节详细描述了MFF-Mixer。第4节提供了基于仿真的全面评估,以彻底评估MFF-Mixer的性能。第5节讨论了MFF-Mixer的局限性,并总结了未来的研究方向。

    相关工作

    相关工作

    根据本文介绍的输入数据处理方法和LTSF领域的最新讨论,我们将相关工作分为以下四个部分:(1)LTSF中的降采样操作应用;(2)LTSF中的序列分解方法;(3)LTSF中基于MLP的模型的发展;(4)LTS中独立于通道和依赖于通道的方法。

    提出方法

    在本节中,我们定义了要解决的问题,并提供了所提出解决方案的详细描述。

    实验

    本节对提出的MFF-Mixer框架进行了广泛的实证研究。我们将其预测能力与十个前沿的基线模型在九个广泛使用的数据集上进行了基准测试。此外,我们还探讨了关键超参数的影响,并通过消融分析检验了不同架构组件的影响。

    结论与未来研究

    本文研究了长期时间序列预测这一具有挑战性的任务。所提出的模型使用Transformer和1D卷积模块处理序列,然后使用门控融合单元有效整合输出,从而捕捉序列的全局和局部特征。此外,通过在时间和频率域中使用频率域分解和混合操作,模型捕捉了不同序列之间的关系

    CRediT作者贡献声明

    韩书洲:方法论、研究、软件、验证、写作 - 原始草稿。梁子健:可视化、验证、写作 - 原始草稿。李曙光:监督、项目管理、写作 - 审阅与编辑。

    CRediT作者贡献声明

    韩书洲:写作 – 原始草稿,验证,软件,方法论,研究。梁子健:写作 – 原始草稿,可视化,验证。李曙光:写作 – 审阅与编辑,监督,项目管理。

    利益冲突声明

    作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号