用于鲁棒长期时间序列预测的周期性感知正则化频率插值

《Knowledge-Based Systems》:Frequency interpolation with period-aware regularization for robust long-term time series forecasting

【字体: 大 中 小 】 时间:2026年09月28日 来源:Knowledge-Based Systems 8.0

编辑推荐:

   摘要 长期时间序列预测需要对反映系统演化的全局变化和捕捉细粒度波动的局部变化进行单独建模。然而,由于强耦合效应和有限的感受野,经典分解方法往往无法解耦这些组件,同时也缺乏关于截止频率选择和残差正则化的原则性指导。为了解决这些局限性,我们提出了带周期感知正则化的频率插值(FIP

  

摘要
长期时间序列预测需要对反映系统演化的全局变化和捕捉细粒度波动的局部变化进行单独建模。然而,由于强耦合效应和有限的感受野,经典分解方法往往无法解耦这些组件,同时也缺乏关于截止频率选择和残差正则化的原则性指导。为了解决这些局限性,我们提出了带周期感知正则化的频率插值(FIPR),这是一个结合了频率插值分解(FID)和周期感知正则化补丁(PRP)的框架。分解模块在频域中运行,并在时间窗口间对傅里叶系数进行插值,确保连续性同时恢复潜在的全局变化。我们进一步基于抗混叠滤波理论推导出一个原则性的闭式截止频率,以消除超参数搜索并抑制混叠。然后,残差由 PRP 处理,PRP 使用周期感知下采样和权重共享来施加针对周期性偏差的隐式正则化。为了展示 FIPR 的有效性,我们构建了一个简单但有效的模型 FIPRNet,由 FIPR 和一个多层感知机(MLP)头组成;它在来自多个领域的现实数据集上取得了最先进的性能。此外,作为一个即插即用模块,FIPR 还可以提高现有模型的性能。

引言
长期时间序列预测(LTSF)在关键领域至关重要。例如,能源电网依赖多周预测来平衡供需 [1], [2], [3],交通系统使用拥堵预测进行规划 [4], [5]。同样,金融需要准确趋势估计 [6],而气候监测需要精确的异常检测 [7]。与短期预测(分钟到小时)不同,LTSF 涵盖天到周的时间范围。这种扩展的范围需要不同的建模策略来捕捉长程依赖和季节性周期,同时保持对噪声的鲁棒性。尽管这种更长的窗口有助于规划 [8], [9], [10], [11], [12],但准确性仍然是运营效率和决策质量的关键。

现实世界的时间序列通常表现为全局变化(代表系统演化的慢变结构(趋势))和局部变化(以细粒度波动和周期性模式为特征(季节性))的组合 [13]。这些组件的有效分解对 LTSF 至关重要:隔离全局变化可以实现准确的长期趋势外推,而通过周期性结构正则化显式建模局部组件有助于防止虚假周期和过拟合 [14], [15]。此外,利用周期性先验,如昼夜、每周和季节周期,提供了强大的归纳偏置,稳定了预测并减少了模型容量需求。尽管取得了最近进展,当前方法中仍存在三个基本挑战:

经典分解方法,如简单移动平均(SMA)[11] 和可学习移动平均(LMA)[16],是基于全局趋势和局部残差相互独立的假设构建的。然而,现实数据通常表现出强耦合,导致分解后的残差保留泄漏的全局信息,从而模糊了季节性信号 [17]。此外,SMA 和 LMA 依赖具有有限感受野的卷积,仅捕捉局部模式,无法提取真正的全局变化。此外,这些方法通过天真地外推观测组件来推断未来全局变化,假设连续性,而没有显式链接过去和未来窗口或确保边界处的平滑过渡。

现有方法将截止频率(COF)视为超参数,并依赖于归一化频率范围的网格搜索 [18], [19]。此过程计算效率低下,且往往导致次优选择。因此,需要一个原则性的闭式 COF 来提高效率和鲁棒性。

趋势提取后,剩余的残差理想情况下应保留局部周期性结构,同时排除泄漏的全局漂移。因此,核心难点不仅仅是模型大小,而是在残差仍然部分污染的情况下,如何对轻量级预测器施加周期性归纳偏置。重型骨干网络可以通过模型容量吸收这种不匹配,但它们牺牲了效率 [11], [20], [21]。相比之下,轻量级多层感知机(MLP)风格的预测器虽然高效,但在没有显式周期感知正则化的情况下,容易过拟合相位错位的补丁并产生虚假周期。

为了解决这些相互关联的挑战,我们提出了 FIPR(带周期感知正则化的频率插值),一个集成两个核心组件的新框架:

FID(频率插值分解)通过在频域运行来解决解耦和 COF 挑战。仅使用历史观测数据,它在过去 - 未来边界处对傅里叶系数进行插值,在统一步骤中恢复两个窗口的全局变化信号。这种内在的跨越自然强制执行连续性,无需显式外推。关键在于,我们基于抗混叠滤波理论 [22] 推导出了一个闭式 COF。这消除了网格搜索的需要,同时有效抑制了混叠和虚假频率泄漏到残差中,从而澄清了全局变化和局部变化之间的分离。

PRP(周期感知正则化补丁)通过显式地以周期感知方式正则化残差来解决第三个挑战。我们不是将残差视为任意的高频噪声,而是通过残差连接注入全局变化组件,将高频残差视为低通滤波趋势的互补部分。我们应用由自相关函数引导的周期感知下采样,形成相位对齐的不连续令牌,将每个周期内的样本按相位分组。权重共享的 MLP 建模这些令牌以施加强大的隐式正则化,减少冗余并缓解周期性偏差,同时保持最小的参数足迹。

一起,FID 和 PRP 建立了一个原则性的、谱感知的流水线,解决耦合问题,实现原则性的 COF 选择,并正则化残差季节性。为了展示 FIPR 的有效性,我们提出了 FIPRNet,一个由 FIPR 和轻量级 MLP 头组成的简单但强大的预测模型。尽管其设计极简,FIPRNet 在多个领域的现实数据集上取得了最先进的性能,验证了 FIPR 的原则性分解和正则化足以在无需复杂骨干网络的情况下提供优越的准确性。

我们的主要贡献总结如下:
•我们引入了 FID,一种频域分解方法,直接对傅里叶系数进行插值以同时恢复过去和未来窗口的全局变化信号,确保时间连续性并捕捉真正的全局变化。
•我们基于抗混叠滤波理论推导出一个原则性的闭式 COF,这免除了超参数搜索的需要并有效抑制了频率泄漏到残差中。
•我们设计了 PRP,采用自相关引导的周期感知下采样和权重共享。这施加了隐式正则化,抑制了周期性偏差和过拟合,同时保持了紧凑的、谱感知的季节性建模。
•为了验证 FIPR 的有效性,我们提出了 FIPRNet,一个结合 FIPR 和轻量级 MLP 头的简单但有效的模型。在八个基准数据集上的广泛实验表明,FIPRNet 仅使用大约 1.7 万参数就实现了最先进的准确性,显著优于复杂基线。此外,FIPR 作为一个通用的即插即用增强模块,当集成到 Crossformer 和 iTransformer 等现有模型中时,提供了持续的性能提升。

章节片段
分解。将序列分解为趋势和季节性/残差组件是 LTSF 中广泛采用的归纳偏置。基于移动平均(MA)的分解是一个代表性家族:简单移动平均(SMA)使用固定核平滑输入,Autoformer [11] 采用它来提取全局变化组件;后续工作沿用了这一设计 [23], [24], [25]。可学习移动平均(LMA)[16] 将固定核替换为由高斯先验初始化的可训练卷积。

符号
本文中,我们使用以下符号表示时间序列数据。时间序列 ??∈?????×?? 由 ???? 个通道和 ?? 个时间戳组成。每个时间戳 ????∈????? 表示一个多变量观测,其中 ??∈{1,2,…,??}。同样,??∈?????×?? 表示接下来 ?? 个时间戳的目标序列,??? 表示预测结果。此外,我们使用 ??1 和 ??2 分别表示时间序列 ?? 的趋势和季节性组件。

问题陈述
时间序列预测学习一个神经网络 ??

结构概览
FIPRNet 由两个核心组件组成:频率插值分解(FID)和残差频率预测(RFF),通过 FIPR 框架连接。FID 执行频域插值以恢复回看窗口和预测窗口中的低频趋势,而 RFF 通过周期感知正则化补丁(PRP)对剩余的季节性/高频组件进行建模。为了稳定训练,我们应用实例归一化 [35], [36] 以减轻分布

实验
在本节中,我们进行了广泛的实验来验证所提出的 FIPRNet 的有效性,并通过消融实验验证每个模块的必要性。

结论
本文提出了 FIPRNet,一个基于带周期感知正则化的频率插值(FIPR)的长期时间序列预测高效框架。为了缓解全局变化和局部变化之间的耦合,FID 执行内在跨越过去 - 未来边界的频域插值,使能够在统一步骤中为回看窗口和预测窗口恢复趋势。为了避免对截止频率进行昂贵且不稳定的超参数搜索,我们进一步推导了

CRediT 作者贡献声明
张瑶松:撰写 – 初稿,可视化,验证,方法论,数据整理,概念化。姜南清:可视化。李子琼:调查,正式分析。庄丽:撰写 – 审阅与编辑。徐银飞:撰写 – 审阅与编辑。郭涛:撰写 – 审阅与编辑,监督,资源,资金获取。

利益冲突声明
作者声明,他们没有已知的竞争财务利益或个人关系,这些可能影响本文报告的工作。

张瑶松|姜南清|李子琼|庄丽|徐银飞|郭涛
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号