WaveKAN:自适应小波分解与Kolmogorov-Arnold网络在长期时间序列预测中的应用
《Neurocomputing》:WaveKAN: Adaptive wavelet decomposition and Kolmogorov-Arnold network for long-term time series forecasting
【字体:
大
中
小
】
时间:2026年03月24日
来源:Neurocomputing 6.5
编辑推荐:
时间序列预测领域提出WaveKAN框架,通过自适应小波分解消除非平稳性和噪声,结合多尺度建模与动态损失函数优化提升长期预测性能,实验验证其优于Transformer和MLP方法。
刘远成|严峰|徐鹏飞|刘崇峰|王磊军
新疆大学计算机科学与技术学院,乌鲁木齐,830046,中国新疆
摘要
时间序列预测在能源调度、金融建模和天气预测等领域发挥着至关重要的作用。然而,现实世界的数据通常表现出非平稳性、噪声干扰、多尺度依赖性和强变量间耦合性,这导致使用现有模型进行长期预测时会出现误差累积和趋势偏移。为了解决这些问题,我们提出了WaveKAN,这是一个基于“分解-建模-融合”范式的端到端预测框架。该框架采用数据驱动的自适应机制来选择最优的小波基,通过多级离散小波分解明确分离低频趋势和高频细节,从而减轻非平稳性和噪声混叠。在每个尺度上,框架引入了一个由并行Chebyshev-KAN和深度可分离卷积组成的建模单元,用于捕捉跨通道的非线性依赖性和每个通道内的局部时间模式,同时使用通道注意力进行重要性重新校准。最后,通过基于逆小波变换的逐步上采样和残差融合实现了从粗尺度到细尺度的多尺度信息聚合。在训练过程中,我们引入了一种自适应平衡预测损失(ABFL),动态地在点精度和趋势一致性之间进行权衡,从而提高了整体稳定性和泛化性能。在六个公共基准测试上的实验表明,WaveKAN在大多数预测范围内显著优于现有方法,证明了所提出方法在复杂时间序列建模中的有效性和优势。我们的代码可在
https://github.com/lyc-githup/WaveKAN获取。
引言
时间序列预测旨在根据历史观测数据推断未来趋势,广泛应用于金融市场[1]、气象学[2]、交通运输[3]、能源消耗[4]和医疗保健[5]等关键领域。然而,现实世界的时间序列数据通常具有非平稳性[6]、噪声干扰、跨尺度依赖性和强多变量耦合性[8][9]等特点。一方面,低频趋势和高频细节的长期重叠导致模型在长时间外推时出现偏差和累积误差;另一方面,变量间的非线性耦合[10]以及局部时间的突然变化使得仅依赖全局建模或单一时间尺度难以平衡细粒度模式和全局一致性。当前研究的核心挑战是如何在复杂背景下同时实现多尺度分离[11]、跨通道非线性建模[12][13]和高效信息融合[14][15]。
近年来,深度学习方法在时间序列预测方面取得了显著进展。一个典型的例子是Autoformer[16],它通过显式分解序列成分来处理非平稳性问题,并取得了良好的结果。然而,其分解过程依赖于固定的先验或静态策略,难以根据数据分布的变化和频谱的变化进行自适应更新。与此同时,多尺度建模越来越受到关注。TimeMixer[17]和TimeKAN[18]等方法构建了分层的时间表示来捕捉不同时间尺度上的动态。然而,它们通常基于固定窗口的平均池化生成多尺度特征。本质上,这些操作相当于对时域信号进行下采样和平滑处理,不仅无法实现时频定位和可逆分解,也无法准确捕捉真实序列中的周期性结构和多频率依赖性。面对季节性模式变化、时变频谱结构或突然的峰值/低谷时,这种“基于均值”的分解和跨尺度混合往往会导致趋势错位、相位偏移和细节丢失,从而影响模型在长期预测中的稳定性和鲁棒性。此外,大多数现有方法依赖于线性或近似线性运算符,无法有效捕捉变量间的高阶交互作用,难以有效地捕捉跨通道的全局依赖模式[19]。
为了解决上述问题,我们提出了WaveKAN——一个遵循“分解-建模-融合”范式的端到端时间序列预测框架。首先,WaveKAN引入了一种自适应小波选择机制,在训练过程中动态确定最优小波基,并在模型内进行多级小波分解。如图1所示,该过程将原始序列分解为不同频率带中的低频趋势和高频细节,这不仅减少了由非平稳性引起的建模压力,还有效抑制了噪声干扰。接下来,在每个尺度上,框架使用Chebyshev-KAN[20]和深度卷积进行并行建模,分别捕捉跨通道的非线性依赖性和局部时间模式。同时,Kolmogorov-Arnold Network(KAN)模块通过调整核阶数来控制表示能力,使不同尺度的子带能够适应其对应的频率成分。为了进一步强调关键模式,模型结合了Squeeze-and-Excitation(SE)通道注意力[21]机制来重新校准多变量特征的重要性。最后,WaveKAN通过逆小波变换进行逐层上采样和残差跨尺度融合,从粗尺度到细尺度整合全带信息,确保多尺度信息的一致性和结构对齐重建。关于训练目标,WaveKAN设计了一个ABFL函数,将点误差和一阶差分一致性统一到同一个优化框架中。这些组分的权重通过指数平滑移动平均机制动态调整。这种方法不仅确保了短期预测的准确性,还增强了长期趋势的一致性和稳定性。
我们的主要贡献包括:
•WaveKAN框架:我们提出了基于“分解-建模-融合”范式的WaveKAN,它使用自适应小波选择、逆小波变换和残差融合将时间序列分解为低频趋势和高频细节,减少了非平稳性和噪声。逆小波变换确保了高效的多尺度信息融合,提高了长期预测的稳定性和鲁棒性。
•跨尺度非线性建模:WaveKAN结合了Chebyshev-KAN和深度卷积来建模跨通道的非线性依赖性和局部时间模式。2D SE注意力进一步增强了模型对重要特征的关注。
•ABFL:我们的模型使用平滑L1误差和趋势一致性来平衡点精度和趋势稳定性,在训练过程中通过指数移动平均(EMA)动态调整权重。
•实证验证:在六个公共数据集上的实验表明,WaveKAN在长期预测方面优于Transformer和MLP方法,具有更好的误差控制、鲁棒性和泛化能力。
相关工作
相关工作
时间序列预测方法的发展通常是从基于注意力机制的长期依赖性建模开始,到探索高效架构,再到深入理解多尺度分解和损失函数设计。在长序列建模中,Transformer因其自注意力机制而被广泛采用,该机制在建模长期依赖性方面表现出色。Informer[22]使用...
WaveKAN框架
如图2所示,WaveKAN的整个框架在其数据处理流程中严格遵循“分解-建模-融合”范式。其目标是构建一个分层和结构化的时间序列信息处理路径,主要包括以下四个模块:(a) 输入处理层:该层对多变量序列进行归一化,以确保具有不同物理单位和值范围的变量之间的平衡。归一化后的序列随后被投影到统一的...
实验
数据集:我们使用了六个真实世界的基准数据集:ETTh1/ETTh2、ETTm1/ETTm2、Weather和Exchange。根据先前的研究,ETT采用6:2:2的分割方式,其他数据集采用7:1:2的分割方式;完整的统计信息和采样频率见表1。
基准模型:我们将WaveKAN与一组强大且广泛使用的基准模型进行比较,这些模型涵盖了现代预测中的主要架构范式。其中包括最先进的基于Transformer的模型:FEDformer[23]、PatchTST[24]、iTransformer[25]、高效线性...
结论
本文提出了WaveKAN,这是一个创新的深度学习框架,旨在解决长期时间序列预测中的非平稳性、噪声和多尺度依赖性问题。通过将信号处理理论与先进的神经架构相结合,WaveKAN实现了端到端的、分层的分解-处理-融合范式。该框架自动将复杂序列分解为多尺度成分,从而减弱了非平稳性和噪声。在处理过程中...
局限性
本工作的局限性在于,我们的实证评估主要集中在广泛使用的基准测试集(例如ETT系列)上,没有包括电力或交通等更大规模的多变量数据集。这些基准测试通常涉及更多的变量(高维特征)。在长期预测研究中,基于Transformer的模型在这种高维多变量环境中往往更稳定和具有竞争力,因为它们的表示...
CRediT作者贡献声明
刘远成:撰写——审阅与编辑、撰写——原始草稿、可视化、验证。严峰:撰写——审阅与编辑、监督、资源提供。徐鹏飞:调查、形式分析。刘崇峰:方法论、调查。王磊军:撰写——审阅与编辑、资源提供、资金获取。
利益冲突声明
作者声明他们没有已知的可能影响本文工作的竞争性财务利益或个人关系。
致谢
本工作部分得到了天山人才培训计划(项目编号2022TSYCLJ0036)和中国国家自然科学基金(项目编号62472368)的支持。
刘远成目前在中国乌鲁木齐的新疆大学计算机科学与技术学院攻读硕士学位,他的研究兴趣包括多模态信息处理和时间序列预测。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号