一种多尺度特征嵌入框架,采用分组卷积和参数化卷积技术实现高效的时间序列插补

《Knowledge-Based Systems》:A Multi-Scale Feature Embedding Framework Using Grouped and Parametric Convolutions for Efficient Time Series Imputation

【字体: 大 中 小 】 时间:2026年01月01日 来源:Knowledge-Based Systems 7.6

编辑推荐:

  针对多变量时间序列缺失值处理中存在的时空依赖捕捉不足及计算效率低问题,本文提出两阶段网络架构PGConvNet。通过1D到2D的维度扩展和分组卷积,该模型同时捕捉多尺度时空特征和跨变量交互,利用参数化卷积动态适应缺失值位置,显著提升效率和准确性,并在多个基准数据集上验证了有效性。

  
刘若晨|滕明欣|马俊伟|吴凯
中国山西省西安市西安电子科技大学智能感知与图像理解教育部重点实验室,邮编710068

摘要

缺失值填充是多变量时间序列分析中的一个关键挑战,因为不完整的数据会显著降低下游任务的性能。尽管最近采用多层感知器(MLP)和基于Transformer的模型在捕捉非线性关系和长距离依赖性方面受到了关注,但这些模型主要关注内在的时间特征,如周期性和趋势,这限制了它们处理复杂变量间交互的能力。此外,这些模型通常使用简单的映射或注意力机制,在平衡效率和计算效果方面面临挑战,尤其是在缺失值随机分布的情况下。为了解决这些问题,我们提出了一种两阶段网络架构——参数化分组卷积网络(PGConvNet),专门用于时间序列填充。通过将多变量时间序列从一维扩展到二维,并将变量信息映射到更高维度的通道中,PGConvNet能够有效捕捉时间和变量间的依赖性。第一阶段使用多尺度分组卷积块(MSGBlock)提取多尺度时间和多变量交互特征,而第二阶段参数化分组卷积块(PGCBlock)通过参数化卷积动态适应缺失值的随机位置,代替传统的注意力机制来捕捉缺失数据点周围的相关变量和时间信息。在多个数据集上的广泛实验表明,与现有方法相比,PGConvNet在准确性和效率方面具有竞争力,同时引入了一种多维卷积方法来处理多变量时间序列填充问题。我们提出方法的源代码可在以下链接获取:https://github.com/Tmx158/PGConvNet。

引言

多变量时间序列数据在金融[1]、医疗保健[2]、电信网络[3]和环境监测[4]等多个领域发挥着重要作用,其中准确的预测和模式识别对于决策至关重要。这些数据集中一个持续存在的问题是缺失值,这些缺失值通常由于传感器故障、人为错误或数据传输失败而产生。这样的缺失值会降低模型性能,引入偏差,并降低下游分析的可靠性。
处理缺失数据的传统方法通常包括统计填充技术,如均值替换、插值或k最近邻(KNN)等[5]、[6]、[7]、[8]、[9]、[10]、[11]。虽然这些方法简单直接,但它们无法捕捉多变量时间序列中的时间依赖性和复杂相关性,从而限制了它们在现实世界应用中的有效性。此外,这些方法依赖于简化的假设,这些假设可能与数据的复杂性质不符。
近年来,深度学习技术已被广泛应用于多变量时间序列中的缺失值填充。在这些方法中,MLP[12]和基于Transformer的架构[13]因其捕捉非线性依赖性和复杂时间模式的能力而变得突出。例如,DLinear[14]通过学习输入和输出空间之间的直接映射有效地利用MLP处理时间序列任务。同样,Informer[15]通过其注意力机制提高了处理长序列的效率,扩展了Transformer框架。这些模型在时间序列填充任务中取得了显著的成功,捕捉了时间和多变量关系。
像iTransformer[16]、TSMixer[17]和Crossformer[18]这样的最新方法在通过以变量为中心的注意力、通道混合和维度分割处理方面取得了显著进展。然而,这些方法在应用于填充任务和预测任务时面临不同的挑战。在预测任务中,模型可以利用完整的历史序列来建立变量关系,而填充任务则需要处理随机分布的缺失值,此时每个缺失点周围的空间-时间背景变得至关重要。这些现有方法通常通过不同的机制处理时间和变量间关系——首先提取时间特征,然后建模变量间交互——这可能无法最佳地捕捉准确填充所需的局部依赖性。我们的方法通过采用统一的二维框架来解决这一限制,该框架同时捕捉时间演化和空间变量关系,特别关注缺失值周围的局部背景。
为了实证验证空间变量关系在填充任务中的重要性并说明我们的设计选择,我们在三个具有代表性的数据集——天气、电力和ETTh1——上进行了相关性分析实验,这些数据集选自我们的完整实验集合,以涵盖不同的数据特征,同时避免视觉冗余。对于每个数据集,我们随机选择了96个时间点以确保样本的代表性,并计算了变量间的成对皮尔逊相关系数,如图1所示。实验结果表明,尽管采样具有随机性和数据集间的差异,强烈的变量间相关性仍然存在。值得注意的是,相关性热图表明,大多数变量与相邻或邻近变量的相关性更强,这一特征在不同数据集和采样点中始终存在。这一发现对多变量时间序列填充至关重要。
此外,时间序列数据中缺失值的随机分布带来了第二个关键挑战。虽然Transformer架构在预测任务中取得了显著的成功,但由于注意力机制的工作方式不同,填充任务在计算上面临独特的挑战。在预测任务中,Transformer可以在固定维度的完整序列上计算注意力权重,从而实现高效的并行矩阵操作和优化的内存访问模式。然而,在填充任务中,注意力机制必须动态生成缺失位置的掩码,仅对观察到的值计算注意力权重,并通过稀疏注意力矩阵保持梯度流。这需要在每层生成掩码时增加额外的计算开销,条件注意力计算无法充分利用并行处理能力,以及稀疏矩阵操作的内存分配。此外,反向传播过程变得更加复杂,因为梯度必须通过带掩码的注意力结构选择性传播,与预测任务中完整序列的简化操作相比,增加了计算时间和内存需求。
为了解决这些限制,我们提出了一种根本不同的维度转换方法,该方法在语义目的和架构哲学上与现有方法有所不同。虽然最近的工作如TimesNet[19]通过基于周期检测和频域分析将时间序列转换为二维张量来探索了一维到二维的转换,以便捕捉预测任务的周期性模式,但我们的方法具有根本不同的语义目的。我们认识到,维度转换只是达到目的的一种手段——如果它不能提供超出表面工程的重要语义意义,那么它就无法解决目标任务的核心挑战。
我们将一维数据扩展到二维数据的方法代表了一种不同的架构方法,有意避免了TimesNet采用的以周期性为中心的范式。我们提出了一个统一的空间-时间表示框架,可以在其中同时捕捉变量关系和时间演化,专门用于处理随机分布的缺失值,而不是提取周期性模式。
具体来说,我们通过将变量信息映射到通道维度,将多变量时间序列数据从一维时间序列扩展到二维空间-时间表示,创建了一个框架,通过统一的卷积操作可以处理时间演化和变量间依赖性。这种转换使我们的模型能够捕捉缺失数据点周围的局部空间-时间背景,这与TimesNet利用全局周期性结构的方法根本不同。我们通过多尺度分组特征提取块来补充这一点,这些块在多个分辨率上捕捉时间和变量特征,并引入参数化卷积,动态适应缺失值的空间位置,强调相关的局部背景而不是全局时间模式。
我们参数化卷积方法的效率优势源于其与基于注意力的机制在计算范式上的根本不同。虽然Transformer模型在整个序列上计算注意力权重,复杂度为O(n^2),无论缺失值的位置如何,但我们的参数化卷积采用局部化、上下文感知的处理方式,有选择地将计算资源集中在缺失数据点周围的空间-时间区域。这种选择性处理方式减少了不需要填充的观察值上的不必要的计算,通过局部核操作而不是全局注意力矩阵计算实现了更高效的内存使用。此外,我们卷积的参数化特性允许动态调整核,无需计算完整的注意力矩阵,从而在序列长度方面实现了O(n)的线性计算复杂度,同时保持了准确填充所需的相关依赖性的捕捉能力。
总结来说,我们的贡献如下:
  • 多变量时间序列填充的两阶段网络:我们提出了PGConvNet,这是一种专为多变量时间序列填充设计的两阶段卷积架构。通过结合一维和二维卷积,我们的方法提供了有效的特征提取,具有竞争力的准确性和对不同缺失数据模式的鲁棒性。广泛的实验,包括消融研究和资源效率评估,表明PGConvNet在基准数据集上取得了具有竞争力的性能,平衡了效率和准确性。
  • 时间和变量特征的精确提取:为了解决捕捉时间动态和变量交互的挑战,我们引入了MSGBlock,旨在学习层次化的多尺度模式,以高效提取时间和变量信息。
  • 对缺失值位置的动态适应:为了解决缺失值随机分布带来的挑战,我们提出了PGCBlock,它利用参数化卷积来关注缺失数据点周围的相关时间和变量信息,为处理时间序列数据中的随机性提供了有效的替代方案。
  • 相关工作

    相关工作

    近年来,能够捕捉时间模式并应用于多个任务的基础模型在时间序列分析中变得流行。这些模型最初是为预测等任务开发的,它们提供了灵活性,在某些情况下,甚至通过有效学习时间依赖性而超越了专门的填充模型[20]。为了提供一个全面的视角,我们回顾了相关的填充模型、通用基础模型和预测模型,

    PGConvNet

    PGConvNet通过结合维度扩展和混合卷积结构来解决多变量时间序列填充的挑战。通过整合MSGBlock进行多尺度特征提取和PGCBlock进行动态适应缺失值,PGConvNet有效地捕捉了复杂的时间模式并增强了鲁棒性。整体结构如图2所示。

    实验

    在本节中,我们评估了我们提出的PGConvNet在几个基准时间序列数据集上的性能。这些数据集来自清华大学维护的GitHub社区仓库,该仓库广泛用于时间序列研究。详细信息可以在以下链接找到:https://github.com/thuml/Time-Series-Library[43]。我们的实验涵盖了各种设置,并提供了与现有基线方法的全面比较。

    结论与未来工作

    在这项工作中,我们提出了PGConvNet,这是一个用于高效时间序列填充的框架,它解决了基于MLP和基于Transformer的方法中的挑战。通过采用混合卷积架构,PGConvNet在计算效率和建模能力之间取得了平衡,通过其包含MSGBlock和PGCBlock的两阶段设计捕捉时间动态和变量间依赖性。这种架构旨在解决随机

    未引用的参考文献

    图3、算法1和表A1、表A2、表A3。

    CRediT作者贡献声明

    刘若晨:写作——审稿与编辑、监督、方法论、概念化。滕明欣:写作——审稿与编辑、原始草稿编写、可视化、验证、软件、资源、项目管理、方法论、调查、形式分析、数据整理、概念化。马俊伟:监督、资源、调查。吴凯:写作——审稿与编辑、资源。

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号