多变量时间序列数据在金融[1]、医疗保健[2]、电信网络[3]和环境监测[4]等多个领域发挥着重要作用,其中准确的预测和模式识别对于决策至关重要。这些数据集中一个持续存在的问题是缺失值,这些缺失值通常由于传感器故障、人为错误或数据传输失败而产生。这样的缺失值会降低模型性能,引入偏差,并降低下游分析的可靠性。
处理缺失数据的传统方法通常包括统计填充技术,如均值替换、插值或k最近邻(KNN)等[5]、[6]、[7]、[8]、[9]、[10]、[11]。虽然这些方法简单直接,但它们无法捕捉多变量时间序列中的时间依赖性和复杂相关性,从而限制了它们在现实世界应用中的有效性。此外,这些方法依赖于简化的假设,这些假设可能与数据的复杂性质不符。
近年来,深度学习技术已被广泛应用于多变量时间序列中的缺失值填充。在这些方法中,MLP[12]和基于Transformer的架构[13]因其捕捉非线性依赖性和复杂时间模式的能力而变得突出。例如,DLinear[14]通过学习输入和输出空间之间的直接映射有效地利用MLP处理时间序列任务。同样,Informer[15]通过其注意力机制提高了处理长序列的效率,扩展了Transformer框架。这些模型在时间序列填充任务中取得了显著的成功,捕捉了时间和多变量关系。
像iTransformer[16]、TSMixer[17]和Crossformer[18]这样的最新方法在通过以变量为中心的注意力、通道混合和维度分割处理方面取得了显著进展。然而,这些方法在应用于填充任务和预测任务时面临不同的挑战。在预测任务中,模型可以利用完整的历史序列来建立变量关系,而填充任务则需要处理随机分布的缺失值,此时每个缺失点周围的空间-时间背景变得至关重要。这些现有方法通常通过不同的机制处理时间和变量间关系——首先提取时间特征,然后建模变量间交互——这可能无法最佳地捕捉准确填充所需的局部依赖性。我们的方法通过采用统一的二维框架来解决这一限制,该框架同时捕捉时间演化和空间变量关系,特别关注缺失值周围的局部背景。
为了实证验证空间变量关系在填充任务中的重要性并说明我们的设计选择,我们在三个具有代表性的数据集——天气、电力和ETTh1——上进行了相关性分析实验,这些数据集选自我们的完整实验集合,以涵盖不同的数据特征,同时避免视觉冗余。对于每个数据集,我们随机选择了96个时间点以确保样本的代表性,并计算了变量间的成对皮尔逊相关系数,如图1所示。实验结果表明,尽管采样具有随机性和数据集间的差异,强烈的变量间相关性仍然存在。值得注意的是,相关性热图表明,大多数变量与相邻或邻近变量的相关性更强,这一特征在不同数据集和采样点中始终存在。这一发现对多变量时间序列填充至关重要。
此外,时间序列数据中缺失值的随机分布带来了第二个关键挑战。虽然Transformer架构在预测任务中取得了显著的成功,但由于注意力机制的工作方式不同,填充任务在计算上面临独特的挑战。在预测任务中,Transformer可以在固定维度的完整序列上计算注意力权重,从而实现高效的并行矩阵操作和优化的内存访问模式。然而,在填充任务中,注意力机制必须动态生成缺失位置的掩码,仅对观察到的值计算注意力权重,并通过稀疏注意力矩阵保持梯度流。这需要在每层生成掩码时增加额外的计算开销,条件注意力计算无法充分利用并行处理能力,以及稀疏矩阵操作的内存分配。此外,反向传播过程变得更加复杂,因为梯度必须通过带掩码的注意力结构选择性传播,与预测任务中完整序列的简化操作相比,增加了计算时间和内存需求。
为了解决这些限制,我们提出了一种根本不同的维度转换方法,该方法在语义目的和架构哲学上与现有方法有所不同。虽然最近的工作如TimesNet[19]通过基于周期检测和频域分析将时间序列转换为二维张量来探索了一维到二维的转换,以便捕捉预测任务的周期性模式,但我们的方法具有根本不同的语义目的。我们认识到,维度转换只是达到目的的一种手段——如果它不能提供超出表面工程的重要语义意义,那么它就无法解决目标任务的核心挑战。
我们将一维数据扩展到二维数据的方法代表了一种不同的架构方法,有意避免了TimesNet采用的以周期性为中心的范式。我们提出了一个统一的空间-时间表示框架,可以在其中同时捕捉变量关系和时间演化,专门用于处理随机分布的缺失值,而不是提取周期性模式。
具体来说,我们通过将变量信息映射到通道维度,将多变量时间序列数据从一维时间序列扩展到二维空间-时间表示,创建了一个框架,通过统一的卷积操作可以处理时间演化和变量间依赖性。这种转换使我们的模型能够捕捉缺失数据点周围的局部空间-时间背景,这与TimesNet利用全局周期性结构的方法根本不同。我们通过多尺度分组特征提取块来补充这一点,这些块在多个分辨率上捕捉时间和变量特征,并引入参数化卷积,动态适应缺失值的空间位置,强调相关的局部背景而不是全局时间模式。
我们参数化卷积方法的效率优势源于其与基于注意力的机制在计算范式上的根本不同。虽然Transformer模型在整个序列上计算注意力权重,复杂度为O(n^2),无论缺失值的位置如何,但我们的参数化卷积采用局部化、上下文感知的处理方式,有选择地将计算资源集中在缺失数据点周围的空间-时间区域。这种选择性处理方式减少了不需要填充的观察值上的不必要的计算,通过局部核操作而不是全局注意力矩阵计算实现了更高效的内存使用。此外,我们卷积的参数化特性允许动态调整核,无需计算完整的注意力矩阵,从而在序列长度方面实现了O(n)的线性计算复杂度,同时保持了准确填充所需的相关依赖性的捕捉能力。
总结来说,我们的贡献如下:
多变量时间序列填充的两阶段网络:我们提出了PGConvNet,这是一种专为多变量时间序列填充设计的两阶段卷积架构。通过结合一维和二维卷积,我们的方法提供了有效的特征提取,具有竞争力的准确性和对不同缺失数据模式的鲁棒性。广泛的实验,包括消融研究和资源效率评估,表明PGConvNet在基准数据集上取得了具有竞争力的性能,平衡了效率和准确性。
时间和变量特征的精确提取:为了解决捕捉时间动态和变量交互的挑战,我们引入了MSGBlock,旨在学习层次化的多尺度模式,以高效提取时间和变量信息。
对缺失值位置的动态适应:为了解决缺失值随机分布带来的挑战,我们提出了PGCBlock,它利用参数化卷积来关注缺失数据点周围的相关时间和变量信息,为处理时间序列数据中的随机性提供了有效的替代方案。