在金融交易监控(Gajamannage, Park, & Jayathilake, 2023)、医疗监测(Zhang, Li, Chen, Yan, & Petzold, 2023b)以及天文观测(Donoso-Oliva, Cabrera-Vives, Protopapas, Carrasco-Davis, Estevez, 2021, Oh, Kam, Lim, Kim, 2024a)等关键领域中,存在大量含噪声且采样不规则的时间序列数据。这类数据通常存在两种相互关联的缺陷:采样不规则(如由于传感器故障或环境干扰导致)以及观测噪声(如来自仪器偏差或外部干扰)。这些因素会破坏时间连续性,掩盖具有区分度的动态特征,从而影响后续的分析与决策过程。
近年来,随着传感技术和数据记录技术的发展,人们已经获得了大量带有专家标注的此类大规模数据集。然而,如何构建能够从这些数据中学习出具有时间一致性和语义可靠性的表示方法的抗噪声建模框架,仍然是一个重大挑战。时间上的不规则性会增加数据对齐和聚合的难度,而噪声则会进一步掩盖重要的事件特征。因此,开发一种统一的建模范式,使得能够在潜在空间中实现对含噪声、非均匀时间信号的稳定表示和学习,对于推动时间序列分析的发展至关重要。
有效分析这类时间序列取决于两个相互关联的挑战:(1)时间不连贯性:非均匀采样会打破时间的局部性,难以实现长距离依赖关系的准确建模,这也使得那些假设数据具有规则网格结构的传统CNN/RNN架构难以发挥作用。(2)噪声与信号之间的纠缠:观测噪声与真实的动态特征紧密相连,这使得分离出具有区分度的特征变得十分困难,尤其是那些瞬态的、高频的或罕见的事件特征。
目前已有多种方法用于这类时间序列的建模与去噪处理。神经常微分方程(Neural ODEs)(Chen, Rubanova, Bettencourt, & Duvenaud, 2018)能够实现连续时间的潜在动态建模,并且天然适用于处理不规则的采样时间。传统的插值和平滑方法也被广泛使用。不过,当噪声较为严重时,这些方法都会出现一些典型的问题:
- •
神经常微分方程对噪声比较敏感:在观测时刻出现的微小扰动就可能导致轨迹不稳定或积分误差累积,尤其是在动态特性较强或求解器容差较低的情况下。
- •
在信噪比较低的情况下进行插值处理时,由于周围数据被噪声主导,很容易出现虚假的结构特征,从而导致下游预测模型过度自信且预测结果不可靠。
- •
平滑处理会削弱那些短暂出现或频率较高的具有区分度的特征;当这些平滑后的特征与原始信号结合时,相位或幅度的差异可能会重新引入甚至放大剩余噪声。
为了解决这些问题,我们提出了ABCG(自适应双分支补偿门控)这一双分支建模框架,它能够同时处理原始数据与去噪后的数据,同时防止分支间的噪声泄漏。ABCG由三个部分组成:
- •
不规则时间序列注意力映射器(ITSAM):该模块能够从不规则的采样数据中学习出经过时间扭曲的潜在网格。它通过时间感知的注意力机制来过滤掉那些时间上不相关或可靠性较低的样本,同时借助基于Mamba的状态空间提取器来保留潜在网格上的长距离依赖关系。
- •
多尺度CBAM(MSCBAM):该模块在传统CBAM(Woo, Park, Lee, & Kweon, 2018)的基础上加入了多尺度时间卷积以及通道-时间联合注意力机制,以此来过滤剩余噪声,并突出显示那些重要的局部结构特征。
- •
补偿门控模块(CGM):这是一个由注意力机制引导的门控单元,它能够根据各个分支数据的可靠性来灵活整合这些数据,从而在不引入额外误差的情况下恢复出那些较弱的动态特征。
我们在涵盖天文学、医疗保健以及工业传感领域的六个数据集上对ABCG进行了测试,这些数据集既包含周期性数据,也包含非周期性数据。在各种不同的噪声水平和采样模式下,ABCG的表现始终优于其他强大的基准模型。通过消融实验,我们验证了双分支设计以及各个核心组件的必要性,而针对缺失率和信噪比的测试则证明了该模型的鲁棒性。全面的消融实验和鲁棒性测试进一步证实了各个组件的作用,同时也表明双分支设计显著提升了模型在面对不规则且含噪声的数据时的稳定性与泛化能力。
本文的其余部分结构如下:第2节回顾相关研究;第3节详细介绍ABCG及其各个组件;第4节阐述实验设置与结果;第5节则对研究内容进行总结,并探讨未来的发展方向。