用于不规则采样时间序列抗噪声建模的自适应双分支补偿门控技术

《Expert Systems with Applications》:Adaptive Dual-Branch Compensatory Gating for Noise-Robust Modeling of Irregularly Sampled Time Series

【字体: 大 中 小 】 时间:2025年12月09日 来源:Expert Systems with Applications 9.4

编辑推荐:

  Zongyao Yin|Ruiqing Yan|Sheng Chang|Yi Xiao|Xianchuan Yu北京师范大学,中国北京市新街口外大街19号,邮编100875摘要对含噪声且采样不规则的时间序列进行建模面临三大挑战。首先,不规则的采样会破坏时间一致性,掩盖真实的动态特

  
Zongyao Yin|Ruiqing Yan|Sheng Chang|Yi Xiao|Xianchuan Yu
北京师范大学,中国北京市新街口外大街19号,邮编100875

摘要

对含噪声且采样不规则的时间序列进行建模面临三大挑战。首先,不规则的采样会破坏时间一致性,掩盖真实的动态特征。其次,传统的去噪方法往往会抑制那些具有区分度的瞬态信号。第三,直接将原始数据与平滑后的数据混合处理可能会导致分支间干扰。为了解决这些问题,我们提出了ABCG——一种自适应双分支框架,它融合了三项关键创新:1)不规则时间序列注意力映射器(ITSAM),通过将不规则的观测值适配到规则的潜在网格中,从而恢复时间一致性;该模块利用时间感知的注意力机制来过滤无关采样点的噪声,同时借助Mamba算法提取关键特征;2)多尺度卷积块注意力模块(MSCBAM),在改进的CBAM架构基础上,通过多尺度卷积块和通道-时间联合注意力机制,在不同层级上过滤剩余噪声;3)自适应补偿门控模块,通过补偿性门控机制动态解决原始数据与去噪数据之间的干扰问题,将原始时间序列中的依赖关系特征与去噪序列中的形态特征相结合。在两个典型任务——分类和预测——以及六个跨领域数据集上的大量实验表明,该模型在应对噪声污染和不规则采样模式方面具有出色的鲁棒性。用于复现我们实验结果的代码已公开发布在https://github.com/kgvito/ABCG/。

引言

在金融交易监控(Gajamannage, Park, & Jayathilake, 2023)、医疗监测(Zhang, Li, Chen, Yan, & Petzold, 2023b)以及天文观测(Donoso-Oliva, Cabrera-Vives, Protopapas, Carrasco-Davis, Estevez, 2021, Oh, Kam, Lim, Kim, 2024a)等关键领域中,存在大量含噪声且采样不规则的时间序列数据。这类数据通常存在两种相互关联的缺陷:采样不规则(如由于传感器故障或环境干扰导致)以及观测噪声(如来自仪器偏差或外部干扰)。这些因素会破坏时间连续性,掩盖具有区分度的动态特征,从而影响后续的分析与决策过程。
近年来,随着传感技术和数据记录技术的发展,人们已经获得了大量带有专家标注的此类大规模数据集。然而,如何构建能够从这些数据中学习出具有时间一致性和语义可靠性的表示方法的抗噪声建模框架,仍然是一个重大挑战。时间上的不规则性会增加数据对齐和聚合的难度,而噪声则会进一步掩盖重要的事件特征。因此,开发一种统一的建模范式,使得能够在潜在空间中实现对含噪声、非均匀时间信号的稳定表示和学习,对于推动时间序列分析的发展至关重要。
有效分析这类时间序列取决于两个相互关联的挑战:(1)时间不连贯性:非均匀采样会打破时间的局部性,难以实现长距离依赖关系的准确建模,这也使得那些假设数据具有规则网格结构的传统CNN/RNN架构难以发挥作用。(2)噪声与信号之间的纠缠:观测噪声与真实的动态特征紧密相连,这使得分离出具有区分度的特征变得十分困难,尤其是那些瞬态的、高频的或罕见的事件特征。
目前已有多种方法用于这类时间序列的建模与去噪处理。神经常微分方程(Neural ODEs)(Chen, Rubanova, Bettencourt, & Duvenaud, 2018)能够实现连续时间的潜在动态建模,并且天然适用于处理不规则的采样时间。传统的插值和平滑方法也被广泛使用。不过,当噪声较为严重时,这些方法都会出现一些典型的问题:
  • •
    神经常微分方程对噪声比较敏感:在观测时刻出现的微小扰动就可能导致轨迹不稳定或积分误差累积,尤其是在动态特性较强或求解器容差较低的情况下。
  • •
    在信噪比较低的情况下进行插值处理时,由于周围数据被噪声主导,很容易出现虚假的结构特征,从而导致下游预测模型过度自信且预测结果不可靠。
  • •
    平滑处理会削弱那些短暂出现或频率较高的具有区分度的特征;当这些平滑后的特征与原始信号结合时,相位或幅度的差异可能会重新引入甚至放大剩余噪声。
为了解决这些问题,我们提出了ABCG(自适应双分支补偿门控)这一双分支建模框架,它能够同时处理原始数据与去噪后的数据,同时防止分支间的噪声泄漏。ABCG由三个部分组成:
  • •
    不规则时间序列注意力映射器(ITSAM):该模块能够从不规则的采样数据中学习出经过时间扭曲的潜在网格。它通过时间感知的注意力机制来过滤掉那些时间上不相关或可靠性较低的样本,同时借助基于Mamba的状态空间提取器来保留潜在网格上的长距离依赖关系。
  • •
    多尺度CBAM(MSCBAM):该模块在传统CBAM(Woo, Park, Lee, & Kweon, 2018)的基础上加入了多尺度时间卷积以及通道-时间联合注意力机制,以此来过滤剩余噪声,并突出显示那些重要的局部结构特征。
  • •
    补偿门控模块(CGM):这是一个由注意力机制引导的门控单元,它能够根据各个分支数据的可靠性来灵活整合这些数据,从而在不引入额外误差的情况下恢复出那些较弱的动态特征。
我们在涵盖天文学、医疗保健以及工业传感领域的六个数据集上对ABCG进行了测试,这些数据集既包含周期性数据,也包含非周期性数据。在各种不同的噪声水平和采样模式下,ABCG的表现始终优于其他强大的基准模型。通过消融实验,我们验证了双分支设计以及各个核心组件的必要性,而针对缺失率和信噪比的测试则证明了该模型的鲁棒性。全面的消融实验和鲁棒性测试进一步证实了各个组件的作用,同时也表明双分支设计显著提升了模型在面对不规则且含噪声的数据时的稳定性与泛化能力。
本文的其余部分结构如下:第2节回顾相关研究;第3节详细介绍ABCG及其各个组件;第4节阐述实验设置与结果;第5节则对研究内容进行总结,并探讨未来的发展方向。

章节要点

相关研究

本节将回顾三类相关的研究方向:(i)针对不规则采样时间序列的建模方法,(ii)序列数据的局部-全局特征融合技术,以及(iii)含噪声时间序列的去噪与平滑处理方法。我们会重点分析每类研究在采样规律性和噪声处理方面的假设,以及这些假设对于降低低信噪比和不确定时间戳条件下的模型脆弱性的影响。
我们通常用ISTS来指代一般意义上的不规则采样时间序列,而对于那些存在噪声的情况,则使用NISTS这一术语来表示

问题定义

我们定义了一组包含D={(Xi,yi)}i=1N个带标签的含噪声不规则采样时间序列数据集,即NISTS。其中,每个Xi={(tj,mj)}j=1n代表第个NISTS数据,它可以表示为Xi={(tj,mj)}j=1n,其中表示观测值的总数,tj是第个观测时间点,mj则是对应时刻的观测值。这些观测时间点{tj}j=1n是严格递增的(t1?t2?tn),但相邻观测时间点之间的间隔tj?tj?1则是不规则的,这正好反映了数据采样不均匀的特点。标签yi则对应着第个时间序列。
观测到的

实验部分

本节介绍了实验的设计方案,包括整体实验设置、对比评估方法、消融实验以及结果可视化方式等内容。

讨论

我们采用了双分支自适应融合机制,将注意力机制、Mamba模型以及卷积神经网络相结合,从而构建出了ABCG这一神经网络模型,用于处理含噪声且采样不规则的时间序列数据,该模型可应用于分类和预测两大任务。ABCG首先通过MSCBAM从平滑后的序列中提取去噪后的特征,再通过ITSAM将不规则的采样转换为等距采样,进而提取出时间依赖特征。此外,我们还采用了

未引用文献

缺少图3的引用

作者贡献说明

Zongyao Yin:概念构思、方法设计、软件实现、模型验证、结果可视化以及论文撰写——还包括审稿与编辑工作。Ruiqing Yan:论文撰写——包括审稿与编辑工作。Sheng Chang:论文撰写——包括审稿与编辑工作。Yi Xiao:论文撰写——包括审稿与编辑工作。Xianchuan Yu:论文撰写——包括审稿与编辑工作。

利益冲突声明

各位作者声明,他们不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号