《Array》:Periodicity-aware similarity-weighted linear interpolation for missing-sample reconstruction in environmental sensor time series
编辑推荐:
缺失样本会降低时间序列分析、预测和决策的质量。线性插值(Linear Interpolation)是一种简单、可解释且无需训练(training-free)的基线方法,但它忽略了每小时传感器信号中常见的周期性结构。本文提出了相似性加权季节性锚点线性插值(Sim
缺失样本会降低时间序列分析、预测和决策的质量。线性插值(Linear Interpolation)是一种简单、可解释且无需训练(training-free)的基线方法,但它忽略了每小时传感器信号中常见的周期性结构。本文提出了相似性加权季节性锚点线性插值(Similarity-Weighted Seasonal Anchor Linear Interpolation, SW-SALI),一种用于单变量缺失样本重建的周期性感知方法。SW-SALI通过相邻天数的同小时季节性锚点(seasonal anchors)增强线性插值路径,并为每个锚点分配一个基于时间接近度(temporal proximity)和与插值边界上下文相似性(contextual similarity)的复合权重。这保留了线性插值的无模型特性,同时降低了上下文不一致的季节性锚点的影响。SW-SALI在两个包含24个变量的基准环境传感器数据集上进行了评估,这些数据集涵盖了完全随机缺失(Missing Completely At Random, MCAR)、随机缺失(Missing At Random, MAR)和非随机缺失(Missing Not At Random, MNAR)缺失机制、五种缺失率以及每种条件下30次重复实验。在整个基准测试中,SW-SALI在具有可测量同小时重复性的信号上优于标准线性插值,尤其是在MCAR和MAR条件下,而斜率保持插值(slope-preserving interpolation)在趋势主导或弱周期信号上仍更优。列级分析表明了季节性锚点何时有效,以及直接或基于斜率的插值何时更合适。研究人员进一步使用滞后24小时自相关(lag-24 autocorrelation)和日频率频谱功率(daily-frequency spectral power)量化了适用性;日频率功率比与SW-SALI相对于线性插值的代表性增益呈正相关。运行时间结果表明,SW-SALI比直接插值基线慢,但每个单变量序列仍低于1秒,且远快于卡尔曼平滑(Kalman smoothing)。总体而言,SW-SALI是线性插值的一种轻量级扩展,用于循环感知重建,而非斜率保持插值的通用替代。
论文解读:周期性感知的相似性加权线性插值在环境传感器时间序列缺失样本重建中的应用
**研究背景与问题**
环境传感器时间序列中缺失样本是普遍现象,会严重损害下游信号分析、预测和统计建模。线性插值(Linear Interpolation)因其简单、可解释、无需训练(training-free)且计算复杂度低,被广泛用作缺失重建的基线方法。然而,线性插值假设值在两个观测锚点之间以恒定速率变化,完全忽略了每小时传感器信号中常见的周期性结构(如空气污染物浓度的日循环)。现有考虑周期性的方法,如基于STL分解(Seasonal-Trend decomposition using Loess)的插值或季节卡尔曼滤波(Seasonal Kalman Filtering),虽然有效,但引入了模型拟合复杂性,需要大量历史数据,且不适合短序列。此外,缺失数据机制(如完全随机缺失MCAR、随机缺失MAR、非随机缺失MNAR)对重建方法有显著影响,尤其在MNAR下,极端值相关缺失会使季节性平均方法产生偏差。因此,研究人员提出了一种轻量级、无需训练的周期性感知插值方法,以在不牺牲简单性的前提下改进缺失样本重建。
**研究内容与结论**
本文提出了相似性加权季节性锚点线性插值(Similarity-Weighted Seasonal Anchor Linear Interpolation, SW-SALI),该方法通过相邻天数的同小时观测值(季节性锚点)增强线性插值路径,并为每个锚点分配基于时间接近度和上下文相似性的复合权重,以自动抑制不一致的锚点。研究人员在UCI空气质量数据集(UCI Air Quality dataset,13个变量,约13.73%缺失)和北京PM2.5–奥体中心站数据集(Beijing PM2.5–Aotizhongxin station dataset,11个变量,约1.86%缺失)上进行了全面评估。实验覆盖MCAR、MAR和MNAR三种缺失机制,五种缺失率(10%–50%),每种条件重复30次,并与线性插值、LOCF(Last Observation Carried Forward)、均值插值、三次样条、卡尔曼平滑、Stineman插值和EWMA(Exponentially Weighted Moving Average)等7种基线方法比较。结果表明,SW-SALI在具有可测量且稳定的同小时重复性的信号上优于标准线性插值,尤其在MCAR和MAR条件下;而斜率保持插值(如Stineman)在趋势主导或弱周期信号上表现更优。列级分析进一步揭示了信号特性(如周期性强度)对方法选择的影响。论文发表在《Array》。
**关键技术方法**
SW-SALI的核心创新在于一种复合权重函数,它结合了时间接近度权重(基于季节性锚点与缺失位置的时间距离,指数衰减)和上下文相似性权重(基于季节性锚点值与插值边界线性估计值的绝对偏差,指数衰减,并通过自适应尺度参数σ = σ
0·s?标准化,其中s?为序列观测值的标准差,σ
0固定为1.0)。最终插值估计为线性插值路径与加权季节性锚点估计的混合,混合权重λ
g随缺口长度自适应调整(上限为50%)。该方法无需训练或模型拟合,默认参数k=3(邻近周期数)和σ
0=1.0,且对参数变化不敏感。样本队列来源:UCI空气质量数据集(意大利城市,2004年3月至2005年2月,9357个观测值)和北京PM2.5–奥体中心站数据集(北京多站点空气质量数据集子集,2013年3月至2017年2月,35064个观测值)。
**研究结果**
**5.1 总体性能(Overall performance)**
通过平均所有变量、缺失机制和缺失率下的MAE、RMSE、MAPE和R
2指标发现,Stineman插值在两个数据集上获得最低总体MAE,SW-SALI在UCI空气质量数据集上优于线性插值、EWMA和卡尔曼平滑,在PM2.5–奥体中心数据集上与较强基线竞争,但未在所有信号类型上提供最强重建。
**5.2 缺失率与机制的影响(Effect of missing rate and mechanism)**
在MCAR下,SW-SALI在UCI数据集上相对于线性插值的增益随缺失率增加而增大(从0.10%到1.93%),在PM2.5–奥体中心数据集上则弱于Stineman和EWMA。在MAR下,SW-SALI在UCI数据集上表现更强(增益达1.73%),并优于卡尔曼平滑和EWMA。在MNAR下,相似性加权可抑制极端值相关缺失下的异常锚点,但总体性能不如Stineman,表明局部斜率信息在极端值系统缺失时尤为重要。
**5.3 与线性插值的比较(Comparison with linear interpolation)**
相对MAE改进分析显示,SW-SALI在UCI数据集上多数条件下优于线性插值(MCAR和MAR下增益最高达1.93%和1.73%),但在MNAR下为负。在PM2.5–奥体中心数据集上,增益符号更依赖于信号组成和缺失机制,MAR高缺失率下增益达2.96%。
**5.4 变量级分析(Variable-level analysis)**
热图显示,SW-SALI的优势高度依赖信号特性。在UCI数据集中,温度(T)、CO(GT)、NOx(GT)等具有可测量同小时重复性的信号在MCAR和MAR下获益,而相对湿度(RH)和绝对湿度(AH)因弱周期性或日间振幅变异性表现负增益。在PM2.5–奥体中心数据集中,降雨(RAIN)增益最大(+11.8%),风速(WSPM)接近中性,而气压(PRES)因主导时间尺度较长而表现最差(-10.21%)。
**5.5 统计显著性(Statistical significance)**
Wilcoxon符号秩检验(Bonferroni校正,α/K=0.05/7)显示,SW-SALI在UCI数据集上约60%条件下显著优于线性插值、卡尔曼平滑和EWMA(Cohen's d≈-1.3),在PM2.5–奥体中心数据集上则平均较差(d>0)。对均值插值和LOCF在所有条件下均显著优越。
**5.6 运行时间比较(Runtime comparison)**
在20% MCAR下,SW-SALI平均运行时间约70.6毫秒/单变量序列,慢于直接插值基线(线性插值0.35毫秒),但远快于卡尔曼平滑(1579.3毫秒),且绝对时间仍低于0.1秒。
**讨论与结论**
讨论部分总结了SW-SALI的适用性由信号特性决定:周期性强度(通过日频率FFT功率比量化,与代表性增益正相关,Pearson r=0.504)和噪声-信号比是关键因素。研究提出了基于周期性强度、噪声-信号比和MNAR事件时间聚集性的三规则方法选择指南。消融实验表明,相似性加权在噪声主导或异质数据集上起稳定作用(如在PM2.5–奥体中心数据集上,无相似性加权的季节性锚点导致性能下降,而SW-SALI恢复增益),而在已具信息性的季节性锚点下无额外增益。敏感性分析显示SW-SALI对参数k和σ
0稳健,默认配置接近最优。
研究结论部分翻译如下:本文提出了SW-SALI,一种用于每小时传感器时间序列缺失样本重建的无需训练插值方法。该方法通过从相邻天数的同小时观测中提取相似性加权季节性锚点估计,增强标准线性插值路径。关键创新在于一个复合权重函数,它同时考虑每个季节性锚点与插值边界的时间接近度和上下文相似性,无需模型拟合或数据集特定调参,自动降低上下文不一致的邻近锚点权重。在UCI空气质量数据集(13个变量,13.73%逐单元格缺失)和北京PM2.5–奥体中心站数据集(11个变量,1.86%缺失)上,在MCAR、MAR和MNAR机制及五种缺失率下的实验表明,SW-SALI在具有可测量且稳定的同小时重复性的信号上优于标准线性插值,尤其针对MCAR和MAR条件。额外的周期性强度分析显示,日频率FFT功率比与SW-SALI相对于线性插值的代表性增益呈正相关,提供了定量适用性指标。运行时间分析进一步表明,SW-SALI慢于直接插值基线,但每个单变量序列仍低于1秒,且远快于卡尔曼平滑。斜率保持方法(如Stineman插值)在趋势主导重建场景中仍更优。详细的列级分析进一步表明,SW-SALI对具有可测量同小时重复性的信号最为有效,而其对弱周期或更长时标信号的优势减弱。这些发现得出了一个基于频谱重复强度、噪声-信号比和MNAR事件时间聚集性的实用三规则方法选择指南。基准测试的主要教训不是季节性锚点应取代线性插值,而是它应在重复性可测量且足够稳定以提供信息时被选择性激活。主要局限性是直接的:当序列没有有意义的重复模式时,同小时邻近点提供的信息很少。对于受长时间尺度变化或弱周期结构主导的变量,线性插值、Stineman插值或卡尔曼滤波仍更优。未来工作将研究自适应周期检测以扩展SW-SALI超越固定24小时假设,探索同时利用日循环和周循环的多周期加权,并在更广泛的传感器和监测环境中评估该方法。将SW-SALI集成到由信号特性指标(如周期性强度和噪声-信号比)指导的自动重建方法选择框架中,是实际传感器处理流程中时间序列恢复的一个有前景的方向。