面向长尾时间序列分类中鲁棒特征空间的边界排斥正则化
《Expert Systems with Applications》:Boundary-Repelling Regularization for Robust Feature Spaces in Long-Tailed Time Series Classification
【字体:
大
中
小
】
时间:2026年10月21日
来源:Expert Systems with Applications 9.4
编辑推荐:
• TimeLT 致力于解决长尾时序分类中严重的类间相似性问题。• 个性化数据增强与多尺度编码提升了尾类学习效果。• 边界排斥正则化生成紧凑且充分分离的特征空间。
**1. 引言**
近年来深度学习的进展推动了基于神经网络的时间序列分类(TSC)模型的发展,使其能够捕获多
• TimeLT 致力于解决长尾时序分类中严重的类间相似性问题。• 个性化数据增强与多尺度编码提升了尾类学习效果。• 边界排斥正则化生成紧凑且充分分离的特征空间。
**1. 引言**
近年来深度学习的进展推动了基于神经网络的时间序列分类(TSC)模型的发展,使其能够捕获多媒体系统中的复杂时序动态 [Auger-Méthé et al., 2021; Morid, Sheng, & Dunbar, 2023; Wang et al., 2023a]。然而,这些 TSC 模型经常面临长尾分布问题,即少数头类占据大量样本,而许多类严重表示不足 [Zhao et al., 2022]。这种偏斜扭曲了训练过程,使决策边界向头类偏移,削弱了模型从稀有类别中学习能力。该问题在现实场景中普遍存在,例如医学中罕见但关键疾病或环境监测中不频繁的极端污染事件。如图 1 所示,在中国十个监测站点中,极端污染仅占观测数据的 4.26%。这种不平衡削弱了在稀缺但重要类别上的性能,可能产生严重的实际后果。
下载:下载高分辨率图片(338KB)下载:下载全尺寸图片
图 1. 2016 至 2023 年 PM2.5 污染水平的不平衡分布。
受计算机视觉领域长尾学习进展的启发 [Wang, Han, Wei, Zhang, & Wang, 2021],研究者开始将这些技术适配到长尾 TSC 中。例如,FSR [Wang et al., 2023c] 和 COCL [Wu, Cheng, & Wang, 2025] 提出了监督对比目标,在多种粒度下将样本与类原型对齐,缓解欠表示类别的表征坍缩问题。类似地,DGMSCL [Qian, Zuo, Li, & Zhu, 2025] 将动态图学习技术与基于上下文的少数类感知对比损失相结合。
尽管这些研究证明了计算机视觉技术对 TSC 的适应性,但它们并未充分考虑时序数据的独特特性。与图像不同,不同的时序类别可能在具有不同语义标签的同时表现出高度相似的时序模式。如图 2 所示,狗和熊猫等图像类别通常具有视觉上显著不同的特征,而“行走”和“跑步”等活动可能在膝盖和足部传感器上产生相似的信号。这种类间时序相似性引入了大量特征冗余,使学习判别性类表征变得困难。我们通过逐类相似度分析进一步探究了这一现象。如图 3(a) 所示,HAR 中的若干活动类别表现出相似的时序模式和相对较高的成对相似度。该现象在癫痫数据集中更为明显,如图 3(b) 所示,不同类别的均值序列在视觉上难以区分,且成对相似度持续偏高。这些观察表明,类间时序相似性是 TSC 中固有的且与实际相关的挑战。在长尾分布下,这种相似性进一步加剧了类别不平衡的不利影响。头类样本主导优化过程并塑造共享时序模式的表征,而稀缺的尾类样本无法提供充分证据来捕获细微的类特异性特征。因此,传统的重平衡策略(如过采样或均匀强度增强)可能导致过拟合,而无法充分改善类间可分性。因此,长尾 TSC 不仅需要样本级重平衡,还需要专门的表征学习和特征空间优化机制,以增强尾类判别并建立更清晰的决策边界。
下载:下载高分辨率图片(296KB)下载:下载全尺寸图片
图 2. 计算机视觉(上)与时序(下)中数据分布的对比。
下载:下载高分辨率图片(571KB)下载:下载全尺寸图片
图 3. HAR 和癫痫数据集上时序及其对应相似度矩阵的可视化。
为克服这些挑战,我们提出了 TimeLT——一种面向时序数据的长尾分类框架,专注于提取判别性类间特征并形成更清晰的决策边界,以提升欠表示类别的准确率。首先,TimeLT 应用个性化增强,为每个类别定制扰动。这减少了稀有类别上的过拟合,并提升了输入级可分性。此外,多尺度时序编码器捕获多个时间分辨率下的模式,缓解冗余类间信号的干扰,产生更丰富、更具信息量的表征。进一步地,为塑造表征空间,我们引入了自适应边界排斥正则化器,将类内嵌入拉向类质心,同时将其推离邻近的决策边界。综合效果生成了更平衡且更具可分性的特征空间,增强了尾类判别。最后,我们将发布一个综合的长尾时序基准,聚合真实世界数据集,提供标准化划分,并包含基线实现。与通常样本量较小的现有数据集相比 [Wang et al., 2025a],我们的数据集能够构建更现实的长尾分布,具有更高且更具挑战性的不平衡比例。此外,它们也表现出相似的失衡比例,反映出多样性有限。相比之下,本研究选取的数据集具有代表性,涵盖了多样的长尾场景。值得注意的是,我们的基准包含一个真实世界数据集 PM2.5(图 1),该数据集来自实际测量而非合成生成数据。本文贡献总结如下:
? **实践探索。** 为加速长尾 TSC 研究,我们发布了一个综合基准,标准化了数据处理协议,提供了多样化的数据集和长尾划分,并包含强基线实现。该基准可在多种长尾场景下实现公平、可复现和全面的评估。
? **无偏时序特征编码。** TimeLT 集成了专为长尾时序定制化的表征学习模块。该策略融合过采样、数据增强和多尺度时序编码,促使模型学习无偏且具有判别性的时序嵌入。
? **判别性优化目标。** TimeLT 包含边界排斥和方向正则化项,显式地将样本嵌入推离决策边界并推向类质心,强制形成更具可分性和鲁棒性的特征空间。
? **实证研究。** 大量实验表明,我们提出的 TimeLT 达到了最先进性能。与所有数据集上最强的基线相比,TimeLT 的整体准确率提升了 0.55% 至 12.27%。
**2. 相关工作**
**2.1 时序分析**
深度学习在时序表征学习中取得了巨大成功,因其能够提取信息丰富的时序表征 [Trirat et al., 2024; Wang et al., 2026b]。这些表征已广泛应用于分类 [Liu et al., 2026; Xiao, Xing, Qu, Feng, Luo, Dai, Zhao, Dai, 2024a, Xiao, Xing, Qu, Li, Feng, Zhao, Yang, 2024b]、预测 [Liu et al., 2025a; Wu, Zhan, Ding, & Qian, 2026; Zhang, Zhan, Ding, & Pedrycz, 2024] 和缺失值填补 [Wang, Zou, He, Sun, & Wang, 2025b] 等下游任务。现有研究探索了多种深度架构用于时序建模。基于 CNN 的方法捕获局部和多尺度时序模式 [Mu, Shahzad, & Zhu, 2025; Wang et al., 2023b; Wu et al., 2022],基于 RNN 的方法通过循环结构建模序列依赖 [Beck et al., 2024; Lin et al., 2023; Liu et al., 2025b],其混合变体联合捕获局部和长程时序模式 [Xiao et al., 2021]。基于 GNN 的方法也已发展用于表征变量间的结构依赖和交互 [Wang, Ma, Wang, Wang, Zhang, Zhou, Wang, 2024a, Wang, Xu, Yang, Wu, Li, Xie, Chen, 2024e]。最近,基于 Transformer 和 MLP 的模型因其强大的表征能力和可扩展性,在建模复杂和长程时序依赖方面受到越来越多的关注 [Le, Luo, Aickelin, & Tran, 2024; Nie, Nguyen, Sinthong, & Kalagnanam, 2022; Stitsyuk & Choi, 2025; Wang, Lin, Ma, Huang, Zhou, Wang, Wang, Wang, 2026a, Wang, Wu, Shi, Hu, Luo, Ma, Zhang, & Zhou; Zhao, Xing, Wang, Song, & Xiao, 2023]。除骨干架构设计外,知识感知表征学习和自蒸馏也被探索以增强特征判别和知识迁移 [Xiao, Xing, Qu, Feng, Luo, Dai, Zhao, Dai, 2024a, Xiao, Xing, Qu, Li, Feng, Zhao, Wan, 2026b]。同时,状态空间模型结合结构化表征机制作为捕获多变量时序中长程依赖和层次关系的替代方案而出现 [Xiao, Wan, Ding, Song, & Tong, 2026a]。尽管取得这些进展,现有方法主要关注在传统数据分布下改进时序表征学习,而对长尾类别分布导致的偏差表征和严重的尾类混淆关注有限。
**2.2 长尾学习**
长尾数据分布在机器学习中持续构成挑战 [Yang, Jiang, Song, Guo, 2022, Zhang, Kang, Hooi, Yan, Feng, 2023],其中类别不平衡往往使模型偏向头类并降低尾类性能。现有方法可大致分为三类:数据级重平衡、表征或模型级学习和目标级调整。数据级方法通过过采样、欠采样或合成样本生成来重平衡训练分布 [Li et al., 2021; Shi, Wei, Xiang, & Li, 2023]。例如,KCPIA 通过复杂度引导增强生成更具信息量的少数类样本以解决类别不平衡 [Dai et al., 2026b];GQEO 利用全局邻域结构和广义四边形插值合成少数类样本,同时减少噪声实例的影响 [Dai, Wang, Zhang, Ding, & Chen, 2025]。表征和模型级方法旨在增强特征判别或利用互补模型信息 [Ahn, Ko, & Yun, 2023; Wang et al., 2024b]。例如,DCCLS 通过特征和类别置信度一致性学习改进长尾识别 [Han, Liu, Wu, & Liu, 2025],而 GMSHE 利用基于图的异构集成学习改进类别不平衡下的分类 [Dai, Kong, Ding, & Chen, 2026a]。目标或分类器级方法调整优化目标或预测 logits 以缓解头类主导 [Du et al., 2023; Wei & Gan, 2023]。例如,FRACAL 利用频率和空间分布信息校准类别 logits 以改进稀有类识别 [Alexandridis, Elezi, Deng, Nguyen, & Luo, 2025]。尽管取得这些进展,大多数现有方法是为视觉或一般不平衡分类开发的,而长尾时序分类仍研究不足。
**2.3 时序的长尾学习**
早期关于长尾时序分类(TSC)的工作侧重于数据级补救措施,如过采样和欠采样 [Li et al., 2026]。例如,INOS [Cao, Li, Woon, & Ng, 2013] 通过从多元高斯模型中采样合成少数类实例,而 T-SMOTE [Zhao et al., 2022] 利用辅助 LSTM 分类器对少数类示例评分,并使用不同前缀长度生成新的时间子序列。并行地,受图像领域启发的方法采用对比学习以改善类别可分性 [Wang et al., 2023c; Wu et al., 2025]。例如,COCL [Wu et al., 2025] 引入了对比聚类损失,减小类内方差并扩大类间间隙。DGMSCL 则直接放大欠表示类别的学习权重 [Qian et al., 2025]。尽管取得这些进展,许多方法未能解决时序数据固有的高类间相似性问题,该问题阻碍了紧凑且充分分离的特征流形的形成,在极端类别不平衡下这一问题更为加剧。
**3. 预备知识**
**长尾时序分类** 给定时序训练集 D={Xn,Yn}n=1N,其中 Xn∈N∈RT×D 表示长度为 T、包含 D 个变量的第 n 个时序样本,N 为样本总数,Yn∈N∈{0,1}C 为对应的标签注释,C 表示类别数。设 Nc 表示第 c 类的样本数,类别索引按降序排列(即若 i
**定义 1 类质心。** 某类别的质心定义为属于该类别的所有特征嵌入的均值。形式化地,cc 的质心 μc 公式如下:μc = (1/nc)∑n=1nc zn(c)。
**定义 2 决策边界。** 决策边界指特征空间中分隔不同类别特征嵌入的超曲面。对于两个类别平衡的特征空间,决策边界 ba,b 到 ca 和 cb 质心的距离相等,可表示为:‖ba,b?μa‖2 = ‖ba,b?μb‖2。然而在实践中,特征分布很少完全平衡。我们引入基于各类别标准差 δ 的缩放因子:‖ba,b?μa‖2/δa = ‖ba,b?μb‖2/δb。
**4. 方法**
**4.1 整体架构**
图 4 展示了所提出 timelt 的整体架构。? 在数据预处理阶段,设计了基于个性化扰动的数据增强策略,以平衡不同类别间的特征分布并增强数据多样性。? 在时序表征学习阶段,timelt 包含以下步骤:(1) 多尺度时序编码器从输入时序中捕获丰富的时序模式并将其映射到判别性特征空间中。 ni≥nj)。我们还将 c={Cc}c=1C 记为 c 个类标签的集合。然而,在现实应用中,各类别的样本数通常高度不平衡,呈现长尾分布(即 n1?nc),且不平衡比例(ir)定义为 n1 nc。该任务的目标是学习一个时序编码器 f:x→z 和一个分类器 ?:z→y^ 以产生有效的标签预测。 **定义 1 类质心。** 某类别的质心定义为属于该类别的所有特征嵌入的均值。形式化地,cc 的质心 μc 公式如下:μc=(1/Nc)∑n=1Nc zn(c)。 **定义 2 决策边界。** 决策边界指特征空间中分隔不同类别特征嵌入的超曲面。对于两个类别平衡的特征空间,决策边界 ba,b 到 ca 和 cb 质心的距离相等,可表示为:‖ba,b?μa‖2=‖ba,b?μb‖2。然而在实践中,特征分布很少完全平衡。我们引入基于各类别标准差 δ 的缩放因子:‖ba,b?μa‖2 δa=‖ba,b?μb‖2/δb。 **4. 方法** **4.1 整体架构** 图 4 展示了所提出 timelt 的整体架构。? 在数据预处理阶段,设计了基于个性化扰动的数据增强策略,以平衡不同类别间的特征分布并增强数据多样性。? 在时序表征学习阶段,timelt 包含以下步骤:(1)>
**定义 1 类质心。** 某类别的质心定义为属于该类别的所有特征嵌入的均值。形式化地,cc 的质心 μc 公式如下:μc = (1/nc)∑n=1nc zn(c)。
**定义 2 决策边界。** 决策边界指特征空间中分隔不同类别特征嵌入的超曲面。对于两个类别平衡的特征空间,决策边界 ba,b 到 ca 和 cb 质心的距离相等,可表示为:‖ba,b?μa‖2 = ‖ba,b?μb‖2。然而在实践中,特征分布很少完全平衡。我们引入基于各类别标准差 δ 的缩放因子:‖ba,b?μa‖2/δa = ‖ba,b?μb‖2/δb。
**4. 方法**
**4.1 整体架构**
图 4 展示了所提出 timelt 的整体架构。? 在数据预处理阶段,设计了基于个性化扰动的数据增强策略,以平衡不同类别间的特征分布并增强数据多样性。? 在时序表征学习阶段,timelt 包含以下步骤:(1) 多尺度时序编码器从输入时序中捕获丰富的时序模式并将其映射到判别性特征空间中。>
多尺度时间特征有助于提高泛化能力,特别是对于尾部类别;(2)学习到的时间表示随后被输入分类器以生成预测。? 在损失优化阶段,TimeLT 引入了两个主要目标:(1)通过使用交叉熵损失来最小化预测值与真实标签之间的差异;(2)两个正则化项鼓励样本远离其他类别的共享决策边界,并向其各自的类中心移动,从而促进对类别不平衡具有鲁棒性的判别性决策边界。下载:下载高分辨率图像(680KB)下载:下载完整尺寸图像
图 4. TimeLT 的框架。
4.2. 用于时间序列表示的多尺度增强建模
4.2.1. 基于扰动的个性化数据增强
抖动、裁剪和扭曲等技术被广泛用于数据增强。然而,在严重不平衡的情况下,均匀增强会引发问题,可能导致尾部类别的特征重叠和过拟合(Qian 等,2025)。在本文中,我们提出了一种新颖的数据增强方法,包含两个阶段,并通过按类别应用个性化增强来增强数据多样性。具体而言,对于任意类别 c ∈ {1, ?, C},我们首先计算该类别扩展所需的增强时间序列样本数量:
(1) Mc = ?(N? ? Nc) · β?,
其中超参数 β ∈ [0, 1] 是数量平衡因子,控制过采样样本的数量。N? 表示最丰富类别的样本数量。然后,我们从类别 c 的样本集中随机选取 Mc 个样本,输出记为 Xca = {Xma,c}m=1Mc。这种逆不平衡采样方法有效地扩大了尾部类别。
然而,直接将这些过采样样本用于训练可能引入特征冗余并导致过拟合。为了增强数据多样性并提高泛化能力,我们进一步应用了数据扰动策略,通过从多数类别到尾部类别逐步增加强度的高斯噪声来引入可控的随机性。对于 Xca 中的任意过采样样本 Xna,c,我们添加噪声 ?:
(2) Xnaug,c = Xna,c + ?,? ~ N(0, σc2I),
其中噪声因子 σc 是类别相关的,定义为:
(3) σc = α × Dtrain(std) × (N? ? Nc) / N?,
其中 Dtrain(std) 表示训练集中时间序列样本的标准差。超参数 α 控制增强适应类别不平衡的程度。
因此,增强后的训练集可构建为:Dtrain = {Xn, yn}n=1N ∪ {Xmaug, ymaug}m=1M。为简化起见,Dtrain 中的总样本数重新定义为 N。
4.2.2. 多尺度时间编码器
我们采用了一种简单但出奇有效的时间编码器,该编码器将多尺度分析与通道独立策略相结合,以捕获丰富的多尺度时间模式。
多尺度序列生成。多尺度分析方法已被证明在时间序列分析中有效,因为这些方法能捕获更全面的时间模式(Mozer, 1991)。例如,细粒度的原始输入序列可以反映详细的时间变化,而下采样序列则表现出更粗粒度的模式,如趋势信息。遵循之前的研究,历史输入序列 Xn ∈ N 以不同的时间分辨率进行采样,生成一组 S 个尺度的时间序列,记为 Xn = {Xns}s=1S。具体而言,?Xns∈S ∈ R?Ts? 的获取方式为:
(4) Xns∈S = DownSampling(Xn, kernel=s, stride=s),
其中 s ∈ {2s?1}s=1S,DownSampling(·) 可使用平均池化、最大池化或卷积实现,且 Xn1 = Xn 表示原始输入样本。
通道独立的 1D-CNN。通道独立学习策略避免了跨维度的冗余特征学习(Nie 等,2022),从而增强了模型的表达能力,特别是对尾部类别。为了在每个尺度上捕获局部时间模式,同时保留时间结构,我们采用了 1D-CNN 模块:
(5) for s in [1, ?, S]:Hns = Embedding(s)(Xns),
其中 Hns ∈ RTs×Dmodel 是高层表示。
全局时间建模。随后,我们采用了一个两层 GRU 网络来对 S 个尺度的全局时间依赖关系进行建模,通过有序学习机制捕获序列依赖关系。在这里,我们选择 GRU 而非基于 Transformer 的架构,原因是其更高的计算效率以及通过基于记忆的机制有效建模序列依赖关系的能力。比较结果见表 6。具体而言,第 s 个尺度的时间表示 zns 可生成为:
(6) for s in [1, ?, S]:zns = GRU(Hns) ∈ RF。
对每个尺度建模后,我们可获得输出表示 zn = ∥Ss=1zns,其中 ‖ 是拼接操作。最后,zn 被输入到两层前馈网络(FFN)中以预测类别标签 ?n ∈ RC。
表 1. 数据集统计信息。
| 数据集 | HAR | LTE | ISRUC | LT | Epilepsy | LT | PM2.5 |
|---|---|---|---|---|---|---|---|
| #Train | 7,352 | | 6,013 | | 7,360 | | 419,610 |
| #Val | 984 | | 858 | | 1,840 | | 139,870 |
| #Test | 1,963 | | 1,718 | | 2,300 | | 139,880 |
| Length | 128 | | 3,000 | | 178 | | 168 |
| #Variable | 9 | | 10 | | 1 | | 1 |
| #Class | 6 | | 5 | | 5 | | 3 |
表 2. 五次独立运行平均的完整比较结果。加粗和下划线分别表示最佳和次佳结果。* 表示根据 t 检验(p < 0.01)相比次佳结果具有统计显著性提升。IR 表示不平衡比。
| 方法 | 指标 | HAR IR=10 | IR=50 | IR=100 | ISRUC IR=10 | IR=50 | IR=100 | Epilepsy IR=10 | IR=50 | IR=100 | PM2.5 IR=11.17 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| Autoformer [NIPS 2021] | ACC(%) | 38.31 | 35.30 | 26.69 | 34.58 | 31.32 | 28.75 | 20.39 | 20.39 | 20.39 | 74.63 |
| | F1(%) | 27.79 | 28.05 | 19.82 | 31.17 | 22.36 | 20.53 | 6.77 | 6.77 | 6.77 | 47.04 |
| | MCC | 0.304 | 0.256 | 0.152 | 0.137 | 0.083 | 0.040 | 0.000 | 0.000 | 0.000 | 0.462 |
| Paraformer [ICLR 2022] | ACC(%) | 77.23 | 68.47 | 61.53 | 45.32 | 37.79 | 32.50 | 45.09 | 42.04 | 20.39 | 78.46 |
| | F1(%) | 75.90 | 67.12 | 58.74 | 40.93 | 33.75 | 27.10 | 35.02 | 33.33 | 6.77 | 49.18 |
| | MCC | 0.734 | 0.628 | 0.543 | 0.405 | 0.323 | 0.278 | 0.389 | 0.330 | 0.000 | 0.428 |
| DLinear [AAAI 2023] | ACC(%) | 56.75 | 50.84 | 49.61 | 25.43 | 24.83 | 23.72 | 20.39 | 20.39 | 20.39 | 78.42 |
| | F1(%) | 53.70 | 44.82 | 41.54 | 20.79 | 19.56 | 18.14 | 6.77 | 6.77 | 6.77 | 50.87 |
| | MCC | 0.500 | 0.467 | 0.458 | 0.019 | 0.006 | -0.008 | 0.000 | 0.000 | 0.000 | 0.474 |
| PatchTST [ICLR 2023] | ACC(%) | 83.95 | 75.85 | 74.02 | 63.32 | 59.08 | 53.14 | 60.62 | 49.92 | 43.14 | 73.37 |
| | F1(%) | 83.87 | 74.45 | 72.47 | 59.36 | 49.35 | 43.75 | 57.81 | 46.48 | 39.18 | 47.43 |
| | MCC | 0.809 | 0.717 | 0.699 | 0.544 | 0.488 | 0.400 | 0.532 | 0.417 | 0.347 | 0.410 |
| Pathformer [ICLR 2024] | ACC(%) | 88.89 | 81.25 | 75.75 | 56.98 | 54.30 | 45.59 | 20.39 | 20.39 | 20.39 | 73.87 |
| | F1(%) | 88.76 | 80.46 | 74.49 | 44.56 | 35.39 | 26.19 | 6.77 | 6.77 | 6.77 | 44.62 |
| | MCC | 0.867 | 0.776 | 0.715 | 0.436 | 0.400 | 0.291 | 0.000 | 0.000 | 0.000 | 0.468 |
| TimeXer [NIPS 2024] | ACC(%) | 89.04 | 74.52 | 73.10 | 66.82 | 60.82 | 56.28 | 20.39 | 20.39 | 20.39 | 78.62 |
| | F1(%) | 88.38 | 73.46 | 70.29 | 60.93 | 52.91 | 49.97 | 6.77 | 6.77 | 6.77 | 50.63 |
| | MCC | 0.868 | 0.698 | 0.688 | 0.575 | 0.499 | 0.443 | 0.000 | 0.000 | 0.000 | 0.505 |
| TimeMixer [ICLR 2024] | ACC(%) | 90.47 | 81.20 | 61.38 | 67.90 | 54.65 | 51.62 | 60.27 | 47.84 | 42.46 | 74.78 |
| | F1(%) | 90.51 | 80.92 | 58.12 | 61.35 | 42.70 | 38.58 | 57.77 | 43.92 | 36.78 | 46.50 |
| | MCC | 0.886 | 0.777 | 0.544 | 0.591 | 0.423 | 0.380 | 0.522 | 0.392 | 0.336 | 0.404 |
| iTransformer [ICLR 2024] | ACC(%) | 91.34 | 80.43 | 75.29 | 31.19 | 30.84 | 30.84 | 20.39 | 20.39 | 20.39 | 78.68 |
| | F1(%) | 91.16 | 79.39 | 72.82 | 13.66 | 12.33 | 10.22 | 6.77 | 6.77 | 6.77 | 48.96 |
| | MCC | 0.896 | 0.769 | 0.712 | 0.023 | 0.004 | -0.012 | 0.000 | 0.000 | 0.000 | 0.485 |
| xPatch [AAAI 2025] | ACC(%) | 89.51 | 77.48 | 72.08 | 19.73 | 19.73 | 19.73 | 45.37 | 20.39 | 20.39 | 76.51 |
| | F1(%) | 89.20 | 76.49 | 69.85 | 6.59 | 6.59 | 6.59 | 37.83 | 6.77 | 6.77 | 50.11 |
| | MCC | 0.874 | 0.731 | 0.671 | 0.000 | 0.000 | 0.000 | 0.381 | 0.000 | 0.000 | 0.470 |
| Timemixer++ [ICLR 2025] | ACC(%) | 90.52 | 73.61 | 69.63 | 56.77 | 47.48 | 42.20 | 20.39 | 20.39 | 20.39 | 76.61 |
| | F1(%) | 90.37 | 71.52 | 65.45 | 46.61 | 31.21 | 24.19 | 6.77 | 6.77 | 6.77 | 49.33 |
| | MCC | 0.888 | 0.691 | 0.652 | 0.462 | 0.329 | 0.230 | 0.000 | 0.000 | 0.000 | 0.470 |
| PatchMLP [AAAI 2025] | ACC(%) | 90.93 | 75.54 | 68.98 | 51.57 | 41.75 | 38.66 | 20.39 | 20.39 | 20.39 | 78.57 |
| | F1(%) | 90.81 | 74.33 | 65.07 | 42.10 | 27.92 | 23.46 | 6.77 | 6.77 | 6.77 | 50.38 |
| | MCC | 0.891 | 0.711 | 0.643 | 0.373 | 0.246 | 0.184 | 0.000 | 0.000 | 0.000 | 0.483 |
| MPTSNet [AAAI 2025] | ACC(%) | 90.65 | 78.83 | 76.87 | 65.48 | 56.64 | 53.96 | 51.02 | 45.20 | 42.65 | 75.96 |
| | F1(%) | 90.51 | 77.18 | 74.40 | 59.70 | 46.66 | 39.66 | 45.16 | 36.17 | 34.22 | 50.37 |
| | MCC | 0.889 | 0.754 | 0.731 | 0.551 | 0.446 | 0.411 | 0.414 | 0.360 | 0.328 | 0.493 |
| CFAMG [KDD 2025] | ACC(%) | 90.12 | 74.83 | 72.13 | 34.28 | 32.60 | 30.33 | 21.91 | 20.39 | 20.39 | 78.43 |
| | F1(%) | 90.03 | 73.09 | 69.77 | 28.49 | 25.56 | 24.12 | 11.89 | 6.78 | 6.78 | 52.04 |
| | MCC | 0.882 | 0.705 | 0.677 | 0.125 | 0.095 | 0.062 | 0.030 | 0.000 | 0.000 | 0.497 |
| T-SMOTE [IJCAI 2022] | ACC(%) | 84.45 | 82.27 | 80.88 | 57.41 | 52.74 | 50.21 | 38.87 | 33.68 | 31.01 | 78.10 |
| | F1(%) | 84.11 | 81.86 | 79.83 | 49.90 | 42.52 | 41.47 | 35.03 | 31.14 | 30.42 | 51.80 |
| | MCC | 0.817 | 0.792 | 0.779 | 0.446 | 0.384 | 0.350 | 0.253 | 0.244 | 0.221 | 0.495 |
| FSR [DASFAA 2023] | ACC(%) | 90.05 | 87.09 | 86.16 | 80.29 | 66.90 | 67.64 | 26.87 | 23.16 | 21.06 | 78.65 |
| | F1(%) | 89.80 | 86.41 | 85.20 | 76.20 | 48.06 | 48.57 | 17.14 | 11.58 | 9.59 | 52.20 |
| | MCC | 0.884 | 0.851 | 0.842 | 0.747 | 0.593 | 0.606 | 0.164 | 0.079 | 0.016 | 0.505 |
| COCL [ESWA 2025] | ACC(%) | 92.12 | 91.44 | 89.83 | 78.39 | 67.67 | 66.85 | 54.78 | 43.38 | 42.55 | 80.72 |
| | F1(%) | 92.02 | 91.36 | 89.76 | 75.04 | 55.09 | 51.91 | 50.65 | 35.07 | 33.86 | 56.35 |
| | MCC | 0.907 | 0.899 | 0.880 | 0.722 | 0.599 | 0.574 | 0.466 | 0.342 | 0.359 | 0.547 |
| DGMSCL [NN 2025] | ACC(%) | 92.20 | 86.04 | 86.36 | 82.22 | 65.19 | 58.73 | 43.97 | 37.39 | 35.48 | 78.75 |
| | F1(%) | 92.06 | 85.56 | 85.92 | 78.08 | 50.68 | 42.15 | 35.80 | 29.70 | 27.42 | 52.63 |
| | MCC | 0.907 | 0.836 | 0.839 | 0.763 | 0.578 | 0.523 | 0.376 | 0.294 | 0.255 | 0.508 |
| TimeLT(本文) | ACC(%) | **97.41*** | **94.99*** | **92.01*** | **82.77*** | **77.71*** | **73.12*** | **65.81*** | **61.04*** | **55.41*** | **83.24*** |
| | F1(%) | **97.38*** | **94.83*** | **91.60*** | **80.29*** | **75.77*** | **70.28*** | **64.84*** | **60.84*** | **54.46*** | **61.26*** |
| | MCC | **0.969*** | **0.940*** | **0.905*** | **0.780*** | **0.714*** | **0.655*** | **0.582*** | **0.520*** | **0.453*** | **0.584*** |
表 3. 头部类别和尾部类别的准确率(ACC)结果。前 50% 最频繁的类别被指定为头部类别,其余类别被指定为尾部类别。
| 方法 | HAR-100 头部 | HAR-100 尾部 | ISRUC-100 头部 | ISRUC-100 尾部 | Epilepsy-100 头部 | Epilepsy-100 尾部 | PM2.5* 头部 | PM2.5* 尾部 |
|---|---|---|---|---|---|---|---|---|
| DLinear | 87.2 | 3.70 | 34.4 | 6.92 | 50.00 | 0.00 | 92.0 | 62.8 |
| PatchTST | 72.37 | 74.99 | 78.40 | 27.90 | 66.91 | 26.59 | 80.40 | 32.48 |
| xPatch | 90.55 | 51.37 | 50.00 | 0.00 | 50.00 | 0.00 | 84.23 | 34.11 |
| TimeMixer++ | 86.26 | 52.17 | 69.22 | 6.86 | 50.00 | 0.00 | 84.30 | 33.26 |
| PatchMLP | 90.60 | 45.90 | 61.78 | 5.92 | 50.00 | 0.00 | 91.67 | 28.48 |
| MPTSNet | 86.14 | 65.70 | 66.18 | 23.14 | 61.34 | 24.30 | 87.52 | 27.63 |
| CFAMG | 87.23 | 50.31 | 46.24 | 8.00 | 50.00 | 0.00 | 86.31 | 31.29 |
| DGMSCL | 88.18 | 81.85 | 82.22 | 32.38 | 18.81 | 45.90 | 87.65 | 24.56 |
| TimeLT | **96.57** | **86.86** | **82.95** | **60.26** | **65.94** | **47.99** | **92.92** | **40.58** |
表 4. 与代表性替代正则化策略的比较。
| 方法 | 指标 | HAR IR=10 | IR=50 | IR=100 | ISRUC IR=10 | IR=50 | IR=100 |
|---|---|---|---|---|---|---|---|
| 基于对比学习 | ACC(%) | 96.34 | 91.56 | 87.31 | 82.04 | 73.72 | 68.42 |
| | F1(%) | 96.27 | 91.18 | 86.70 | 79.20 | 70.05 | 63.92 |
| | MCC | 0.956 | 0.900 | 0.852 | 0.767 | 0.658 | 0.592 |
| 基于原型 | ACC(%) | 96.61 | 92.16 | 88.12 | 82.18 | 74.05 | 69.86 |
| | F1(%) | 96.55 | 91.86 | 87.63 | 79.58 | 70.78 | 65.91 |
| | MCC | 0.960 | 0.908 | 0.861 | 0.770 | 0.664 | 0.610 |
| 类别平衡 | ACC(%) | 95.96 | 90.52 | 86.03 | 81.52 | 72.68 | 66.54 |
| | F1(%) | 95.82 | 89.96 | 85.21 | 78.12 | 68.11 | 61.31 |
| | MCC | 0.949 | 0.886 | 0.828 | 0.754 | 0.636 | 0.558 |
| TimeLT(本文) | ACC(%) | **97.41** | **94.99** | **92.01** | **82.77** | **77.71** | **73.12** |
| | F1(%) | **97.38** | **94.83** | **91.60** | **80.29** | **75.77** | **70.28** |
| | MCC | **0.969** | **0.940** | **0.905** | **0.780** | **0.714** | **0.655** |
表 5. 不同下采样方法的性能比较。
| 方法 | 指标 | HAR IR=10 | IR=50 | IR=100 | Epilepsy IR=10 | IR=50 | IR=100 |
|---|---|---|---|---|---|---|---|
| 平均池化 | ACC(%) | 97.41 | 94.99 | 92.01 | 65.81 | 61.04 | 55.41 |
| | F1(%) | 97.38 | 94.83 | 91.60 | 64.84 | 60.84 | 54.46 |
| | MCC | 0.969 | 0.940 | 0.905 | 0.582 | 0.520 | 0.453 |
| 最大池化 | ACC(%) | 97.07 | 94.51 | 91.63 | 62.43 | 56.04 | 48.50 |
| | F1(%) | 96.93 | 94.34 | 91.34 | 60.80 | 55.22 | 44.87 |
| | MCC | 0.962 | 0.934 | 0.902 | 0.545 | 0.471 | 0.380 |
| CNN | ACC(%) | 96.82 | 93.90 | 87.67 | 39.86 | 26.82 | 28.94 |
| | F1(%) | 96.80 | 93.65 | 87.13 | 33.11 | 20.77 | 22.22 |
| | MCC | 0.964 | 0.928 | 0.855 | 0.295 | 0.093 | 0.129 |
表 6. 不同骨干网络用于全局时间建模的性能比较。
| 方法 | 指标 | HAR IR=10 | IR=50 | IR=100 | ISRUC IR=10 | IR=50 | IR=100 |
|---|---|---|---|---|---|---|---|
| GRU | ACC(%) | 97.41 | 94.99 | 92.01 | 82.77 | 77.71 | 73.12 |
| | F1(%) | 97.38 | 94.83 | 91.60 | 80.29 | 75.77 | 70.28 |
| | MCC | 0.969 | 0.940 | 0.905 | 0.780 | 0.714 | 0.655 |
| MLP | ACC(%) | 90.16 | 78.41 | 75.32 | 65.48 | 56.16 | 51.33 |
| | F1(%) | 89.88 | 77.40 | 73.63 | 65.37 | 51.04 | 39.32 |
| | MCC | 0.883 | 0.745 | 0.712 | 0.560 | 0.442 | 0.385 |
| Transformer | ACC(%) | 88.91 | 85.66 | 81.18 | — | — | — |
| | F1(%) | 88.72 | 85.16 | 80.53 | — | — | — |
| | MCC | 0.867 | 0.830 | 0.775 | — | — | — |
| PatchTST | ACC(%) | 93.89 | 88.97 | 87.25 | 73.91 | 69.80 | 64.65 |
| | F1(%) | 93.20 | 87.60 | 86.48 | 72.90 | 67.50 | 61.92 |
| | MCC | 0.919 | 0.857 | 0.863 | 0.709 | 0.623 | 0.567 |
| iTransformer | ACC(%) | 90.86 | 87.46 | 83.03 | 66.64 | 62.83 | 57.22 |
| | F1(%) | 90.28 | 87.18 | 81.29 | 64.28 | 59.03 | 53.71 |
| | MCC | 0.890 | 0.862 | 0.797 | 0.609 | 0.573 | 0.484 |
4.3. 决策边界排斥正则化
在分类任务中,长尾类别分布往往会将分类器偏向头部类别,并加剧头部类别与尾部类别之间的特征重叠,尤其在严重类别不平衡的情况下更为明显。这一问题在长尾时间序列分类(TSC)中尤为突出,因为不同类别可能表现出高度相似的时间模式。因此,尾部类别的表示更可能位于类间决策边界附近,增加了误分类的风险。为缓解这一问题,我们引入了一个边界排斥正则化项,鼓励特征表示与类间边界嵌入之间形成角度分离。
具体而言,对于每个 mini-batch 中的归一化嵌入 zn,我们分别计算类别 Cc 的中心和特征分散度:
(7) μc = (1/Bc) Σn=1B (yn=c) zn,δc = ‖Stdyn=c(zn)‖?。
其中 B 是 mini-batch 大小,Bc 是 mini-batch 中属于类别 Cc 的样本数量,yn ∈ {1, …, C} 是样本 n 的类别索引。随后,对于两个不同的类别 Ci 和 Cj,边界嵌入基于对应的类中心定义为:
(8) bi,j = (1 ? ωi,j)μi + ωi,jμj,ωi,j = δi / (δi + δj + ε),
其中 ε 是为数值稳定性设置的小正常数。基于这些边界嵌入,我们在 mini-batch 上定义边界排斥正则化项为:
(9) Lb = (1/B) · (1/(C?1)) Σn=1B Σj=1, j≠ynC Sim(zn, byn,j),
其中 byn,j 是与样本所属类别 Cyn 和另一个类别 Cj 相关联的边界嵌入,Sim(·,·) 表示余弦相似度。边界嵌入和边界排斥损失的完整计算过程总结于算法 1 中。
下载:下载高分辨率图像(154KB)下载:下载完整尺寸图像
算法 1. 边界排斥损失的计算。
此外,为了鼓励类别一致的排斥,我们采用基于原型的监督对比损失,将时间嵌入拉近到其对应的类中心(相对于其他类别的中心):
(10) Ld = ?(1/B) Σn=1B log [exp(Sim(zn, μyn)) / Σj=1C exp(Sim(zn, μj))],
其中 μyn 是 zn 所属类别 Cyn 的归一化中心。最终训练目标可表述为:
(11) L = Lclass + λ?Lb + λ?Ld,
其中 Lclass 是分类损失(即交叉熵)。Lb 和 Ld 鼓励每个样本与边界嵌入的对齐程度降低,同时相对于其他类中心拉近到其对应的类中心。这促进了表示空间中更紧凑且分离良好的类别分布,有利于形成更具判别性的决策边界。λ? 和 λ? 是平衡三项的非负超参数。
5. 实验
5.1. 长尾时间序列分类基准
为验证 TimeLT 的有效性,我们在四个时间序列分类数据集上进行了实验:HAR1(Anguita 等,2013)、ISRUC-S32(Khalighi, Sousa, Santos, & Nunes, 2016)、Epilepsy3(Andrzejak 等,2001)和 PM2.5?。所有数据集的关键统计属性总结于表 1 中。此外,为评估模型在不同类别不平衡程度下的性能,我们创建了前三个数据集的三种版本,不平衡比(IR)分别设为 IR ∈ {10, 50, 100}。遵循之前的工作(Ho, Peng, & Vasconcelos, 2024),前 50% 最频繁的类别被指定为头部类别,其余类别被指定为尾部类别。类别不平衡通过从原始训练集进行分层随机无放回采样生成,形成指数衰减的类别分布(Ho 等,2024)。验证集和测试集保持其原始分布。PM2.5 数据集来自中国国家环境监测中心维护的实时空气质量监测平台,该平台提供中国城市和气象监测站的每小时污染物测量数据。我们选择了 10 个代表性监测站,每个站点包含从 2016 年 1 月 1 日到 2023 年 12 月 31 日长达八年的 70,000 多个小时测量数据。使用该数据集,过去 168 个时间步(即一周)的 PM2.5 读数用于预测次日的污染水平,分为三个严重程度等级,如图 1 所示。该数据集呈现出自然的长尾类别分布,训练集、验证集和测试集的不平衡比分别为 11.17、13.88 和 23.33。我们在图 5 中可视化了这些数据集在不同 IR 设置下的类别分布。
下载:下载高分辨率图像(738KB)下载:下载完整尺寸图像
图 5. 数据集在三种 IR 设置下的类别分布,其中前三个蓝色柱代表头部类别,后三个红色柱代表尾部类别。
5.2. 评估指标
我们使用准确率(ACC)、宏平均 F1 分数(F1)和马修斯相关系数(MCC)来评估性能。MCC 可以提供更全面的性能评估,尤其适用于不平衡数据集。其取值范围为 [?1, 1],其中 MCC=0 表示随机预测,MCC=?1 表示预测与观测标签完全相反(Boughorbel, Jarray, & El-Anbari, 2017)。这些指标的计算公式如下:
(12) ACC = Σc=1C Mc,c / Σi=1C Σj=1C Mij,
(13) F1 = (1/C) Σc=1C (2PcRc / (Pc + Rc)),
(14) MCC = [n Σc=1C Mc,c ? Σc=1C pc·tc] / √[(n2 ? Σc=1C pc2)(n2 ? Σc=1C tc2)],
其中 C 表示类别数量,M ∈ NC×C 表示混淆矩阵,Mij 是属于类别 i 但被预测为类别 j 的样本数量。Pc 和 Rc 分别表示类别 c 的精确率和召回率,其中 Pc = TPc/(TPc + FPc),Rc = TPc/(TPc + FNc)。TPc、FPc 和 FNc 分别表示类别 c 的真阳性、假阳性和假阴性样本数量;n = Σi=1C Σj=1C Mij 是样本总数;pc = Σi=1C Mic 是被预测为类别 c 的样本数量;tc = Σj=1C Mcj 是真实标签为类别 c 的样本数量。
5.3. 基线模型
我们的基准包含 17 个最先进的时序模型,选取以覆盖广泛的下游任务。我们将这些模型分为两类:传统时序分析方法和专门设计用于处理时序学习中长尾分布的方法。? 传统时序分析方法,如代表性的 DLinear(Zeng, Chen, Zhang, & Xu, 2023)、PatchTST(Nie 等,2022)、xPatch(Stitsyuk & Choi, 2025)、TimeMixer++(Wang 等,2024c)、PatchMLP(Kong 等,2025)和 MPTSNet(Mu 等,2025)。? 长尾时序分类方法,包括代表性的 T-SMOTE(Zhao 等,2022)、FSR(Wang 等,2023c)、COCL(Wu 等,2025)、DGMSCL(Qian 等,2025)和 CFAMG(Wang 等,2025a)。
5.4. 实现细节
所有实验均在单张 NVIDIA GeForce RTX 4090 GPU(24GB 显存)上进行,使用 Python 3.8 和 PyTorch 2.1。我们采用 Adam 优化器(Kingma, 2014)进行 L2 正则化,权重衰减设为 5×10??,(β?, β?) 设为 (0.9, 0.99),并使用交叉熵损失进行优化。所有基线模型训练 100 个 epoch,初始学习率从 {0.0001, 0.0005, 0.001, 0.005, 0.01} 中选择,所有隐藏特征维度从 {32, 64, 128, 256, 512, 1024} 中调优。
5.5. 整体性能比较
整体比较结果见表 2 和表 3。基于这些结果,我们得出几个关键观察。? 大多数方法的性能随着不平衡比的增加而下降,表明严重的类别不平衡极大地限制了它们为尾部类别学习代表性特征的能力。在基线方法中,DGMSCL 在 HAR 和 ISRUC 上表现具有竞争力,尤其在轻度不平衡下,这可能得益于其基于图的变量间关系建模和对比学习目标。COCL 也在多种设置下取得了良好的性能,表明对比聚类有助于在长尾分布下提高特征判别力。PatchTST 是 Epilepsy 数据集在大多数评估设置中最强的基线,但其在其他数据集上的性能竞争力较弱,突出了现有架构的数据集依赖性。相比之下,T-SMOTE 和 FSR 在所评估的设置中未能持续取得有竞争力的性能,表明仅靠过采样或特征空间重新平衡可能不足以同时解决样本稀缺和类间相似性问题。TimeLT 在所有评估数据集和不平衡比下始终取得最佳性能。这一优势可能归功于个性化增强、多尺度时间建模和边界排斥正则化的互补效应,它们共同提高了尾部类别的多样性并减少了类间特征重叠。? 随着类别不平衡程度的增加,大多数基线模型表现出显著的性能退化,特别是在 ISRUC 和 Epilepsy 数据集上。
当不平衡比率很高时(例如,IR ≥ 50),一些模型(例如 TimeMixer++ 和 PatchMLP)的 MCC 得分为零,这表明这些模型将所有样本预测为同一个头部类别,无法捕捉到任何类别级别的判别能力。这凸显了极端类别不平衡给时间序列分类带来的严峻挑战。我们在表 3 中提供了头部和尾部类别的细粒度结果。大多数模型在头部类别上的表现尚可。然而,在处理尾部类别时,它们的准确性显著降低,甚至完全失效。相比之下,我们的模型在尾部类别上表现出色,绝对准确率提高了高达 78.96 个百分点。
### 5.6 消融实验
我们进行了一项消融实验,以评估 TimeLT 各组件的有效性,其中包括六个变体:
1. ‘w/o O’:移除个性化过采样方法。
2. ‘w/o A’:移除个性化数据增强方法。
3. ‘w/o O&A’:排除个性化过采样和数据增强。
4. ‘w/o Ld’:在 TimeLT 中不考虑方向正则化。
5. ‘w/o Lb’:在 TimeLT 中不考虑边界排斥正则化。
6. ‘w/o Lb&Ld’:同时不考虑边界排斥和方向正则化。
这些变体与完整的 TimeLT 版本进行了比较。
图 6 展示了三个数据集上在 IR ∈ {10, 50, 100} 不平衡比率下的准确率结果。总体而言,每个模块都对预测性能有积极贡献。具体来说,移除过采样和数据增强会导致准确率显著下降(即 w/o O&A),特别是在不平衡比率较高的情况下。这是因为预处理模块通过对每个类别应用不同程度的增强,使编码器能够学习到丰富的时间表示。此外,在极端类别不平衡的场景中(例如 IR = 100),过采样通常比数据增强更为关键。这是因为当尾部类别样本极其稀少时,仅依靠增强可能会基于有限的数据生成扭曲的样本。此外,当移除损失函数 Ld 时,仅使用边界排斥正则化的 w/o Ld 会增加样本被推入其他类别特征空间的风险,从而导致误分类。此外,尽管变体 w/o Lb 在 ISRUC 和 Epilepsy 数据集上取得了第二好的表现,但仍然不及完整的 TimeLT。这主要是因为忽略了时间序列数据中不同类别之间的分布相似性,导致特征表示被映射得过于接近类别边界。总之,TimeLT 的所有组件都有效贡献了性能。

### 5.7 与替代正则化策略的比较
为进一步评估所提出的边界感知优化方法的有效性,我们将 TimeLT 与代表性的对比学习、基于原型的学习以及类别平衡策略进行了比较。为了公平比较,所有变体都保留了相同的个性化数据增强、多尺度时间编码器、分类器架构、数据划分和评估协议,同时用相应的替代目标替换 Lb 和 Ld。如表 4 所示,所有替代策略的表现都低于完整的 TimeLT。基于原型的学习和对比学习提高了特征紧凑性和类间分离度,但未明确考虑因长尾分布而偏向的决策边界,而类别平衡主要缓解分类器偏差,未直接重组重叠的特征表示。相比之下,Lb 将样本从类间边界排斥出去,Ld 引导它们趋向类别中心,共同减少边界模糊并增强类内紧凑性,特别是在严重类别不平衡的情况下。
### 5.8 架构敏感性分析
#### 5.8.1 下采样方法
为评估不同下采样方法的有效性,我们采用了三种常用方法:平均池化、最大池化和常规卷积操作。如表 5 所示,平均池化始终优于最大池化和卷积操作。这可能是因为平均池化通过窗口平均保留了整体趋势,从而增强了对噪声和极值的鲁棒性。相比之下,最大池化仅保留最大值,可能会放大噪声或异常值。卷积操作可能捕捉潜在的高层特征,但它不能直观地反映时间序列的多尺度特性,例如趋势。
#### 5.8.2 全局时间建模
我们将代表性的骨干网络进行比较,包括 MLPs、GRUs 和 Transformer 模型中使用的注意力机制,如表 6 所示。“-”表示由于 ISRUC 序列过长而导致模型内存不足。基于 RNN 的 GRU 优于简单的线性 MLP 和 Transformers。具体来说,MLP 无法捕捉高层时间特征,导致性能显著较低。值得注意的是,近期流行的基于 Transformer 的方法仍然不及 GRU。虽然 Transformer 的注意力机制能捕捉成对依赖关系,但它缺乏 GRU 的显式序列建模能力。
### 5.9 敏感性分析
#### 5.9.1 β 分析
我们在 {0, 0.2, 0.4, 0.6, 0.8, 1} 范围内评估 β,其中 β=0 表示不进行过采样,β=1 表示根据样本大小实现完全类别平衡。图 8a 显示了 HAR-LT 在 IR ∈ {10, 50, 100} 下的结果。在不平衡程度轻微时性能变化很小,但随着不平衡程度增加,对 β 变得更加敏感。尽管如此,β ∈ {0.4, 0.6} 始终取得最佳或接近最佳的表现。图 8b 显示在 HAR、ISRUC 和 Epilepsy 上也出现了类似趋势。β 值过小会导致尾部类别暴露不足,而过多的过采样可能会引入样本冗余和过拟合。总体而言,结果表明 [0.4, 0.6] 在评估的不平衡比率和数据集上提供了稳定的平衡。


#### 5.9.2 α 分析
α 控制数据增强过程中添加的扰动强度,从头部类别到尾部类别线性增加。我们考虑了 {0.001, 0.005, 0.01, 0.05, 0.1, 0.5} 范围内的 α 值。如图 8-(b) 所示,我们发现较大的 α 值使 TimeLT 表现更好,即 α=0.1。α 值过小和过大都有害,因为较小的值会导致过拟合,而较大的值会导致增强样本偏离真实数据分布。
### 5.10 S 的分析
图 8-(c) 展示了从 {1, 2, 3, 4, 5, 6} 中选择超参数 S 的实验结果。我们可以观察到,对应于不同 S 值的最优分类性能在不同数据集上有所不同。具体来说,HAR、ISRUC 和 Epilepsy 数据集的最佳结果分别在 S=3、5 和 4 时取得。处理更长时间步长的时间序列时,需要更多的下采样级别。然而,过大的 S 值可能会导致提取过于粗糙的特征,从而混淆模型并降低预测性能。
#### 5.10.1 λ1 和 λ2 的分析
λ1 和 λ2 分别控制 Lb 和 Ld 的权重。如图 9 所示(最优准确率结果用星号标记),当两个参数都达到 1 时,TimeLT 取得最佳性能。较小的值会导致从决策边界排斥不足或方向错误的排斥,而较大的值会削弱分类损失的效果。

### 5.11 可视化分析
为直观评估不同时间序列模型学习到的输出表示质量(即公式 (9) 中的 zn),我们使用 t-SNE 在 HAT-LT-100 数据集上进行可视化。我们将 TimeLT 与代表性模型进行比较,特别是省略了边界排斥项的 ‘w/o Lb’ 变体。如图 7 所示,我们可以观察到完整的 TimeLT 为同类样本生成了更紧凑的簇,并提供了不同类样本之间更清晰的边界。这可归因于 TimeLT 的精心设计,尤其是其对抗性决策边界正则化项。
### 5.12 效率分析
如图 7 所示,我们在两个具有不同时间尺度的数据集上比较了 TimeLT 与 PatchTST、TimeMixer++ 和 DGMSCL 的效率:HAR-LT-10 (T=128) 和 ISRUC-LT-10 (T=3000),其中 T 表示输入序列长度。PatchTST 和 DGMSCL 是次优的基线。在 HAR-LT-10 上,TimeLT 使用 2.72 MB 内存,244.51 秒训练,每样本推理时间为 0.0016 秒。在 ISRUC-LT-10 上,分别为 2.90 MB、704.87 秒和 0.0188 秒。TimeLT 取得了最高的准确率,同时保持轻量级和快速,表明精心的架构设计可以提升性能而不增加额外的计算成本。
**表 7. HAR-LT-10 和 ISRUC-LT-10 上的效率分析**
| 数据集 | 模型 | ACC(%) | Params(MB) | Train(s) | Inference(s) |
| --- | --- | --- | --- | --- | --- |
| HAR | PatchTST | 83.95 | 4.22 | 367.61 | 0.0042 |
| HAR | TimeMixer++ | 90.52 | 9.05 | 614.38 | 0.0277 |
| HAR | DGMSCL | 92.20 | 3.14 | 274.20 | 0.0031 |
| HAR | TimeLT | 97.41 | 2.72 | 244.51 | 0.0016 |
| ISRUC | PatchTST | 63.32 | 14.79 | 1843.24 | 0.0402 |
| ISRUC | TimeMixer++ | 56.77 | 155.84 | 2106.56 | 0.1320 |
| ISRUC | DGMSCL | 82.22 | 3.14 | 1354.90 | 0.0348 |
| ISRUC | TimeLT | 82.77 | 2.90 | 704.87 | 0.0188 |
### 6. 结论与未来工作
在本文中,我们提出了 TimeLT,一个专为长尾时间序列分类设计的框架。它整合了一种感知扰动增强的数据策略以提升样本多样性,特别是对于欠代表性的类别,一个用于增强特征表示的多尺度时间编码器,以及一个促进良好分离和紧凑特征空间的边界排斥正则化项。我们还引入了一个新的长尾 TSC 基准,包含 17 个模型和多个数据集,能够实现公平比较并推动未来研究。实验结果表明了 TimeLT 在长尾 TSC 场景中的有效性。
从实践角度来看,人类活动识别、医疗和环境监测以及故障诊断中的稀有类别可能与频繁类别仅有细微差别,但它们的误分类可能会带来严重后果。从科学角度来看,我们的分析凸显了类间时间相似性与类别不平衡之间的相互作用是长尾 TSC 中的一个基本挑战。这些发现表明,有效解决长尾 TSC 不仅需要样本再平衡,还需要专门的表示学习和特征空间优化机制。
尽管 TimeLT 在长尾 TSC 中表现强劲,但它仍存在一些局限性。目前,我们的基准仅包含一个真实的长尾数据集。在未来的工作中,我们计划收集更多的长尾时间序列数据集,以进一步扩展和多样化基准,促进对长尾 TSC 方法的更全面评估。此外,我们将探索将 TimeLT 扩展到长尾时间序列预测和异常检测领域,特别关注预测稀有目标值(如峰值和极值)以及检测稀有异常事件。
**致谢**
本研究得到了辽宁省项目(项目编号 2026JH40/10200071)的支持。
**作者贡献声明**
- **刘智鹏**:写作 – 审阅与编辑,写作 – 原创草稿,可视化,验证,软件,资源,方法论,调查,形式化分析,数据管理,概念化。
- **段培博**:写作 – 审阅与编辑,写作 – 原创草稿,监督,资金获取,形式化分析。
- **赵勤芳金**:方法论,数据管理。
- **李伯心**:方法论,数据管理。
- **马晓文**:写作 – 审阅与编辑,监督。
- **黄永盛**:形式化分析。
- **张彬**:监督,项目管理,资金获取,概念化。
- **王斌武**:写作 – 审阅与编辑。