编辑推荐:
Congyu Wang|明静杜|江翔|董永权中国江苏省徐州市221116,江苏师范大学人工智能与计算机科学学院,教育智能技术江苏省重点实验室摘要在物联网的推动下,未标记时间序列数据量迅速增长,这给挖掘其潜在模式带来了巨大挑战。传统的无监督聚类方法往往无法捕捉时间序列数据的复杂特性
Congyu Wang|明静杜|江翔|董永权
中国江苏省徐州市221116,江苏师范大学人工智能与计算机科学学院,教育智能技术江苏省重点实验室
摘要
在物联网的推动下,未标记时间序列数据量迅速增长,这给挖掘其潜在模式带来了巨大挑战。传统的无监督聚类方法往往无法捕捉时间序列数据的复杂特性。虽然基于深度学习的聚类方法效果较好,但存在表示学习不足以及聚类目标整合不畅的问题。为解决这些问题,我们提出了一种模糊集群感知对比聚类框架(FCACC),该框架能够同时优化表示学习与聚类过程。我们的方法引入了一种新的三视图数据增强策略,通过利用时间序列数据的多种特征来提升特征提取效果。此外,我们还提出了一种基于集群感知的硬负样本生成机制,该机制能够利用集群结构信息动态生成高质量负样本,从而提升模型的区分能力。通过结合模糊聚类,FCACC能够动态生成集群结构以引导对比学习过程,进而实现更精准的聚类。在40个基准数据集上的实验表明,FCACC的性能优于所选的九种基线方法,为无监督时间序列学习提供了一种有效的解决方案。源代码可在
https://github.com/Du-Team/FCACC处获取。
引言
随着传感器[1]的广泛使用以及物联网技术的进步,日常生活中由自动化设备产生的时间序列数据量急剧增加[2]。然而,对这些数据进行标注需要专业技能,并且需要大量资源投入,导致标记数据十分稀缺[3]。这一短缺现象限制了传统监督学习方法的有效性[4]。相比之下,作为强大的无监督学习技术,聚类方法[5]通过挖掘未标记时间序列数据中的隐藏模式,已成为一种 widely应用的替代方案[6]。
随着时间序列分析技术的发展[7],人们越来越倾向于将深度学习技术应用于时间序列聚类任务[8]。尤其是对比学习这种深度自监督学习范式,已被证明是捕捉数据内在模式的有效手段[9]。基于对比学习的时间序列聚类方法通过构建正负样本对,自动从原始时间序列数据中提取潜在特征[10]。与传统方法相比,这些方法在处理复杂、含噪声且长度较长的序列数据时表现出更优异的性能[11]。尽管取得了这些进展,现有方法仍然存在表示能力有限以及联合优化不足的问题。
首先,现有的对比学习方法大多采用单一的增强策略(例如,用于捕捉短期依赖关系的子序列裁剪[12],或用于识别长期模式的基于变换的方法[13]),从而导致特征捕捉不完整。
此外,传统方法将其他实例的增强结果视为负样本[14],并试图最大化锚点与负样本之间的距离。这会导致锚点与其他实例出现显著差异,可能与聚类目标相冲突。
再者,在表示学习与聚类的整合方面,当前的深度聚类方法将两者视为独立的组成部分,这增加了参数调优的复杂性,并导致优化目标出现不一致[15]。虽然有些方法通过将两者的损失函数相加来结合这些目标[10],但它们未能充分体现表示学习与聚类之间的内在联系。这种叠加式方法忽视了聚类信息在特征提取中的作用,以及特征表示在聚类过程中的反馈作用,从而限制了整体性能。
为解决上述问题,本文提出了一种名为FCACC的模糊集群感知对比聚类框架,用于时间序列处理。在表示学习阶段,我们提出了一种基于多裁剪和扰动的三视图数据增强策略,以全面捕捉时间序列的特征。此外,我们还基于集群感知生成模块提出了两种策略,用于生成硬负样本以及选择正负样本对,从而获得更有利于聚类的特征表示。在聚类阶段,我们采用了模糊C均值算法,该算法能更好地处理时间序列数据的复杂结构。最后,我们设计了表示学习与聚类的联合优化机制。我们将FCM算法产生的模糊隶属度值纳入集群感知生成模块,利用集群结构信息指导对比学习中的正负样本选择,从而确保同一簇内的样本具有更为相似的特征表示,进一步优化聚类结果。这一机制实现了基于FCM的聚类结果与对比学习特征表示之间的迭代改进。综上,本研究的主要贡献如下:
- •
我们提出了一种基于多裁剪和扰动的三视图数据增强策略,充分利用时间序列的多种特征,提升了模型的特征提取能力。
- •
我们提出了基于集群感知的对比学习方法,利用FCM算法生成的模糊隶属度值动态调整样本选择,从而实现特征优化与集群结构优化的同步进行,有助于生成更有利于聚类的特征表示。
- •
我们设计了一种基于集群感知的硬负样本生成策略,用于构建高质量负样本,进一步提升模型的区分能力。
章节节选
相关工作
在本节中,我们回顾了时间序列的对比学习算法,以及与本研究密切相关的深度时间序列聚类方法。
问题定义
无监督时间序列聚类问题可形式化表述如下:给定一个包含个时间序列的数据集,,其中每个时间序列xi的长度为,我们的目标是根据这些时间序列的相似性将它们划分为K个簇。在聚类过程中,我们希望每个簇内的相似度尽可能高,同时不同簇之间要有明显的区别。这一过程无需任何标签信息,属于无监督学习范畴
数据集与评估指标
为验证所提模型的有效性,我们在UCR1时间序列数据集[33]中的40个数据集上进行了实验。聚类性能通过两种常用的指标进行评估:归一化互信息(NMI)[34]和兰德指数(RI)[35]。这些指标在时间序列聚类领域被广泛应用,能够全面反映模型的聚类性能。
结论
本文提出了一种模糊集群感知对比聚类方法(FCACC),旨在同时优化时间序列数据的表示学习与聚类任务。FCACC通过三视图数据增强策略捕捉多样化的时间特征,采用基于集群感知的硬负样本生成策略提升模型的区分能力,并通过集群感知生成机制引导表示学习与聚类目标的联合优化
CRediT作者贡献说明
王 Congyu:撰写——初稿、软件实现、方法设计、概念构思。杜明静:撰写——初稿、项目管理、资金筹措。江翔:撰写——审稿与编辑、可视化处理、结果验证。董永权:监督工作。
利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。
致谢
本研究得到了中国江苏省青蓝工程、国家自然科学基金(编号为62006104和62577036)以及江苏师范大学研究生科研实践创新计划(编号为2024XKT2583)的支持。