超越同质性假设:通过图神经网络挖掘时间序列中的复杂相关性
《Patient Education and Counseling》:Beyond the Homophily Assumption: Mining Complex Correlations in Time Series via Graph Neural Network
【字体:
大
中
小
】
时间:2026年03月10日
来源:Patient Education and Counseling 3.1
编辑推荐:
一迪|王富金|志斋|赵志斌|陈学峰
中国西安交通大学航空航天动力系统与等离子体技术国家重点实验室,西安710049
摘要
时空图神经网络(STGNNs)是有效挖掘多变量时间序列(MTS)中时空相关性的工具。然而,近年来,其发展遇到了瓶颈,在复杂相关多传感器系统(CC
一迪|王富金|志斋|赵志斌|陈学峰
中国西安交通大学航空航天动力系统与等离子体技术国家重点实验室,西安710049
摘要
时空图神经网络(STGNNs)是有效挖掘多变量时间序列(MTS)中时空相关性的工具。然而,近年来,其发展遇到了瓶颈,在复杂相关多传感器系统(CCMS)中的表现令人失望。我们进行了全面分析,发现问题的核心在于CCMS不符合同质性假设,而现有STGNN中使用的大多数GNN模块都是基于这一假设开发的。为了解决这个问题,本文提出了一种新的空间信息挖掘范式:针对CCMS的基于图的空间信息挖掘范式(CCMS-GSIMP)。它包括三个部分:特定的数据预处理、新的图结构构建方法和创新的图卷积方法。首先,在数据预处理阶段,为了提取相关子组件并简化非线性相关性的捕捉,需要采用多尺度分解。接下来,在图结构构建阶段,为了评估线性和非线性相关性的强度,我们引入了最大信息系数(MIC)指标。最后,在复杂相关性捕捉阶段,理论上提出了一种新的基于图的复杂相关性捕捉网络(G3CN)。此外,本文还在合成数据和真实世界数据集上进行了性能评估和消融研究。讨论部分探讨了一些前沿假设,如过度平滑和空间不可区分性。我们的数据和代码可在https://github.com/DiYi1999/G3CN获取。
引言
多变量时间序列(MTS)在各个领域都非常普遍,如高端设备、城市交通、物联网、能源、智慧城市、医疗诊断、IT系统监控和金融统计分析。当前领域已经建立了用于挖掘时间相关性的综合框架。许多基于卷积神经网络(CNNs)、循环神经网络(RNNs)和Transformer模型的方法被开发出来,以有效捕捉趋势、季节性和周期性特征。它们深入探讨并解决了非平稳性、周期性和随机性等挑战。
近年来,为了全面分析MTS,研究人员开始关注另一个关键信息路径:空间相关性,也称为跨维度依赖性。实际上,大多数MTS本质上是时空性的,这意味着它不仅包含时间信息,还包括时间序列之间的复杂相互作用[1]。例如,交通系统中相邻交通传感器变量之间的相关性、电力系统中电压和功率等传感器之间的物理先验相关性[2]、天气预报系统中天气与温度/湿度之间的相关性[3],以及控制系统中控制变量与被控变量之间的逻辑相关性[4]。这种空间相关性是许多动态系统的共同特征,是MTS中重要的信息来源。有效建模这些复杂的空间相关性是实现预测、异常检测、分类和插值等智能算法高准确性的关键。
尽管仍需进一步深入探索,但图神经网络(GNNs)在最近的研究中已成为挖掘空间相关性的高效方法。与基于卷积神经网络(CNNs)和注意力机制的方法相比,GNNs提供了对自然界中对象及其关系的更自然抽象。许多由不同类型交互组件组成的真实世界系统可以抽象为图结构。(详见第3.1节。)这种学习非欧几里得数据表示的强大工具为建模真实世界时间序列数据铺平了道路。将GNNs与某些时间相关性捕捉模块结合使用,旨在同时捕捉空间和时间相关性,称为时空图神经网络(STGNNs),并在许多MTS任务上展示了令人鼓舞的结果。
然而,随着研究的进展和应用场景的不断扩展,我们注意到一些事实:STGNNs在MTS中最广泛的应用场景是在交通系统中,它们确实在交通流量预测等任务中表现出色[5]。然而,其优异性能似乎仅限于具有相似特征的某些系统,我们将其称为简单相关多传感器系统(SCMS)(详见第3.2节),例如大多数交通系统、公共安全系统和一些医疗诊断系统。大多数STGNN研究集中在交通场景上,或使用交通数据集作为评估STGNN性能的基准。当当前的STGNN应用于复杂相关多传感器系统(CCMS),如大多数电力系统、天气系统和高端设备的物理系统(详见第3.2节)时,获得满意的结果总是具有挑战性,这导致一些研究人员质疑STGNN的必要性[6]。确实,一些最近的研究开始探索解决传统STGNN局限性的替代方法[7]。我们认为这个问题需要紧急关注。
分析这个问题的关键在于CCMS不符合同质性假设,而SCMS符合这一假设。同质性假设指的是传感器倾向于与其他连接的传感器“相似”或“相像”的现象(详见第3.1节)。然而,现有的STGNN大多基于同质性假设开发,它们使用的标准GNN空间信息捕捉模块无法适应CCMS中传感器之间的复杂非线性相关函数。我们总结了分析结果和预期解决方案,如图1所示:
我们的发现:
(1)从全局趋势来看,SCMS符合同质性假设,传感器之间的相关性总是线性的。相比之下,CCMS不符合同质性假设,传感器之间的相关性总是非线性的(详见第3.2节)。
(2)现有的STGNN基于同质性假设(GNN的关系归纳偏差)。因此,它们在处理CCMS的MTS任务时效果不佳(详见第2节和第3.3节)。
(3)在SCMS中,图结构中的边表示线性相关性(相似性)。而在CCMS中,边总是表示非线性相关性(复杂相关性)。为处理“相似性”场景而设计的现有STGNN可能没有足够的能力来处理“复杂相关性”。在SCMS中,“相似性”意味着线性信息聚合就足够了,而在CCMS中,“复杂相关性”表明需要拟合复杂的非线性物理先验相关函数。
挑战:
具体来说,现有STGNN在处理CCMS中的MTS任务时面临的挑战包括:
(1)在数据预处理阶段,我们发现直接建模时间序列之间的相关性很困难,如果没有正确的预处理,容易引入噪声子组件。
(2)在图结构构建阶段,我们发现最常用的基于距离和相似性的指标(如皮尔逊相关系数和余弦相似度)通常仅限于测量线性相关性。然而,在CCMS中,传感器之间的相关性是非线性的。
(3)在复杂相关性捕捉阶段,我们发现标准GNN(如GCN和GAT)无法捕捉复杂的非线性相关性。
我们的解决方案:
为了解决上述问题,我们提出了一种新的空间信息提取范式,称为CCMS-GSIMP(针对CCMS的基于图的空间信息挖掘范式),它包括三个部分:特定的数据预处理、新的图结构构建方法和创新的复杂相关性捕捉方法。
(1)数据预处理:为了提取时间序列中的相关子组件并简化复杂的非线性相关性,我们引入了多尺度分解,例如小波包分解(WPD)。
(2)图结构构建:为了构建真正反映多样化的线性和非线性相关性的图结构,我们引入了最大信息系数(MIC)作为相关性测量指标,以替代传统的欧几里得距离或余弦相似度。
(3)复杂相关性捕捉方法:为了有效处理CCMS MTS任务中的各种复杂相关性,而不受同质性假设的限制,我们设计了一种新的基于图的复杂相关性捕捉网络G3CN,专门针对CCMS。
我们的贡献:
本文的主要贡献可以总结如下:
•我们发现将STGNN扩展到CCMS的关键瓶颈在于克服同质性假设。为了解决这个问题,我们提出了一种新的空间信息挖掘范式:CCMS-GSIMP,它包括特定的数据预处理、新的图结构构建方法和创新的复杂相关性捕捉方法。
•针对直接建模困难和噪声子组件的挑战,为了提取相关子组件,并将难以捕捉的复杂非线性相关性转化为更简单的非线性相关性,以便于处理,数据预处理阶段需要采用多尺度分解,本文使用了WPD。
•针对不适当的相关性测量指标问题,为了在图结构构建阶段准确测量线性和非线性相关性的强度,我们在邻接矩阵计算方法中引入了MIC。
•针对标准GNN无法捕捉复杂非线性相关性的问题,为了从根本上克服同质性假设带来的限制,我们设计了一种新的基于图的复杂相关性捕捉方法G3CN,能够拟合各种复杂的非线性相关函数。其近似能力已通过理论推导和实验得到证明。
章节片段
为了明确深入理解STGNN,我们整理并分析了一些顶级会议和期刊中现有经典模型的神经架构,如表1所示。
总之,STGNN的关键方面在于开发用于捕捉时间相关性的时间模块、用于捕捉空间相关性的空间模块以及用于融合时间和空间模块的融合架构。
图和同质性
图是一种由节点和边组成的非欧几里得数据结构,是表示和分析对象或实体之间复杂关系的强大工具。如图2(a)所示,在这项工作中,节点代表传感器,边代表这些传感器之间的相关性。
图的同质性基于这些连接节点之间的相似性定义。在同质性假设下,当我们用边连接两个节点时,表示这些节点是“相似”的。
方法论
为了解决CCMS中同质性假设的违反问题,我们从预处理(第4.1节)到图结构构建(第4.2节)和相关性捕捉方法(第4.3节)重新设计了新的空间信息挖掘范式:CCMS-GSIMP。
G3CN提取复杂非线性相关性的能力证明
引理5.1
设{X∈RN×T, A∈RN×N}是一个具有N个节点的时间序列图。Xi∈RT是节点i的时间序列,A是该图的邻接矩阵。设fi(·)表示节点i与其邻居节点之间的相关性,即X?i=fi({Xj,j∈Ni}),其中Ni表示节点i的连接节点(如果Aij=1,则j∈Ni),X?表示预期输出。设σ(·)是一个非线性激活函数。对于该图中节点之间的任何相关函数f1(·), fi(·),…, fN(·)以及任何ζ
三个非线性合成数据集和实验设计
为了验证我们的观点和提出的G3CN的性能,创建了三个非线性合成数据集,包括非线性函数相关性合成数据集、6D超混沌系统数据集和摆锤系统数据集。非线性函数相关性合成数据集如表2所示,包含多种典型的非线性相关元素。6D超混沌系统数据集由以下常微分方程(ODEs)Eq. (15)建模。
在MTS分析和STGNN领域,广泛使用的基线数据集包括:ETTh1、ETTh2、ETTm1、ETTm2、Weather、Exchange、METR-LA、PEMS-BAY、PEMS03、PEMS04、PEMS07、PEMS08。它们的数据源场景如下:电力、电力、电力、电力、天气、汇率、交通、交通、交通、交通和交通。一个常见的观察是,许多现有的STGNN倾向于仅使用后六个数据集作为基准数据集。这是因为许多现有的STGNN倾向于只使用这些数据集。
关于神经元数量的讨论
首先必须声明,本节中讨论的“神经元数量”对应于第3.3节中提到的“隐藏层神经元”的概念,指的是多层GCN的层数、多头GAT的头部数量以及G3CN的阶数。我们的实验结果如图9所示,从中可以看出:(1)多层GCNs和多头GATs受到神经元数量的限制。当神经元数量较少时,它们的建模效果会受到影响。
结论
本研究的主要贡献和结论在于指出了CCMS不符合同质性假设的问题,而现有的STGNN中使用的大多数GNN模块都是基于这一假设开发的。所提出的CCMS-GSIMP范式的主要优势在于其全面的解决方案,通过预处理、图构建和图卷积来应对这一挑战,提供了一个完整的工作流程来解决该问题。G3CN也是我们的主要研究成果之一。
附录
附录可以在期刊的补充材料页面上找到,或者通过链接https://github.com/DiYi1999/G3CN.CRediT获取。
作者贡献声明
Di Yi:撰写——原始草稿、可视化、验证、方法论、概念化。
Fujin Wang:撰写——审稿与编辑、资金筹集。
Zhi Zhai:撰写——审稿与编辑、监督、资源提供、项目管理、资金筹集。
Zhibin Zhao:撰写——审稿与编辑、监督、资源提供、项目管理、资金筹集。
Xuefeng Chen:监督、资源提供、项目管理、资金筹集。
利益冲突声明
作者声明他们没有已知的财务利益冲突或个人关系可能影响本文所述的工作。
致谢
本研究部分得到了中国国家自然科学基金(项目编号52475128和U22B2013)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号