Mamba-GTC:利用状态空间建模的跨视图对比学习方法,用于异构图的表示

《Knowledge-Based Systems》:Mamba-GTC: Cross-View Contrastive Learning with State Space Modeling for Heterogeneous Graph Representation

【字体: 大 中 小 】 时间:2025年12月27日 来源:Knowledge-Based Systems 7.6

编辑推荐:

  针对图神经网络(GNN)中过平滑问题对长程依赖建模的制约,本文提出Mamba-GTC框架,通过GNN分支捕获局部拓扑特征,Mamba分支建模长程依赖的跳演化序列,结合跨视图对比学习增强表示一致性。实验证明其在多个异构图数据集上优于SOTA方法。

  
Fanchao Meng|Shuo Zhao|Zhongwen Guo|Yujun Lan|Bo Pang
中国海洋大学计算机科学与技术系,山东省青岛市266100

摘要

图神经网络(GNNs)通过消息传递机制有效地聚合局部信息,在各种图相关任务中发挥着关键作用。然而,过度平滑问题继续对学习到的表示的区分能力产生不利影响。局部特征提取的不足和长序列场景中的特征稀释限制了GNNs模拟深层节点和捕获多跳邻居的能力,从而阻碍了模型从图数据中学习深层、高级信息的能力。在本文中,我们提出了一种新颖且高效的异构图对比学习框架,该框架结合了状态空间模型(SSMs),称为Mamba-GTC。一方面,GNN分支聚合邻居信息以捕获局部拓扑特征;另一方面,Mamba分支对基于跳的邻居序列进行建模以捕获长距离依赖关系。这两个分支的结合有效地捕获了图数据的强区分性局部特征和长距离依赖关系。此外,我们提出了一种增强的Hop2Token编码机制,通过构建跳演化序列来弥合图数据和序列建模之间的结构差距。为了提高表示的一致性,我们引入了一种跨视图对比学习目标机制,以自监督的方式将GNN的局部结构视图与Mamba的全局语义视图对齐。在多个权威的异构图数据集上的实验表明,Mamba-GTC在多个指标上优于现有的最先进方法,证明了其在大规模图节点分类任务中的有效性。

引言

基于图的表示学习[1]、[2]由于其能够同时捕获节点的结构和属性信息,并在模拟它们之间的复杂依赖关系方面表现出色,已被广泛应用于社交网络[3]、引文网络[4]、推荐系统[5]、[6]和知识图谱[7]的构建中。作为主流框架,GNNs利用基于邻域的消息传递机制来共同建模结构和属性信息,在节点分类、链接预测和图匹配[8]、[9]、[10]等任务中取得了显著改进。然而,传统的GNNs主要依赖于局部聚合,其表达能力本质上受到网络深度的限制[11]。
如图1所示,假设选择三个核心节点作为生成带属性图的计算图的起点。可以看出,随着跳数的增加,计算图的相似区域逐渐扩大。经过3次跳后,这三个核心节点生成的计算图高度重叠。这表明节点表示逐渐合并,严重限制了模型捕获图数据的局部区分特征的能力。此外,局部特征提取的不足进一步限制了模型捕获和学习数据中长距离依赖关系的能力。
为了解决过度平滑的限制[12],最近的研究探索了多种策略来减轻其对图相关任务的不利影响,例如增强节点表示[13]、量化图相似性[14]和生成可学习的元路径[15]。在这些方法中,基于Transformer的模型受到了相当多的关注。利用多头自注意力机制,它们有效地捕获了节点之间的非局部依赖关系,从而增强了全局上下文建模的能力。然而,由于基于Transformer的模型依赖自注意力来捕获长距离依赖关系,随着序列长度的增加,注意力权重在整个序列中变得稀释,导致关键信号消失。这个问题在多跳或异构图邻域中尤为明显。此外,自注意力的二次计算复杂性给大规模图带来了可扩展性挑战。
本文要解决的核心问题已经明确界定:
如何在长序列场景中有效捕获局部节点表示的高价值区分特征,同时避免关键特征信号的稀释,从而有效对抗过度平滑问题,并实现大规模图中的高效节点分类。
为了解决这个问题,我们提出了一种新颖且高效的异构图建模框架,名为Mamba GNN-Transformer Co-contrastive(Mamba-GTC)框架。一方面,Mamba-GTC通过GNN分支聚合来自不同邻居的信息以捕获局部拓扑特征,从而增强框架提取区分特征的能力;另一方面,Mamba[16]分支对基于跳的邻居序列进行结构化序列建模。关键的是,我们认为k跳和(k+1)跳邻居之间的关系不仅仅是无序的聚合,而是一种层次化和方向性的信息流动。通过将图拓扑转换为基于跳距离的有序序列,我们引入了强烈的结构归纳偏差。这使得Mamba中的状态空间模型(SSM)能够捕获来自较近邻居(例如1到k-1跳)的上下文如何逐步影响来自更远邻居(k跳)的信息解释——这对于像自注意力这样的排列不变机制来说是具有挑战性的。因此,这种方法有效地捕获了长序列中的长距离依赖关系和全局语义,同时提高了框架的稳定性并防止了关键特征的过度稀释。
考虑到图结构和序列之间的固有几何差异——如稀疏邻接性、异构节点度数和无序邻居模式——我们提出了一种增强的Hop2Token[17]编码机制,将多跳异构邻域转换为结构化的跳演化序列,便于在类欧几里得序列空间中进行有效的基于状态的建模[18]。
为了进一步整合两个分支的优势,我们引入了一种跨视图对比学习目标机制,采用与[19]相同的策略,以自监督的方式将GNN的局部结构视图与Mamba的全局语义视图对齐。通过充分利用Mamba的线性时间复杂性和其强大的长序列建模能力,这种方法有效地增强了Mamba-GTC的鲁棒性和提取强区分特征的能力。
本文的贡献可以总结如下:
  • •
    我们提出了Mamba-GTC,这是一种新颖的框架,它通过利用状态空间模型为异构图引入了一种自监督的双视图对比学习范式。该框架创新地将来自两个根本不同结构域的表示对齐:一个是由GNN捕获的局部、无序的基于集合的视图,另一个是由Mamba捕获的全局、有序的基于序列的视图。
  • •
    我们提出了一种增强的Hop2Token编码机制,通过构建跳演化序列来弥合图数据和序列建模之间的结构差距,从而实现有效的基于状态的建模。
  • •
    在多个权威的真实世界异构图数据集上的广泛实验和分析表明,Mamba-GTC在准确性和效率方面均优于现有的最先进方法。
  • 本文的其余部分组织如下:第2节描述了相关工作。第3节介绍了本文的预备知识。第4节介绍了我们提出的方法。第5节展示了数据集并分析了方法性能。第6节给出了结论。

    节选

    GNN中的过度平滑

    大多数GNN依赖于消息传递框架来实现拓扑感知的表示和信息融合,其核心是消息聚合和转换[20]。然而,随着网络层数的增加,GNN容易受到过度平滑问题的影响,不同节点的表示变得无法区分,从而降低了它们的区分能力[21]。这是因为重复的消息聚合导致节点表示收敛,限制了

    预备知识

    在本节中,我们介绍了Mamba-GTC框架设计所必需的预备知识,包括异构图、元路径和基于Mamba的结构化序列建模。

    提出的方法

    Mamba-GTC的核心理念在于其跨模态对比对齐。与之前的对比框架(例如GTC)不同,后者仅在同一图拓扑的两个增强视图之间构建目标,我们的方法在来自不同结构模态的表示之间制定了对比信号。具体来说,GNN分支处理原始的无序、基于集合的图结构,而Mamba分支则处理有序的

    实验设置

    为了评估我们提出的Mamba-GTC框架的有效性,我们在几个广泛使用的异构图基准数据集上进行了实验,包括ACM [53]、DBLP [54]、Freebase [55]和Academic [56]:
    ACM:一个以计算机科学领域为中心的引文网络,包含论文和作者等实体,以及论文引用和作者出版物等关系。
    DBLP:一个计算机科学文献数据库的子集,包含多种类型的

    结论与未来工作

    在本文中,我们提出了Mamba-GTC,它将SSM集成到异构图学习中。Mamba-GTC采用了双分支架构:一个GNN分支捕获局部结构信息,另一个Mamba分支通过Hop2Token编码建模长距离语义,将多跳邻域转换为令牌序列。跨视图对比学习目标以自监督的方式对齐这两个分支。
    基于在四个广泛使用的基准数据集上进行的实验

    CRediT作者贡献声明

    Fanchao Meng:写作——审稿与编辑,方法论,概念化。Shuo Zhao:写作——审稿与编辑。Zhongwen Guo:监督,资源获取,资金获取。Yujun Lan:可视化。Bo Pang:写作——原始草稿。

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。

    致谢

    本工作得到了中国国家重点研发计划(编号2024YFB3309901)的支持。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号