SS-AdaMoE:面向图节点分类的具有全局结构先验的时空自适应专家混合模型

《Entropy》:SS-AdaMoE: Spatio-Spectral Adaptive Mixture of Experts with Global Structural Priors for Graph Node Classification Xilin Kang, Tianyue Yu, Letao Wang, Yutong Guo and Fengjun Zhang

【字体: 大 中 小 】 时间:2026年03月24日 来源:Entropy 2.1

编辑推荐:

  图神经网络(GNNs)已成为从图结构数据中学习表示的标准方法。虽然依赖消息传递机制的传统架构在同配性设置中表现出色,但它们本质上充当固定的低通滤波器。然而,这种平滑操作限制了它们泛化到异配图的能力,在异配图中,相连的节点通常表现出不同的标签,而高频信号对于区分

  
图神经网络(GNNs)已成为从图结构数据中学习表示的标准方法。虽然依赖消息传递机制的传统架构在同配性设置中表现出色,但它们本质上充当固定的低通滤波器。然而,这种平滑操作限制了它们泛化到异配图的能力,在异配图中,相连的节点通常表现出不同的标签,而高频信号对于区分至关重要。此外,现有的用于图的专家混合(MoE)方法通常存在局部视图路由问题,在专家选择过程中无法捕获全局结构上下文。为了解决这些挑战,本文提出了SS-AdaMoE,一种新颖的时空自适应专家混合框架,旨在实现跨多样化图模式的鲁棒节点分类。具体而言,构建了一个双域专家系统,将异构的空间聚合器与基于伯恩斯坦(Bernstein)多项式的可学习谱滤波器集成。这使得模型能够自适应地捕获任意频率响应——包括高通和带通信号——这些被标准GNNs所忽视。为了解决局部性偏差,引入了由线性图变换器增强的分层全局先验门控网络,确保专家选择受到局部节点特征和全局拓扑感知的共同指导。在涵盖同配性和异配性网络的五个基准数据集上进行了广泛的实验。结果表明,SS-AdaMoE始终优于基线,在Chameleon数据集上相对于最强的MoE基线实现了高达2.65%的准确率提升,在Roman-empire数据集上提升了1.41%,同时在Texas等异配性数据集上超过传统GCN架构的幅度超过28%。这些发现验证了可学习谱先验和全局门控的协同作用,有效地弥合了空间聚合和谱滤波之间的差距。
**一、研究背景与问题**
图神经网络(GNNs)已成为处理图结构数据的标准方法,在节点分类等任务上取得了显著成功。然而,传统的GNN架构(如图卷积网络GCN和图注意力网络GAT)主要基于消息传递机制,在同配性图(即相连节点标签相似)上表现良好,但在异配性图(即相连节点特征或标签不同)上泛化能力受限。其根本原因在于,标准的聚合操作相当于一个低通滤波器,会平滑掉对异配性节点区分至关重要的高频信号。研究人员通过实证分析发现,不同图数据集的谱能量分布存在根本差异。例如,同配性数据集Cora的大部分信号能量集中在低频段,而异配性数据集Squirrel的能量则主要分布在中高频段。这表明,单一的、通用的滤波策略无法同时处理同配性图所需的平滑操作和异配性图所需的锐化操作。因此,迫切需要一种能够自适应处理多样化图模式的方法。

近年来,专家混合(MoE)架构被引入图领域,旨在通过训练多个专家子模型和一个门控网络来动态分配输入数据。然而,现有的基于MoE的GNNs存在两个根本性局限:第一,缺乏可学习的谱自适应能力。现有方法要么仅在空间域操作(忽略谱特性),要么依赖固定的预定义滤波器,无法自适应地捕获真实世界图中复杂的、数据驱动的频率模式(如代表社区结构的带通信号)。第二,门控机制存在严重的短视问题。大多数现有的门控网络基于局部节点特征或有限的随机游走进行路由决策,缺乏对图拓扑的全局感知,难以确定节点在整个图上下文中的结构角色。此外,在图上训练MoE模型容易产生“专家坍塌”问题,即门控网络将所有节点简单地路由到单个专家,导致集成失效。

为了解决上述问题,本文发表在《Entropy》期刊上,提出了SS-AdaMoE框架,其核心贡献在于构建了一个双域专家系统和一个分层全局先验门控网络,旨在实现对多样化图模式的自适应处理,并克服现有方法的局限性。

**二、关键技术方法**
为开展研究,研究人员主要采用了以下几个关键技术方法:首先,构建了一个包含7个专家的**双域专家系统**,其中3个为基于伯恩斯坦多项式的**可学习谱专家**(低通、高通、带通),用于自适应捕获任意频率响应;另外4个为**空间专家**(GCN、GraphSAGE、GAT、JKNet),用于捕获局部拓扑语义。其次,设计了一个**分层全局先验门控网络**,它利用一个**线性图变换器**(Linear Graph Transformer)提取全局上下文信息,并结合结构特征(如中心性、聚类系数、局部同配性比率)来指导专家路由。第三,在优化过程中,引入了**专家级对比损失**和**负载平衡损失**等正则化项,以防止专家坍塌并确保专家多样性和负载均衡。所有实验在五个基准数据集(Cora, Texas, Chameleon, Actor, Roman-empire)上进行,这些数据集覆盖了从强同配性到强异配性的完整谱系。

**三、研究结果分析**
研究人员通过广泛的实验验证了SS-AdaMoE的有效性,主要结果如下:

**4.1. 实验设置**
实验在五个基准数据集上进行,包括Cora(同配性,h=0.81)、Texas(异配性,h=0.11)、Chameleon(中等异配性,h=0.23)、Actor(中等异配性,h=0.22)和Roman-empire(强异配性,h=0.05)。基线模型涵盖了GCN、MLP、HighPassGCN、ACMGCN、LINK、LSGNN、GloGNN、MoE-NP和Node-MoE等代表性方法。评估指标包括节点分类准确率和Macro-F1分数。

**4.2. 主要结果与对比分析**
SS-AdaMoE在所有数据集上均表现出优越的性能。在异配性数据集上提升尤为显著:在Texas上准确率达到83.05%,比GCN提升了28.31%;在Chameleon上达到73.45%,优于最强的MoE基线MoE-NP达2.65%;在Roman-empire上达到68.35%,优于所有基线。同时,在同配性数据集Cora上,SS-AdaMoE也取得了最佳准确率(88.26%),证明了其处理多样化图模式的鲁棒性。与MoE基线(Node-MoE和MoE-NP)的比较表明,SS-AdaMoE的双域设计和可学习谱滤波器提供了更优越的自适应性。

**4.3. 消融研究**
通过消融实验验证了关键组件的必要性。移除整个谱专家组在Texas上导致准确率下降8.55%,在Roman-empire上下降5.20%,证实了谱专家对处理异配性图的重要性。单独移除高通专家在Texas上导致6.85%的下降,凸显了其在保留高频信号中的关键作用。移除空间专家组在所有数据集上均导致性能下降,表明空间聚合提供了互补的局部拓扑信息。将门控网络中的图变换器替换为局部MLP(即移除全局上下文)在Texas和Roman-empire上均导致约3.30%的下降,证明了全局感知在路由决策中的价值。移除结构特征或使用固定的专家激活数量(Fixed K)也会导致性能下降。

**4.4. 机制分析**
对模型内部行为的可视化分析表明,训练过程中门控熵并未衰减至零,而是稳定在较高水平,证明对比损失和负载平衡损失有效地防止了专家坍塌,并保持了专家的多样性利用。此外,节点激活专家数量(K值)的分布显示,42.9%的节点仅激活一个专家,而23.0%的节点激活了三个专家,这表明模型学会了资源分配策略:对易于分类的节点节省计算,对模糊的边界节点投入更多计算资源。

**四、讨论与结论**
**5. 结论**
研究人员提出了SS-AdaMoE,一种新颖的专家混合框架,旨在解决图神经网络在处理多样化图模式时的自适应性问题。通过构建一个时空双域专家系统,成功地弥合了空间聚合和谱滤波之间的差距。具体而言,引入可学习的伯恩斯坦多项式滤波器使模型能够自适应地捕获对异配性图至关重要但被传统方法忽视的高频和带通信号。此外,分层全局先验门控网络(由复杂度为??(????2)的线性图变换器增强)解决了现有路由机制的短视问题,确保专家选择受到全局结构上下文和局部特征的双重指导。

在五个基准数据集上的广泛实验证明了该框架的优越性。SS-AdaMoE在Actor、Chameleon和Roman-empire上取得了所有对比方法中的最佳结果,在Texas上提供了具有竞争力的性能,同时在同配性引文网络上保持了鲁棒的准确性。精细的消融研究证实,可学习谱专家和全局门控之间的协同作用是这些性能增益的关键驱动因素,谱专家在强异配性图上贡献了高达8.55%的准确率提升。

**局限性与未来工作**
尽管取得了有希望的结果,本研究仍存在一定局限性。首先,尽管使用了线性注意力,门控网络的计算开销仍高于简单的基于MLP的路由器,这可能限制其在超大规模图(例如数百万节点)上的可扩展性。其次,当前的专家选择是在节点级别进行的;探索边级别或子图级别的路由可能提供更细的粒度。第三,本评估侧重于节点分类;扩展到链接预测和图分类是未来的工作。

在未来工作中,研究人员计划(1)研究稀疏注意力机制以进一步降低全局门控网络的复杂度;(2)将SS-AdaMoE框架扩展到归纳学习设置和其他图任务;(3)在更广泛的异配性基准上进行评估,包括近期文献中识别的模糊和恶性异配性类别。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号