模块化图卷积网络(Modularized Graph Convolutional Network, MGCN)

《IEEE/CAA Journal of Automatica Sinica》:Modularized Graph Convolutional Network

【字体: 大 中 小 】 时间:2026年04月03日 来源:IEEE/CAA Journal of Automatica Sinica 19.2

编辑推荐:

  编辑您好:本函提出一种新颖的图神经网络——模块化图卷积网络(Modularized Graph Convolution Network, MGCN),旨在解决图卷积网络(Graph Convolutional Network, GCN)中一个未被充分探讨的问题

  
编辑您好:本函提出一种新颖的图神经网络——模块化图卷积网络(Modularized Graph Convolution Network, MGCN),旨在解决图卷积网络(Graph Convolutional Network, GCN)中一个未被充分探讨的问题,即传统GCN中邻居聚合权重是固定的,导致其在捕获节点间多样化关系以进行表示学习方面能力有限。常规GCN依据图拉普拉斯算子(Laplacian)计算得到的固定权重来学习节点表示,因而忽略了节点特征之间的相似性与群体内聚性(group cohesiveness)。受此启发,研究人员设计的MGCN从两方面学习具有表达力的节点表示:第一,提出一种新颖的拉普拉斯算子(Laplacian operator)来生成特征聚合权重,可自适应捕获节点间的特征相似性(feature similarity);第二,基于模块度优化(modularity optimization)[1],设计一种新颖的辅助损失(auxiliary loss),使特征聚合权重能够捕获图的簇结构(cluster structure)。因此,MGCN可通过利用模块化消息(modularized messages)——即主要聚合同一簇内邻居的特征——来学习图中各节点的具有表达力的表示。研究人员在多个标准数据集上对MGCN进行了测试,并与强基准GCN模型进行了比较,实验结果表明MGCN在各种下游任务中更为有效。
论文解读:Modularized Graph Convolution Network(MGCN)——基于模块度优化的图卷积网络
《IEEE/CAA Journal of Automatica Sinica》刊载的该文由研究人员提出一种融合图聚类结构信息的新型图神经网络——模块化图卷积网络(Modularized Graph Convolution Network, MGCN),以解决传统图卷积网络(Graph Convolutional Network, GCN)使用固定图拉普拉斯(Laplacian)权重进行邻居聚合、忽略节点特征相似性与潜在簇结构从而导致表示学习能力受限的问题。现有GCN及多数GCN衍生模型(如GraphSAGE、SGC)采用由邻接矩阵导出的固定归一化权重进行消息传递,虽简单高效但无法自适应反映异质节点关系;而图注意力网络(Graph Attention Network, GAT)虽引入基于特征的注意力机制获得自适应权重,也未显式建模图的群落(cluster/community)结构信息。研究人员假设:利用聚类信息生成自适应邻居聚合权重可增强GCN在半监督学习任务中的表现。为此,研究人员提出MGCN,通过设计可感知特征相似性的新型拉普拉斯算子,并引入源于模块度(modularity)优化的辅助聚类损失(auxiliary clustering loss / modularity loss),促使模型在特征学习中强化同簇节点的相关性,从而主要聚合同簇邻居特征以得到更优节点表示。实验证明MGCN在多个真实图数据集的节点分类与聚类任务上优于主流GCN基线。该研究将谱图理论中的模块度优化思想与图神经网络结合,为利用图隐含社区结构提升表示学习提供了新思路。
主要关键技术方法
研究人员针对无向图G=(V,E),定义邻接矩阵A与节点特征矩阵H,提出两个核心改进:(1) 设计含可学习参数向量α的特征相似度函数δ(hi, hj)=1/(1+exp{-(hi×(α⊙hj)T)})),将原邻接元素aij修正为aij=aij×δ(hi,hj)/√(Σk∈Niδ(hi,hk)·Σk∈Njδ(hj,hk)),形成自适应重加权邻接矩阵?,据此进行层间消息传递 Houti=σ(Σj∈Niaijhj) 并经线性投影;(2) 将模块度最大化问题 Q=1/(2m) Σi,j(aij-didj/(2m)) hihjT经拉格朗日乘子法与KKT(Karush-Kuhn-Tucker)条件推导,等价于求解归一化拉普拉斯矩阵 L 的特征值问题 L xi=βixi,进而构造每层轻量级辅助损失 LlQ=(1/n) tr(XTL X),其中 X=D H(D为度矩阵开方的逆对角矩阵),总损失函数为 L=λ ΣlLlQ+ LT(LT为任务损失如二分类交叉熵)。MGCN采用两层网络结构,超参数λ控制模块度损失权重,通过反向传播端到端训练。
研究结果
Related Work
综述表明,现有消息传递型GNN多依赖固定权重(GCN系列)或仅基于特征的注意力(GAT系列、CATs、DCAT),均未在训练过程中显式捕获图聚类信息;UGNN等虽加入去噪损失但未涉及模块度,MGCN首次将模块度优化作为GNN的辅助损失融入层间表示学习。
Problem Statement
基于同质性假设(homophily theory)——相似特征节点倾向相连并形成簇结构——研究人员指出GCN未利用此性质。MGCN每层先计算特征相关性驱动的自适应聚合权重,再通过模块度辅助损失使同簇节点特征更相关,引导表示学习偏向聚合强内聚性(intra-cluster cohesiveness)邻居特征。
Notations
明确研究对象为无向图G=(V,E),n个节点,m条边,邻接矩阵A∈{0,1}n×n,特征矩阵H∈Rn×f,hi为第i节点特征向量,di为节点度。
(公式推导部分——即原文Problem Statement后续至辅助损失给出前)
研究人员定义特征相似度δ(hi,hj)含可学习参数α,以Sigmoid激活的内积形式衡量;由原始邻接aij乘δ再作对称归一化得aij∈?(式1),实现结构+特征双驱动的重加权。节点表示更新如式2:先线性投影后按aij加权求和并激活。为注入簇结构信息,将Newman模块度Q中节点所属簇判定替换为特征内积hihjT,建立带约束的最大化Q问题(式3)。直接优化O(n2)不可行,构造拉格朗日函数L(式4),据KKT条件令?L/?hi=0得 Σjbijhj- (1-βi)dihi= 0(式5,其中bij=aij-didj/(2m))。对i求和化简并结合Σiaij=dj、Σidi/(2m)=1可得约束退化为Σjaijhj=(1-βi)dihi(式8)。令xi=di-1/2hi,代入整理得 L xi=βixi(式9,L为归一化拉普拉斯矩阵 L=I-D-1/2A D-1/2),此为特征值分解问题,其解等价于最小化迹 tr(XTL X)(式10,X=D1/2H且XTX=I)。最终每层的模块度辅助损失定义为 LlQ=(1/n) tr(XTL X),X=D H(式11)。总损失 L=λ ΣlLlQ+ LT(式12,λ为超参数,LT为交叉熵等任务损失)。
Datasets, Baselines, and Experimental Settings
选用Cora、Citeseer、PubMed、CoauthorCS、Flickr、BBCsport六个数据集;对比基线含GCN、GCNII、Deep Graph Infomax(DGI)、GraphSAGE、JKNet、APPNP、SGC、UGNN;MGCN设两层隐层维度32、Dropout 0.6、λ=1.0,Adam优化器(lr=0.01, weight_decay=5e-4),各实验重复10次取均值。
Results and Analysis
在半监督节点分类与聚类任务上,MGCN在Accuracy(Acc)与F1-Score指标上总体显著优于所有GCN基线(CoauthorCS聚类F1-Score为次优)。例如在CoauthorCS分类任务上较第二名分别提升3.82%(Acc)和6.76%(F1-Score);Flickr数据集分类与聚类F1-Score较第二名(DGI)分别提升23.02%和17.63%。研究表明:在高模块度(modularity)图上,所提辅助聚类损失使MGCN优先聚合同簇邻居特征,带来显著性能增益。λ敏感性实验显示λ∈(0,1]区间内性能随λ增大而提升,建议高模块度图设较大λ(实验中取1.0),低模块度图适当调小。
Conclusion(研究结论翻译)
本函提出一种新颖的图神经网络——模块化图卷积网络(Modularized Graph Convolution Network, MGCN)。与现有GCN不同,MGCN采用新策略捕获邻居间由图结构诱导的特征相似性,并通过聚类损失对此相似性进行优化以获取图中组团层级(group-level)属性。借助由上述相似性导出的卷积权重,MGCN可自适应地聚合同一簇内邻居特征以生成节点表示。在若干真实图数据集上的实证研究表明,相较于强GCN基线,MGCN在半监督学习任务中具有优越性。未来研究人员将进一步通过设计新损失函数提升MGCN泛化能力,开发新网络架构以适应多样学习任务,并探索更好处理图数据高维特征的新策略。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号