具有错误边剪枝和抗平滑机制的任务自适应稀疏图结构学习

《Neural Networks》:Task-Adaptive Sparse Graph Structure Learning with Error-Edge Pruning and Anti-Smoothing Mechanism

【字体: 大 中 小 】 时间:2026年03月19日 来源:Neural Networks 6.3

编辑推荐:

  针对图结构学习(GSL)在节点变异任务中表现不足的问题,本文提出自适应稀疏图结构学习(ASGSL),通过轻量级门控机制、理论保证的递增剪枝正则化项及约束邻域搜索策略,系统性地去除错误边并抑制过平滑现象,在农业、金融、环境监测和生物医学等领域验证了有效性。

  
袁亮侃|姚虎|张莉
贵州大学数学与统计学院,贵州贵阳,550025,中国

摘要

图结构学习(GSL)通过优化图拓扑结构来增强节点表示能力。本研究揭示了一个关键限制:尽管GSL在图结构保持静态的节点不变任务中表现优异,但在需要结构适应的节点变体任务中却始终表现不佳。为了解决这个问题,我们提出了自适应稀疏图结构学习(ASGSL)。ASGSL引入了三种互补的错误边剪枝策略:一种轻量级的门控机制、一种新型的稀疏性诱导正则化方法(该方法可保证按升序进行剪枝),以及一种受限邻域搜索算法。此外,我们还设计了两种抗平滑技术,有效缓解了节点相似性急剧上升的恶性循环。在节点不变和节点变体任务上的实验表明,经过ASGSL优化的图神经网络(GNN)显著优于基线模型。值得注意的是,抗平滑机制在32层深度GNN中仍能保持稳健的性能,显著减轻了过度平滑带来的性能下降。代码和数据可在以下链接获取:https://github.com/kanyuanliang/ASGSL

引言

图神经网络(GNN)有广泛的应用,包括推荐系统(Sheng等人,2023年)、交通预测(Liu等人,2024年)、自然语言处理(Wu等人,2023年)和蛋白质预测(Gao等人,2023年)。GNN基于图结构聚合相邻节点的特征,该结构描述了节点之间的复杂多对多关系。
在一个包含N个节点的图中,每个节点可能与其他节点相连,也可能不相连,这些连接称为边。无权邻接矩阵A∈RN×N定义如下:Ai,j=0表示节点vj与节点vi之间没有边;而Ai,j=1表示存在这样的边。此外,Aii=1表示添加了自环。
原始的图结构可能无法使GNN达到最佳性能,尤其是在邻接矩阵是手动配置的情况下。这种手动过程往往会导致遗漏对任务至关重要的边,同时包含多余的边。
一些深度学习模型(如Transformer Vaswani,2017年)没有考虑图结构,假设所有节点都是完全连接的。然而,由于图结构数据通常包含大量噪声,这些方法可能导致模型输入中的噪声过多,从而降低模型的表达能力。
图结构学习(GSL)旨在同时优化图结构及其对应的表示(Zhu, Xu, Zhang, Du, Zhang, Liu, Yang, & Wu, Zhu, Xu, Zhang, Liu, Wu, & Wang)。一些GSL方法使用L2和L1正则化来压缩权重,L1范数也有助于促进稀疏性(Tibshirani,1996年)。其他GSL方法设置一个阈值,迭代地移除低于该阈值的边,从而得到一个稀疏的邻接矩阵。然而,由于阈值函数的不连续性,这种方法可能导致模型在训练过程中陷入局部最优解,难以发现理想的图结构。
ASGSL采用了一种新颖的稀疏正则化项,优先移除权重较低的边,同时保留权重较高或与任务相关的连接。这一特性的理论依据在3.3节中给出。所提出的正则化项是连续可微的,从而避免了模型训练过程中的局部最优解。尽管L1范数也鼓励稀疏性,但它不会以渐进的方式系统地移除边。
本研究将节点分类任务分为节点不变任务和节点变体任务。我们对八种GSL模型和十四种GNN模型进行了比较实验,评估了它们在节点不变和节点变体分类任务上的性能。我们发现,GSL模型在节点不变任务中的表现优于标准GNN模型,而在节点变体任务中则表现较差。这是因为在节点不变任务中,标准GNN模型忽略了某些与任务相关的边,而GSL模型会自适应地搜索邻接矩阵。在节点变体任务中,GSL的搜索算法会在测试集中引入不必要的节点连接。我们为节点不变和节点变体任务设计了不同的模型。
本文还确定了过度平滑的主要原因是外层节点之间的相似性迅速增加以及感受野过度重叠的恶性循环。此外,我们提出了两种策略来缓解过度平滑问题。
本文的主要贡献总结如下:首先,我们正式将节点分类任务分为节点变体任务和节点不变分类子任务,并为它们各自的特点设计了不同的边搜索模块。其次,我们提出了多种错误的边剪枝策略,包括新型的稀疏惩罚项、门控机制和受限邻域搜索策略。第三,我们引入了两种抗平滑技术:上述的惩罚项和使用浅层特征计算外层边权重的策略。
ASGSL在多个领域展示了潜力。在农业信息学中(Xu和Zhang,2021年),它利用错误边剪枝进行去噪和抗平滑,以保持田间的异质性,提高了作物产量预测的稳健性。在金融分析中(Jin, Xu, 2025a, Jin, Xu, 2025b; Xu,2019年),其节点变体模块能够动态适应交易网络的变化,而抗平滑机制保持了机构风险的独特性,适用于建模风险传播和市场联系。在环境监测中(Wang等人,2025年),节点不变模块捕获了固定传感器网络中的非局部依赖性。在生物医学中(Zhang等人,2025年),任务适应的图学习优化了蛋白质相互作用网络,错误边剪枝消除了假阳性连接,抗平滑保留了患者的临床异质性,有助于精准医疗。
在第3.1节中,我们详细描述了ASGSL。第3.2节提出了缓解过度平滑的策略。第3.3节讨论了正则化项的属性,而第3.4节比较和分析了L1和L2范数与所提出的正则化项。第4.1节列出了实验中使用的五个数据集。第4.2节将ASGSL优化的GNN模型与其他模型进行了比较。第4.3节验证了ASGSL可以显著缓解过度平滑问题。

节选

图神经网络

GNN利用相邻节点的特征迭代更新中心节点的特征(Wu等人,2020年)。它可以大致分为两类:谱图GNN(Atwood和Towsley,2016年;Defferrard等人,2016年;Feng等人,2022年;Kipf和Welling,2016年)和空间GNN(Sun等人,2023年)。大多数空间GNN可以分为以下两个模块。
h?il=aggregate(hj,?vj∈N(vi)hil+1=comine(hil,h?il)
在公式中,l表示第l层神经网络。函数aggregate

模型细节

ASGSL在保持GNN框架的同时优化节点连接。设基线GNN模型为f(X, A),ASGSL优化后的模型为f(X, A*)。
本文为节点不变和节点变体分类任务引入了专门的边搜索模块。这些任务定义如下:
数据集{X, Y, A}被分为训练集{Xtr, Ytr, Atr}和测试集{Xte, Yte, Ate}, 其中X表示输入,Y表示相应的标签。设Atr和Ate表示图邻接矩阵

数据集

本研究使用了五个图结构化数据集进行比较实验。英格兰流量数据和瑞士气象数据适用于节点不变分类任务,而Citeseer、Cora和Amazon-Photo适用于节点变体任务。
英格兰流量数据 英格兰高速公路流量数据(2023年):包括英国M25高速公路顺时针方向上的67个流量观测点,数据收集时间为2023年5月1日至5月31日

结论

邻接矩阵是模型超参数的一部分。手动设置节点连接关系对于特定任务来说是不够的,因为直观的边选择缺乏坚实的基础。这种手动过程往往包括无关的边,同时遗漏了关键的边,从而阻碍了GNN模型达到最佳性能。图结构学习通过优化图的边来增强图的表示能力和性能。
本文对节点进行了分类

未引用的引用

缺失的引用:算法1、算法2

CRediT作者贡献声明

袁亮侃:撰写 – 审稿与编辑,撰写 – 原始草稿,方法论。姚虎:撰写 – 审稿与编辑,资金获取。张莉:撰写 – 审稿与编辑。

利益冲突声明

作者们没有与本文内容相关的利益冲突需要声明。名单中的所有作者都对本文做出了贡献。

致谢

本工作得到了国家自然科学基金(12161016)和贵州省基础研究计划(自然科学)(编号QianKeHeJiChu-ZK[2024] YiBan082)的支持。本工作还得到了贵州人工智能与脑启发计算重点实验室的支持,我们对此表示感谢。同时,我们也感谢贵安超级计算中心的帮助,该中心由贵安新区科技创新产业发展有限公司运营。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号