图神经网络(GNN)有广泛的应用,包括推荐系统(Sheng等人,2023年)、交通预测(Liu等人,2024年)、自然语言处理(Wu等人,2023年)和蛋白质预测(Gao等人,2023年)。GNN基于图结构聚合相邻节点的特征,该结构描述了节点之间的复杂多对多关系。
在一个包含N个节点的图中,每个节点可能与其他节点相连,也可能不相连,这些连接称为边。无权邻接矩阵
原始的图结构可能无法使GNN达到最佳性能,尤其是在邻接矩阵是手动配置的情况下。这种手动过程往往会导致遗漏对任务至关重要的边,同时包含多余的边。
一些深度学习模型(如Transformer Vaswani,2017年)没有考虑图结构,假设所有节点都是完全连接的。然而,由于图结构数据通常包含大量噪声,这些方法可能导致模型输入中的噪声过多,从而降低模型的表达能力。
图结构学习(GSL)旨在同时优化图结构及其对应的表示(Zhu, Xu, Zhang, Du, Zhang, Liu, Yang, & Wu, Zhu, Xu, Zhang, Liu, Wu, & Wang)。一些GSL方法使用L2和L1正则化来压缩权重,L1范数也有助于促进稀疏性(Tibshirani,1996年)。其他GSL方法设置一个阈值,迭代地移除低于该阈值的边,从而得到一个稀疏的邻接矩阵。然而,由于阈值函数的不连续性,这种方法可能导致模型在训练过程中陷入局部最优解,难以发现理想的图结构。
ASGSL采用了一种新颖的稀疏正则化项,优先移除权重较低的边,同时保留权重较高或与任务相关的连接。这一特性的理论依据在3.3节中给出。所提出的正则化项是连续可微的,从而避免了模型训练过程中的局部最优解。尽管L1范数也鼓励稀疏性,但它不会以渐进的方式系统地移除边。
本研究将节点分类任务分为节点不变任务和节点变体任务。我们对八种GSL模型和十四种GNN模型进行了比较实验,评估了它们在节点不变和节点变体分类任务上的性能。我们发现,GSL模型在节点不变任务中的表现优于标准GNN模型,而在节点变体任务中则表现较差。这是因为在节点不变任务中,标准GNN模型忽略了某些与任务相关的边,而GSL模型会自适应地搜索邻接矩阵。在节点变体任务中,GSL的搜索算法会在测试集中引入不必要的节点连接。我们为节点不变和节点变体任务设计了不同的模型。
本文还确定了过度平滑的主要原因是外层节点之间的相似性迅速增加以及感受野过度重叠的恶性循环。此外,我们提出了两种策略来缓解过度平滑问题。
本文的主要贡献总结如下:首先,我们正式将节点分类任务分为节点变体任务和节点不变分类子任务,并为它们各自的特点设计了不同的边搜索模块。其次,我们提出了多种错误的边剪枝策略,包括新型的稀疏惩罚项、门控机制和受限邻域搜索策略。第三,我们引入了两种抗平滑技术:上述的惩罚项和使用浅层特征计算外层边权重的策略。
ASGSL在多个领域展示了潜力。在农业信息学中(Xu和Zhang,2021年),它利用错误边剪枝进行去噪和抗平滑,以保持田间的异质性,提高了作物产量预测的稳健性。在金融分析中(Jin, Xu, 2025a, Jin, Xu, 2025b; Xu,2019年),其节点变体模块能够动态适应交易网络的变化,而抗平滑机制保持了机构风险的独特性,适用于建模风险传播和市场联系。在环境监测中(Wang等人,2025年),节点不变模块捕获了固定传感器网络中的非局部依赖性。在生物医学中(Zhang等人,2025年),任务适应的图学习优化了蛋白质相互作用网络,错误边剪枝消除了假阳性连接,抗平滑保留了患者的临床异质性,有助于精准医疗。
在第3.1节中,我们详细描述了ASGSL。第3.2节提出了缓解过度平滑的策略。第3.3节讨论了正则化项的属性,而第3.4节比较和分析了L1和L2范数与所提出的正则化项。第4.1节列出了实验中使用的五个数据集。第4.2节将ASGSL优化的GNN模型与其他模型进行了比较。第4.3节验证了ASGSL可以显著缓解过度平滑问题。