图神经网络(GNNs)是专为处理具有复杂关系的图结构数据而设计的先进机器学习模型(Wu等人,2022年)。与卷积神经网络(CNNs)(Rawat和Wang,2017年)等传统神经网络不同,GNNs(Kipf和Welling,2017年)能够捕捉图中的局部依赖性和拓扑结构,从而实现更准确的预测和更全面的分析。作为一种快速发展的技术,GNNs持续吸引着大量的研究兴趣,并在多个领域得到应用(例如医学诊断(Liang等人,2023年)、交通流量预测(Ye等人,2020年)、股票市场分析(Saha等人,2022年)以及推荐系统(Li等人,2024年;Zhang等人,2024年)等)。在这些应用中,数据可以自然地表示为节点和边的图。通过利用图的连通性,GNNs迭代地传播和聚合节点特征,有效地捕捉结构关系,从而实现更具表现力的节点表示并提升预测性能。
虽然GNNs通过聚合连接节点的信息有效地捕捉了局部拓扑结构,但它们往往忽略了聚合前的节点特征分布,而这是图学习中的一个重要因素。此外,由于技术限制或数据收集过程中的隐私问题,许多现实世界的图数据集缺乏节点属性(无属性图)(Chen等人,2022年)。这种特征缺失严重限制了图自监督学习(SSL)方法(Chen等人,2025年)的效果,这些方法依赖于原始节点属性来增强聚合过程中的特征表示。
GNNs的核心设计以图结构为中心,优先考虑节点之间的拓扑关系而非单个节点特征。因此,GNNs主要通过相邻连接传递信息,常常忽略了聚合前的节点特征分布。然而,节点特征的分配方式对模型性能至关重要,因此正确的特征表示对于有效学习是必不可少的。
图1使用t-SNE(L. J. P. van der Maaten,2008年)进行了可视化展示,说明了节点聚合如何通过简化节点分布来增强空间区分度。在固定邻接矩阵的情况下,子图(a)展示了未经聚合的原始2D节点分布,而子图(b)到(d)展示了随着节点特征沿边聚合而发生的渐进变化。扩展特征空间增加了节点之间的分离度,使表示更加清晰。这些结果强调了节点特征的可分性越强,聚合后的特征也越清晰,突出了特征分布在GNN性能中的关键作用。
此外,许多现实世界的图数据集是无属性图(X. Liu和Murata,2021年),这通常是由于数据收集过程中的技术限制或隐私问题。由于自监督学习(SSL)方法通常依赖于高度依赖节点特征的GNN模型,因此无法直接使用无属性图,从而限制了SSL的效果。尽管邻接矩阵可以用作特征矩阵,但它会导致极高维度和稀疏的表示,给学习带来很大挑战。
如图1所示,为节点分配更合理的特征可以显著提高图神经网络的性能。因此,我们旨在探索一种在聚合之前表示节点特征的方法。这种方法可以增强节点特征的区分能力,并可以应用于有属性和无属性的图,目标是提高图神经网络下游任务的性能。
为此,我们提出了位置和结构多重经验核学习(PSMEKL)算法,该算法基于这样一个原则:具有相似位置和结构的节点应该具有相似的特征。通过使用非线性核映射,我们将原始数据投影到高维核空间中,同时结合图社区结构来分配节点特征。这确保了同一社区内或具有相似连接模式的节点保持更接近的特征表示,同时增强了结构不同节点之间的区分度。
对于位置信息,我们使用核函数来计算节点距离,使核映射能够分离非线性模式,并使连接的节点具有更接近的特征表示。这增强了核空间中不同节点类别的边界检测能力。在无属性图中,我们使用邻接矩阵的行作为节点特征;在有属性图中,我们直接使用初始节点特征。然后通过计算成对特征差异来构建核矩阵。利用经验核映射(EKM)(Xiong等人,2005年),我们将节点投影到明确的核空间中,从而消除了无属性图中高维稀疏邻接矩阵的需求,并提高了节点区分度。
对于社区信息,社区结构定义了全局节点关系,将紧密连接的节点分组到簇中。在保持社区内部一致性的同时加强社区间的差异,使GNN能够捕捉更丰富的结构洞察。为此,我们使用社区检测算法(Pizzuti,2018年)来识别图社区并为节点分配社区标签。通过基于这些标签构建分类任务,节点通过识别它们属于相同或不同的社区来学习结构社区信息。这确保了同一社区内的节点位置更接近,而不同社区的节点保持更远的距离。
在实现过程中,EKM需要特征分解,随着节点数量的增加,时间复杂度会迅速增加。因此,我们使用了多重经验核映射(MEKL)(Z. Wang等人,2019年),该方法将节点划分为较小的子集,并在每个子集内以更高效的方式执行特征分解。此外,与分解核矩阵并产生高维节点嵌入的核方法不同,PSMEKL可以在目标函数下提供具有确定特征维度的节点嵌入。
本研究的贡献总结如下:
我们提出了PSMEKL算法,该算法能够为有属性和无属性的图提供包含位置和结构信息的有效节点嵌入。
我们设计了一个多重核映射函数,该函数使用一致的函数来保证不同核空间中输出的一致性,并将位置信息纳入节点嵌入中。
我们使用社区检测算法来挖掘社区结构,并通过设计社区分类任务将结构信息整合到节点嵌入过程中。
我们提供了解决目标函数的关键步骤,并展示了损失函数的收敛曲线。此外,实验验证了PSMEKL在效率和效果方面的有效性。