PSMEKL:用于节点嵌入的定位与结构多重经验核学习方法

《Neural Networks》:PSMEKL: Positional and Structural Multiple Empirical Kernel Learning for Node Embedding

【字体: 大 中 小 】 时间:2026年03月28日 来源:Neural Networks 6.3

编辑推荐:

  提出PSMEKL方法,通过多核映射整合节点位置和结构信息,优化嵌入表示,提升图神经网络在属性和非属性图中的性能。

  
作者:Zonghai Zhu、Xinshuai Wei、Huanlai Xing、Li Feng、De Chen、Yuge Xu
单位:西南交通大学计算机与人工智能学院,中国四川省成都市,611756

摘要

图神经网络(GNNs)在处理图结构数据方面具有强大能力,其中节点通过边相互连接。通常,将位置信息和结构信息纳入节点嵌入中可以捕捉节点的分布特征。然而,传统的GNNs难以同时完美地捕捉这两种类型的信息。此外,现有的节点嵌入方法也难以同时处理有属性和无属性的图。为此,我们提出了位置和结构多重经验核学习(PSMEKL)方法,该方法通过结合位置信息和结构信息来增强节点特征表示。PSMEKL整合了核映射和社区检测技术,以捕捉位置关系和全局图结构,并优化了一个专门的判据函数,为有属性和无属性的图生成有效的节点嵌入。这种方法增强了不同结构节点之间的区分度,同时确保具有相似连接模式的节点具有相似的嵌入特征。大量实验表明,使用PSMEKL对节点特征进行预处理可以显著提高GNN的性能。PSMEKL的代码可在以下链接获取:https://github.com/ZonghaiZhu/PSMEKL

引言

图神经网络(GNNs)是专为处理具有复杂关系的图结构数据而设计的先进机器学习模型(Wu等人,2022年)。与卷积神经网络(CNNs)(Rawat和Wang,2017年)等传统神经网络不同,GNNs(Kipf和Welling,2017年)能够捕捉图中的局部依赖性和拓扑结构,从而实现更准确的预测和更全面的分析。作为一种快速发展的技术,GNNs持续吸引着大量的研究兴趣,并在多个领域得到应用(例如医学诊断(Liang等人,2023年)、交通流量预测(Ye等人,2020年)、股票市场分析(Saha等人,2022年)以及推荐系统(Li等人,2024年;Zhang等人,2024年)等)。在这些应用中,数据可以自然地表示为节点和边的图。通过利用图的连通性,GNNs迭代地传播和聚合节点特征,有效地捕捉结构关系,从而实现更具表现力的节点表示并提升预测性能。
虽然GNNs通过聚合连接节点的信息有效地捕捉了局部拓扑结构,但它们往往忽略了聚合前的节点特征分布,而这是图学习中的一个重要因素。此外,由于技术限制或数据收集过程中的隐私问题,许多现实世界的图数据集缺乏节点属性(无属性图)(Chen等人,2022年)。这种特征缺失严重限制了图自监督学习(SSL)方法(Chen等人,2025年)的效果,这些方法依赖于原始节点属性来增强聚合过程中的特征表示。
GNNs的核心设计以图结构为中心,优先考虑节点之间的拓扑关系而非单个节点特征。因此,GNNs主要通过相邻连接传递信息,常常忽略了聚合前的节点特征分布。然而,节点特征的分配方式对模型性能至关重要,因此正确的特征表示对于有效学习是必不可少的。
图1使用t-SNE(L. J. P. van der Maaten,2008年)进行了可视化展示,说明了节点聚合如何通过简化节点分布来增强空间区分度。在固定邻接矩阵的情况下,子图(a)展示了未经聚合的原始2D节点分布,而子图(b)到(d)展示了随着节点特征沿边聚合而发生的渐进变化。扩展特征空间增加了节点之间的分离度,使表示更加清晰。这些结果强调了节点特征的可分性越强,聚合后的特征也越清晰,突出了特征分布在GNN性能中的关键作用。
此外,许多现实世界的图数据集是无属性图(X. Liu和Murata,2021年),这通常是由于数据收集过程中的技术限制或隐私问题。由于自监督学习(SSL)方法通常依赖于高度依赖节点特征的GNN模型,因此无法直接使用无属性图,从而限制了SSL的效果。尽管邻接矩阵可以用作特征矩阵,但它会导致极高维度和稀疏的表示,给学习带来很大挑战。
如图1所示,为节点分配更合理的特征可以显著提高图神经网络的性能。因此,我们旨在探索一种在聚合之前表示节点特征的方法。这种方法可以增强节点特征的区分能力,并可以应用于有属性和无属性的图,目标是提高图神经网络下游任务的性能。
为此,我们提出了位置和结构多重经验核学习(PSMEKL)算法,该算法基于这样一个原则:具有相似位置和结构的节点应该具有相似的特征。通过使用非线性核映射,我们将原始数据投影到高维核空间中,同时结合图社区结构来分配节点特征。这确保了同一社区内或具有相似连接模式的节点保持更接近的特征表示,同时增强了结构不同节点之间的区分度。
对于位置信息,我们使用核函数来计算节点距离,使核映射能够分离非线性模式,并使连接的节点具有更接近的特征表示。这增强了核空间中不同节点类别的边界检测能力。在无属性图中,我们使用邻接矩阵的行作为节点特征;在有属性图中,我们直接使用初始节点特征。然后通过计算成对特征差异来构建核矩阵。利用经验核映射(EKM)(Xiong等人,2005年),我们将节点投影到明确的核空间中,从而消除了无属性图中高维稀疏邻接矩阵的需求,并提高了节点区分度。
对于社区信息,社区结构定义了全局节点关系,将紧密连接的节点分组到簇中。在保持社区内部一致性的同时加强社区间的差异,使GNN能够捕捉更丰富的结构洞察。为此,我们使用社区检测算法(Pizzuti,2018年)来识别图社区并为节点分配社区标签。通过基于这些标签构建分类任务,节点通过识别它们属于相同或不同的社区来学习结构社区信息。这确保了同一社区内的节点位置更接近,而不同社区的节点保持更远的距离。
在实现过程中,EKM需要特征分解,随着节点数量的增加,时间复杂度会迅速增加。因此,我们使用了多重经验核映射(MEKL)(Z. Wang等人,2019年),该方法将节点划分为较小的子集,并在每个子集内以更高效的方式执行特征分解。此外,与分解核矩阵并产生高维节点嵌入的核方法不同,PSMEKL可以在目标函数下提供具有确定特征维度的节点嵌入。
本研究的贡献总结如下:
  • 我们提出了PSMEKL算法,该算法能够为有属性和无属性的图提供包含位置和结构信息的有效节点嵌入。
  • 我们设计了一个多重核映射函数,该函数使用一致的函数来保证不同核空间中输出的一致性,并将位置信息纳入节点嵌入中。
  • 我们使用社区检测算法来挖掘社区结构,并通过设计社区分类任务将结构信息整合到节点嵌入过程中。
  • 我们提供了解决目标函数的关键步骤,并展示了损失函数的收敛曲线。此外,实验验证了PSMEKL在效率和效果方面的有效性。
  • 本文的其余部分组织如下:第2节简要回顾了有属性和无属性图的特征学习相关工作。第3节描述了所提出的学习框架中的PSMEKL实现算法。第4节展示了在基准图数据集上的实验结果,证明了PSMEKL的可行性和有效性。最后,第5节给出了结论。

    相关研究

    相关工作

    在本节中,我们介绍了C. Wang等人(2023年)的方法,包括自监督学习、节点嵌入、核函数和社区检测。自监督学习方法通常用于有属性图,而嵌入方法用于无属性图。此外,核方法和社区检测与学习位置和结构信息相关。

    提出的方法

    在本节中,我们详细介绍了所提出的PSMEKL算法。PSMEKL的学习框架如下:
    L=αLpoi+βLstu, s.t α+β=1 Lposi与节点的位置信息相关,它控制如何将来自多个核空间的节点嵌入到明确的嵌入空间中。Lstru与社区分类任务相关,它控制如何将结构信息整合到节点嵌入过程中。

    实验

    在本节中,我们通过对无属性图和有属性图进行大量实验来验证所提出的PSMEKL的有效性和效率。数据集的详细描述见表1,超参数设置和描述见表3。此外,我们在大规模图数据集2上验证了PSMEKL,超参数设置见表4。表4中未列出的参数遵循相同的配置。

    结论

    本研究强调了在图神经网络(GNNs)中聚合前预处理节点特征的重要性,以提高下游任务的性能。与主要依赖拓扑链接的传统GNNs不同,所提出的位置和结构多重经验核学习(PSMEKL)通过整合位置和结构信息来丰富节点嵌入。通过结合多核映射和社区检测,PSMEKL为有属性和无属性图生成了稳健的嵌入。

    CRediT作者贡献声明

    Zonghai Zhu:撰写 – 审稿与编辑、撰写原始草稿、可视化、验证、方法论、资金获取、形式分析。Xinshuai Wei:资源、方法论、调查、数据整理。Huanlai Xing:验证、监督、资金获取。Li Feng:验证、监督、资金获取。De Chen:验证、监督、资金获取。Yuge Xu:可视化、验证、资金获取。

    利益冲突声明

    作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。

    致谢

    本工作得到了四川省科技计划(2024NSFSC1472)、国家自然科学基金(项目编号62473159)以及西南交通大学基础科学研究业务费专项基金科技创新团队的支持(项目/奖励编号:2682022JX008)的资助。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号