《Neural Networks》:Meta-Path and Context-Aware Learning for Attribute Completion in Heterogeneous Graphs
编辑推荐:
本文提出EMC-Net框架,通过融合元路径信息和上下文感知注意力机制解决异构图属性补全中的非邻节点信息缺失和模型效率问题,实验表明其显著优于现有方法。
Geng Chen|Yuan Feng|Lijun Zhang|Xiaoyu Bai|Qingyue Wang|Peng Wang
西北工业大学计算机科学与工程学院,国家航空航天-地面-海洋大数据应用技术集成工程实验室,中国西安,710072
摘要
近年来,异构图属性补全(HGAC)在各种基于图的应用中发挥了重要作用,因此受到了广泛关注。然而,现有的HGAC方法往往忽略了有价值的元路径信息,仅在属性补全时关注相邻节点,并且在与异构图神经网络结合用于下游任务时效率低下。为了解决这些问题,我们提出了EMC-Net,这是一个新的学习框架,它结合了元路径信息和上下文感知学习。我们的框架采用了协同元路径驱动的嵌入方案,能够捕获异构图中嵌入的丰富语义信息,并引入了上下文感知的注意力机制,以动态调整不同节点和边的重要性。我们的框架不仅提高了属性预测的准确性,还提高了模型的效率和可扩展性。在基准数据集上的广泛实验结果表明,我们的框架在准确性和计算效率方面都显著优于现有的HGAC方法。这一进展为开发更健壮和有效的异构图属性补全技术提供了新的见解和方法。
引言
图是一种常见的数据结构,已被广泛应用于社交网络分析、推荐系统等领域。根据节点类型和边类型的数量,图可以分为同构图和异构图。如图1所示,从现实世界收集的IMDB数据集中的图结构数据是不完整的,只有少数样本包含完整的属性。由于许多个人在应用(如社交网络)中的私人信息不可用,这些信息在实际情况下通常无法完全获得。处理缺失数据通常有两种方法。第一类方法使用传统的机器学习技术来推断缺失的数据,然后利用完整的数据进行下游应用。典型的代表性方法包括均值插补(García-Laencina等人,2010年)、矩阵分解(Koren等人,2009年)、多重插补(Rubin,2004年)等。第二类方法结合了属性补全和异构图的下游任务,使用端到端的图神经网络。这些方法已经显示出有希望的结果,并且越来越受欢迎。已经提出了基于图神经网络的监督方法(Chen等人,2020b年;Jin等人,2021年;Taguchi等人,2021年)和无监督方法(He等人,2022年)。
尽管取得了进展,现有方法存在三个主要局限性。首先,它们主要使用随机游走来进行嵌入学习,没有考虑元路径的重要性。这种方法由于异构图中存在多种节点类型而导致了有价值先验知识的丢失。其次,现有方法中的属性补全严重依赖于来自相邻节点的信息,从而排除了关于非相邻节点的关键信息。最后,现有方法在属性补全后使用异构图神经网络进行下游任务,导致计算效率低下。
为了解决这些局限性,我们提出了一个高效的元路径上下文感知学习框架(即EMC-Net)来改进HGAC。我们的EMC-Net采用了一种元路径驱动的随机游走嵌入方法,在采样节点时结合了元路径的先验知识。为了完成属性,我们使用上下文感知的注意力机制来防止非相邻节点信息的丢失并填充缺失的节点数据。此外,我们直接使用改进的图注意力网络进行分类等下游任务,以提高计算效率。总之,我们的贡献如下:
- •
我们采用了一种协同随机游走嵌入方法,利用元路径,使我们能够将更丰富的先验信息纳入节点嵌入过程。
- •
我们实现了一种上下文感知的注意力机制,用于属性补全,有效防止了非相邻节点之间的信息丢失。
- •
我们直接使用改进的图注意力网络进行下游任务,以提高模型效率。
- •
这项工作的初步版本已经提交给了一次会议。当前的工作是一个大幅扩展的版本,有三个主要改进:(i)图神经网络框架从GAT升级到了GATv2,以实现更高效的下游学习;(ii)属性补全模块中的上下文感知注意力机制被自注意力机制取代,以更好地捕捉节点属性之间的全局依赖性;(iii)增加了大量的新实验、分析和讨论,以全面评估EMC-Net的优越性和即插即用性。在三个真实世界数据集上的广泛实验进一步验证了EMC-Net的优越性和即插即用性。结果、分析和讨论是新的,并不属于会议提交的内容。
本文的结构如下:第2节回顾了异构图属性补全的相关工作和进展。第3节提供了EMC-Net模型每个组件的技术细节。第4节描述了实验中使用的数据集、实验设置,并展示了实验结果。最后,第5节总结了我们的工作。
节选
异构图学习
异构图学习的目标是将图的节点和边嵌入到低维向量空间中,同时保留异构图的结构和语义信息。目前,异构图学习主要有两种类型的方法:浅层模型和基于元路径的模型。浅层模型主要采用随机游走方法进行学习,例如DeepWalk(Perozzi等人,2014年)、Metapath2vec(Dong等人,2017年)、HIN2Vec(Fu等人,2017年)等
问题表述
给定一个图,其中表示N个节点的集合,表示边的集合,表示图的邻接矩阵,表示节点特征矩阵,其中d是节点特征的维度。
由于图的属性不完整,节点可以分为和,其中表示具有完整属性的节点,表示具有缺失属性的节点。对应于的特征矩阵是
数据集
为了评估我们提出的框架的有效性,我们选择了三个著名的异构图数据集:ACM、IMDB和DBLP。此外,我们采用了Lv等人(2021年)在SimpleHGN中使用的相同的数据分割方法。下面提供了每个数据集的详细描述。
•DBLP:DBLP数据集是一个计算机科学文献网站。我们使用了其中的一个常用子集进行分析。它包括四种类型的节点。
结论
在这项工作中,我们提出了一个有效的模型EMC-Net,用于解决异构图中属性缺失的问题。我们的EMC-Net采用了一种基于元路径的协同随机游走嵌入方案,在节点采样时结合了元路径的先验知识。在属性补全过程中,它使用上下文感知的注意力机制来完成具有缺失属性的节点的信息并避免信息丢失。最后,它直接使用了改进的
CRediT作者贡献声明
Geng Chen:撰写——审稿与编辑、验证、监督、资金获取、形式分析、概念化。Yuan Feng:撰写——原始草稿、可视化、验证、方法论、调查、数据管理、概念化。Lijun Zhang:验证、监督、方法论、数据管理。Xiaoyu Bai:撰写——审稿与编辑、验证。Qingyue Wang:撰写——审稿与编辑。Peng Wang:撰写——审稿与编辑、监督、项目管理、形式分析,
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
致谢
这项工作得到了中国国家自然科学基金(编号U19B2037)、中国国家重点研发计划(编号2020AAA0106900)、陕西省重点研发计划(编号2021KWZ-03)和陕西省自然科学基础研究计划(编号2021JCW-03)的支持。