基于多视图注意力和对比学习的鲁棒异构图表示学习

《Knowledge-Based Systems》:Toward Robust Heterogeneous Graphs Representation Learning via Multi-View Attention and Contrastive Learning

【字体: 大 中 小 】 时间:2026年08月28日 来源:Knowledge-Based Systems 8.0

编辑推荐:

   •用于增强语义建模的多级注意力:我们提出了一种多通道架构,在节点、边和元路径层面采用分层注意力,以捕获复杂的语义依赖关系并跨这些层面自适应地优先处理信息。 •通过对比学习实现鲁棒且自适应的节点嵌入:我们的框架将基于注意力的融合与对比学习相结合,以生成上下文感知且抗噪的节点表示

  

•用于增强语义建模的多级注意力:我们提出了一种多通道架构,在节点、边和元路径层面采用分层注意力,以捕获复杂的语义依赖关系并跨这些层面自适应地优先处理信息。
•通过对比学习实现鲁棒且自适应的节点嵌入:我们的框架将基于注意力的融合与对比学习相结合,以生成上下文感知且抗噪的节点表示。

引言
如今,计算机化信息系统的快速增长导致了数字数据的生成、存储和分析前所未有的增加 [1]。很大一部分现实世界的数据,如社交网络 [2]、学术引用网络 [3] 和电子商务平台 [4,5],表现出固有的异质结构和复杂的语义关系,被称为异质信息网络 (HINs) [6,7]。这些数据通常由多种类型的实体(用户、物品、标签、场所)和多样化的交互或关系类型(关注、引用、购买、评论)组成,无法使用同质图来捕获。因此,HINs 需要特殊的建模工具,能够捕获多种类型实体之间的各种语义关系 [8]。在这方面,异质图(包括不同类型的节点和关系)被引入作为建模这些网络的有效工具。这种建模范式允许对复杂系统进行更丰富的表示,促进更具表达力的推理。

HINs 通常规模非常大,拓扑信息和节点属性在其分析中都起着至关重要的作用。为了降低图的维度并克服由图规模大引起的问题,过去十年中做出了大量努力来学习有效的图表示 [9]。这些方法可以分为两类:(1) 基于随机游走的方法,如 DeepWalk [10]、Node2vec [11] 和 metapath2vec [12],它们通过基于路径的采样策略捕获节点相似性;以及 (2) 图神经网络 (GNNs),利用邻域聚合和消息传递机制来学习节点的表示 [13]。虽然传统方法只关注结构特征,但 GNNs 利用结构和节点特征,从而在推荐 [14]、链接预测 [15]、社区发现 [16] 和节点分类 [17] 等各种下游任务中取得成功。图卷积网络 (GCN) [18] 是早期方法之一,通过聚合邻域节点的信息来计算节点嵌入。然而,GCN 平等对待所有邻居,并且对图结构中的噪声高度敏感 [19]。这种局限性在实际图中尤为棘手,实际图中通常包含不完整、不确定或有噪声的数据。为了克服这些挑战,提出了基于注意力的 GNN,如 GAT [20]、HAN [21]、HetGNN [22] 和 HGT [23],它们学习注意力权重以给不同的邻居分配不同的重要性分数。

如今,注意力机制已成为现代图表示学习的基石。在最近的研究中,注意力已在 GNN 的各种结构和语义层面得到应用 [24,25]。例如,HAN [21] 采用两级分层注意力机制:节点级注意力用于捕获局部邻居重要性,元路径级注意力用于区分不同的语义路径。然而,HAN 和类似模型往往忽略了边类型的显式语义和特征。为了解决这一局限性,关系感知模型如 RGAT [26]、RAGAT [27] 和 r-GAT [28] 引入了特定类型的变换并设计了关系敏感的注意力机制。这些方法使模型能够通过学习每种关系类型的单独投影函数并将其纳入注意力计算,从而区分和利用多样的边语义。此外,EGAT [29] 在节点表示的同时动态更新边权重,使模型能够根据不断演变的图上下文自适应地重新校准边的重要性。这导致了对语义相关邻居的识别得到改进,特别是在异质或噪声环境中。尽管有这些进展,但当前方法缺乏一个统一的架构,能够连贯且同时地在节点、边和语义层面建模注意力。更关键的是,在噪声、不完整或动态演变的图条件下——这是现实世界异质网络中的常见场景——它们的性能会下降。这突显了需要一个鲁棒的、多视图注意力框架,该框架能有效整合结构和语义线索,同时保持对噪声和不确定性的韧性。一个统一且抗噪的框架,能够连贯且自适应地共同建模节点级、边级和语义级注意力。

最近,对比学习已成为无监督表示学习的一种强大范式 [30,31]。通过最大化正样本对之间的一致性,同时最小化与负样本对的相似性,对比学习使模型能够学习语义上有意义的表示,而无需显式监督。当应用于图结构数据时,这种方法在捕获潜在结构模式和提高对噪声、扰动和缺失信息的鲁棒性方面显示出希望。尽管有这些进展,但大多数现有的基于注意力和对比的方法只解决了异质和噪声图中表示学习问题的孤立方面 [32,33]。特别是,它们通常无法共同捕获多视图语义、节点、边和元路径。

为了解决上述局限性,我们提出了 RoGAT,这是一种新颖的异质图表示学习框架,共同建模来自多种结构视角的信息。与主要关注节点表示或依赖单一语义视图的现有方法不同,RoGAT 集成了一种三层表示架构,同时捕获节点级、关系级和元路径级信息。具体而言,关系分支通过关系感知注意力机制建模异质实体之间的直接交互,而语义分支利用元路径引导的结构来捕获高阶语义依赖和长程上下文信息。通过结合这些互补视图,所提出的框架能够学习更丰富和更有信息的表示,更好地表征异质图的复杂语义。

为了进一步改进不同视图间的表示鲁棒性和一致性,我们引入了一种跨视图对比学习目标,在共享潜空间中对齐关系视图和语义视图嵌入。该目标鼓励语义一致的表示保持接近,同时分离不相关的表示,从而增强学习到的嵌入的判别能力。因此,所提出的模型对结构噪声、缺失链接和稀疏连接模式(这些在现实世界异质网络中常见)变得更加具有韧性。

此外,RoGAT 扩展了传统的异质图学习,不仅学习节点表示,还学习关系感知和元路径感知嵌入。这些表示在不同粒度层面保留结构和语义知识,并提供超出单个节点的可迁移信息。这种设计在演变的图环境中特别有益,其中新节点、边或关系随时间不断出现。由于关系和语义模式显式地编码在学习到的表示中,模型可以有效地泛化到以前未见的图结构,并在有限监督下支持下游任务。

因此,所提出的框架在稀疏和动态异质图中表现出强大的泛化能力。通过利用互补的结构视图和跨视图表示对齐,RoGAT 更好地装备以缓解与结构不确定性、不完全连通性和冷启动场景相关的挑战,在这些场景中,只有有限的信息可用于新引入的节点。本文的主要贡献总结如下。

•具有多级注意力的多通道架构:我们提出了一种新颖的表示学习框架,在三个不同的层面(节点级、边级和元路径级)融入注意力。这种分层注意力结构使模型能够从各种视角捕获丰富的语义依赖关系,并在训练期间为每个层面分配自适应的重要性权重。
•多级表示的自适应融合:设计了一种基于注意力的融合模块,以动态整合节点、关系和元路径表示。这种机制学习每个层面的相对贡献,从而生成更准确且上下文感知的最终节点嵌入。
•用于抗噪表示的对比学习:我们融入了一种对比学习目标,以提高模型在噪声或不完整图下的鲁棒性。通过生成多个增强图视图并优化正/负样本一致性,我们的模型学习可泛化和稳定的表示。
•在冷启动和动态场景中的强大性能:多视角嵌入框架在动态图和冷启动场景中非常有效,其中新节点出现且连接有限。多级注意力和对比学习的结合使模型能够在数据稀疏或结构变化下可靠运行。

本文的其余部分结构如下。第 2 节回顾相关工作。第 3 节提出所提出的方法。实验结果在第 4 节中报告。最后,第 5 节总结本文并概述未来工作的方向。

章节片段
文献综述
如引言中讨论的那样,注意力机制在 GNN 中以多种形式被广泛利用。在本节中,我们从三个不同的视角回顾基于注意力的 GNN,以提供现有文献的全面概述。首先,我们检查 GNN 中注意力的基础模型和早期扩展,建立基于注意力的图处理的基准。然后,我们探索将对比学习集成以增强表示学习的方法,

预备知识
定义 1
异质图 (HG)。一个 HG [73] 定义为一个图 G=(V,E,T,R),其中 V 是节点集,E?V×V 是边集。为了建模语义异质性,T 和 R 分别表示节点类型集和边类型集。如果 |T|+|R|≥3,则图被认为是异质的,允许建模丰富的语义结构。

定义 2
元路径。元路径是 HG 中边的特定序列,通常连接同质节点,定义为:P:V1→R1V2→R2···→RlVl+1 其中每个 Vi∈T 是一个

数据集
为了评估所提出的算法,我们在三个基准数据集上进行了实验:ACM、DBLP 和 IMDB。
•ACM:一个引用网络,包含 7,167 位作者、4,025 篇论文和 60 个主题。论文特征使用关键词的词袋向量表示,而作者和主题特征使用独热向量编码。该图由 13,407 条连接作者与其出版物的作者 - 论文边和 9,630 条代表论文间引用的引用边组成。此外,所有

讨论与结论
在这项工作中,我们提出了一种新颖的多通道异质图表示学习框架,将节点级、边级和元路径级注意力机制与对比学习相结合。通过捕获多层丰富的语义依赖关系并通过自适应注意力模块动态融合它们,我们的模型有效地学习上下文感知和鲁棒的节点嵌入。对比学习的引入进一步增强了表示稳定性,

CRediT 作者贡献声明
Amin Nazari:写作 – 评审与编辑,写作 – 原稿,可视化,验证,软件,资源,方法论,调查,形式分析,数据管理,概念化。Muharram Mansoorizadeh:写作 – 评审与编辑,写作 – 原稿,验证,监督,资源,项目管理,方法论,调查,形式分析,概念化。Hassan Khotanlou:写作 – 评审与编辑,写作 – 原稿,验证,监督。

利益冲突声明
作者声明,他们没有已知的竞争经济利益或个人关系可能影响本文中报告的工作。

Amin Nazari|Muharram Mansoorizadeh|Hassan Khotanlou
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号