用于少样本知识图谱补全的关系感知信息瓶颈

《Pattern Recognition Letters》:Relation-aware Information Bottleneck for Few-shot Knowledge Graph Completion

【字体: 大 中 小 】 时间:2026年09月28日 来源:Pattern Recognition Letters 3.5

编辑推荐:

   •一种用于小样本知识图谱补全的新型关系感知信息瓶颈。•利用门控卷积和注意力机制学习鲁棒的小样本关系表示。•在监督稀缺的情况下,在 NELL 和 FB15K-237 上取得具有竞争力的 FKGC 结果。Introduction知识图谱(KGs)将事实编码为头实体 - 关系 -

  
  • •
    一种用于小样本知识图谱补全的新型关系感知信息瓶颈。
  • •
    利用门控卷积和注意力机制学习鲁棒的小样本关系表示。
  • •
    在监督稀缺的情况下,在 NELL 和 FB15K-237 上取得具有竞争力的 FKGC 结果。

Introduction

知识图谱(KGs)将事实编码为头实体 - 关系 - 尾实体三元组,并将碎片化信息组织成关系结构,例如 NELL [1]、YAGO [2] 和 Wikidata [3]。它们明确的语义和关系路径支持知识密集型应用,如问答 [4]、推荐 [5]、客户服务 [6] 和搜索 [7]。
现实世界的 KGs 本质上是不完整的。传统的知识图谱补全方法从三元组语义和图结构推断缺失的事实 [8]、[9]、[10]、[11];局部感知归纳推理进一步减轻了大型固定跳数子图引入的噪声 [12]。尽管如此,许多关系遵循长尾分布,提供的三元组太少,无法进行可靠的参数估计。因此,小样本知识图谱补全(FKGC)旨在仅从少量支持集预测未见关系中的缺失事实。
在图 1 的 5-shot 示例中,描述 graduated_from 的五个三元组构成了支持集,模型必须对诸如("Donald Trump", graduated_from, ?)这样的查询对候选实体进行排名。现有的 FKGC 方法通过度量匹配、情景元学习或结构聚合 [13]、[14]、[15]、[16]、[17]、[18]、[19]、[20] 或星环拓扑 [21] 迁移关系知识。这些进展改进了关系推断,但有限的支持三元组可能仍包含冗余或与关系无关的证据,而这些证据被保留在学到的任务表示中。由于每个支持实例在低数据情景中可能产生不成比例的影响,不加区分地保留这种变异性可能导致关系估计不稳定和顶级预测不准确。
为了解决这个问题,我们提出了 ReIBEG,它结合了关系条件信息压缩和鲁棒支持聚合。ReIBEG 不再保留支持表示中的每一种变异性,而是学习一个以推断出的关系为条件的紧凑潜在变量,并保留对候选排名最有用的证据。门控卷积 - 注意力聚合器进一步整合了支持三元组之间互补的局部和全局依赖关系。
主要贡献如下:
  • •
    我们引入了一种用于 FKGC 的关系条件信息瓶颈,显式压缩与关系无关的变异性,同时保留任务相关证据。
  • •
    我们开发了 RelationAggregator,它将门控一维卷积与多头注意力相结合,从稀缺且可能嘈杂的支持三元组中构建鲁棒的关系表示。
  • •
    在两个公开基准上的实验证明了其具有竞争力的有效性和计算效率,消融实验验证了每个提出组件的贡献。

Section snippets

Few-shot Knowledge Graph Completion

基于度量的 FKGC 方法在可迁移的嵌入空间中匹配查询和支持证据。GMatching 聚合局部邻域进行关系匹配 [13],FSRL 利用异构图结构丰富实体对表示 [15],FAAN 自适应加权邻居和支持三元组 [14],CIAN 建模配对实体内部和之间的相互作用 [16]。这些方法改进了匹配,但没有显式约束保留的关系无关信息。
另一类方法

Preliminaries and Problem Definition

我们介绍了小样本知识图谱补全(FKGC)任务以及模型中使用的主要组件,包括条件信息瓶颈和带注意力的门控卷积关系聚合器。

The Proposed Approach

在本节中,我们介绍了用于小样本知识图谱补全的 ReIBEG,它集成了关系感知信息瓶颈(如图 2 所示)。该框架由四个模块组成:(1) 全局聚合器,更新实体嵌入;(2) 关系聚合器,聚合支持集以获得鲁棒的关系表示;(3) 关系感知信息瓶颈(ReIB),抑制任务无关噪声,同时保留关系特定信号;以及 (4)

Optimization

我们优化一个复合目标,包括硬负例排名损失和瓶颈潜在变量的 KL 正则化项。
BPR 硬负例损失。 我们使用 BPR 损失 [27]。对于每个小批量,我们采样 B 个任务。对于任务 i,令 pi,j 为第 j 个正例查询三元组的分数,{ni,j,k}k=1J 为其 J 个尾实体损坏负例的分数。我们选择最难的负例:ni,j=max1≤k≤Jni,j,k,并计算LBPR=?1BQ∑i=1B∑j=1Qlogσ(pi,j?ni,j),其中 σ(?·?) 是 Sigmoid 函数。
KL

Datasets

我们在两个标准的 FKGC 基准上进行了实验,NELL [1]、[13] 和源自 FB15K/Freebase 的 FB15K-237 [8]、[28],遵循先前工作中的情景设置 [19]、[20]。为了公平比较,我们使用通常采用的固定关系划分,而不是创建新的随机划分。具体来说,关系被划分为元训练、元验证和元测试集,NELL 上有 51/5/11 个关系,FB15K-237 上有 75/11/33 个关系。三个划分中的目标关系是

Conclusion

我们提出了 ReIBEG,它集成了关系感知信息压缩(ReIB)和门控卷积关系聚合,以改进小样本知识图谱补全。消融结果表明,瓶颈压缩减少了冗余并保留了关系特定信号,而关系聚合器增强了关系表示学习。尽管小样本情景训练引入了轻微的运行间波动,但整体趋势是稳定的。未来的工作将探索更多

CRediT authorship contribution statement

Yanjun Lu: 写作 – 审阅与编辑,监督,方法论,调查,资金获取,形式分析,数据整理,概念化。 Yonglai Liu: 写作 – 审阅与编辑,写作 – 原稿,可视化,验证,监督,资源,项目管理,方法论,调查,形式分析,数据整理,概念化。

Declaration of competing interest

作者声明,他们没有已知的竞争性经济利益或个人关系,这些利益或关系可能会影响本文报道的工作。
Yanjun Lu|Yonglai Liu
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号