单纯复形神经网络在确定性和不确定性知识图谱嵌入中的应用

《Knowledge-Based Systems》:Simplicial Complex Neural Networks for Deterministic and Uncertain Knowledge Graph Embedding

【字体: 大 中 小 】 时间:2026年04月05日 来源:Knowledge-Based Systems 7.6

编辑推荐:

  知识图谱嵌入(KGE)方法分为确定性和不确定性两类,现有模型在捕捉高阶交互、处理不确定性高阶特征及生成高质量负样本方面存在挑战。本文提出SCKGE和SCUKGE模型,分别通过简复杂神经网络(SCNN)整合高阶结构特征与自适应权重机制,以及引入语言模型预测置信度并优化负采样策略,有效解决上述问题。实验表明,SCKGE在WN18RR数据集上提升5.2%的均倒排序(MRR),SCUKGE在NL27k数据集上性能提升1.5%。

  
张东|潘寅仓|任彦东|李冠宇|宁波|范文彦
中国辽宁省大连市大连海事大学信息科学技术学院,邮编116026

摘要

知识图谱嵌入(KGE)旨在利用知识图谱中的结构信息来表示实体和关系。根据知识表示的确定性,KGE方法可以分为确定性KGE(DKGE)和不确定性KGE(UKGE)。尽管图神经网络模型在DKGE和UKGE方面都取得了显著进展,但仍存在三个关键挑战:(1)在DKGE中,许多模型主要关注成对特征聚合,而忽视了高阶交互的作用;(2)在UKGE中,当前的图神经网络模型难以捕捉高阶不确定特征;(3)在UKGE中,准确评估未见三元组的不确定性仍然很困难。为了解决挑战(1),我们提出了SCKGE(用于KGE的单纯复形神经网络)。SCKGE使用图神经网络学习成对特征,并使用单纯复形神经网络(SCNN)来建模高阶特征,然后引入一种自适应机制来整合这两种特征类型。为了解决挑战(2)和(3),我们提出了SCUKGE(用于不确定KGE的SCNN)。SCUKGE结合了一个不确定性因子来编码高阶不确定结构信息,并进一步利用语言模型来评估未见三元组的不确定性。据我们所知,我们是第一个将SCNN应用于多关系图,并将语言模型集成到不确定KGE中的研究。

引言

知识图谱(KGs)支持广泛的下游应用,包括信息检索[1]、推荐系统[2]和问答[3]。知识图谱由三元组组成,每个三元组包括一个头部实体、一个关系和一个尾部实体。知识图谱嵌入(KGE)是一种基本技术,它将实体和关系映射到低维向量空间中,从而在下游任务中实现更有效的推理和更好的性能。例如,这些向量表示可以显著提高信息检索系统的检索准确性。KGE技术的日益采用吸引了越来越多研究人员的关注,使得该领域更加专业化。KGE方法通常根据KG中三元组的确定性程度分为确定性和不确定性方法。图1展示了确定性和不确定性KG的示例。
在图1(a)中,确定性知识图谱(DKG)将实体之间的关系视为确定的。例如,“broadcaster”关系将“Stranger Things”实体与“Netflix”实体连接起来,形成三元组“(Stranger Things, broadcaster, Netflix)”。确定性KG通常遵循封闭世界假设:图中存在的三元组被认为是真实的,而缺失的三元组则被视为错误的。确定性KG的KGE整合了各种类型的特征,通常可以分为两类:非结构化和结构化模型。非结构化KGE模型不显式考虑图的结构属性。例如,TransE[4]将头部实体、关系和尾部实体映射到向量空间中,头部实体的向量加上关系向量近似于尾部实体的向量。为了克服TransE的局限性,特别是其在建模复杂关系模式方面的困难,RotatE[5]在复杂向量空间中引入了特定关系的旋转,从而提高了性能。相比之下,结构化KGE模型侧重于捕获图中的结构信息。一个代表性的例子是CompGCN[6],它利用图神经网络(GNNs)有效地整合和传播知识图谱的结构特征。
图1(b)展示了一个不确定性知识图谱(UKG)的示例。由于现实世界中的知识往往表现出不同程度的不确定性,DKG缺乏完全捕捉这种复杂性所需的表达能力。为了解决这一限制,UKGE[7]模型为每个三元组引入了一个置信度分数,从而扩展了传统知识图谱以包含不确定性。例如,在图1(b)中,“language”关系将“English”实体与“Britain”实体连接起来,置信度分数为0.99,表示该三元组正确的概率为99%。UKGE通过将实体和关系及其相关置信度分数一起嵌入来编码这种不确定信息。在UKGE框架内,应用了一个转换函数将合理性分数转换为置信度分数。
DKG和UKG在建模高阶结构信息方面的能力都有限。尽管单纯复形神经网络为高阶建模提供了强有力的支持,但大多数现有方法关注的是普通图而不是多关系图,这限制了它们在知识图谱中的适用性。本研究通过将单纯复形神经网络适应于DKG和UKG中的链接预测来填补这一空白。此外,我们将语义建模集成到不确定KG中,并扩展了负采样策略以提高训练稳定性和鲁棒性。
本文提出的模型旨在解决DKG和UKG的问题。尽管在确定性和不确定性KGE模型方面取得了实质性进展,但仍存在三个主要挑战。图2提供了这些挑战的示例:
挑战1。在知识图谱中编码高阶结构特征。当前的KGE模型通常使用GNN来提取结构信息。然而,GNN中使用的拉普拉斯算子是欧几里得空间中的二阶微分算子,这限制了模型只能捕获成对交互。高阶结构特征对于增强嵌入的表达能力至关重要。如图2(a)所示,节点的直接邻居的影响及其周围高阶簇的集体影响都应该反映在其嵌入中。
挑战2。在UKG中编码不确定的高阶结构信息。在不确定性KG中,基于拉普拉斯的GNN的局限性更加明显。这些模型在不同的不确定性水平下难以捕获高阶交互。图2(b)展示了一个示例,其中具有不同置信度分数的三元组对中心节点产生不同的影响。同样,节点之间的高阶特征交互受到其相关三元组中固有的不确定性的调节。
挑战3。在UKG中提取高质量的负样本并估计未见三元组的置信度分数。在不确定性KG中,负样本也必须与适当的置信度分数相关联。然而,常用的负采样策略(如随机替换头部或尾部实体)通常会产生低质量的样本。如图2(c)所示,这样的样本通常与原始实体存在较大的语义差异,阻碍了模型学习微妙关系模式的能力。现有的解决方案,包括基于概率软逻辑的方法,通常需要大量的手动干预,从而限制了它们的实际应用性。
为了解决第一个挑战,我们提出了SCKGE(用于KGE的SCNN),它由两个主要组件组成:SCNN和GNN。SCNN通过利用霍奇拉普拉斯矩阵来整合高阶结构特征,而GNN通过标准图拉普拉斯来捕获成对结构信息。然后引入一种自适应机制将成对特征和高阶特征整合到统一的嵌入表示中。为了解决挑战2和3,我们提出了SCUKGE(用于不确定KGE的SCNN),它由三个模块组成:SCNN、GNN和置信度预测模块。SCNN将不确定性嵌入到高阶结构特征中,使模型能够有效捕获KG中的不确定高阶交互。GNN主要关注捕获拓扑特征。置信度预测模块使用语言模型来估计未见三元组的置信度分数。此外,语言模型用于过滤和生成高质量的负样本。
表示学习是实验框架的核心。该模型将多维单纯结构嵌入到连续向量空间中,通过可微目标实现拓扑约束和边界一致性的端到端优化。这一过程有效地桥接了离散的拓扑结构和连续的几何表示。对于不确定知识图谱,表示学习结合了概率嵌入或置信度加权的表示,以统一确定性和不确定性信息。这些嵌入有助于跨维度传播置信度,并在推理和训练过程中自适应地抑制噪声。
本研究推进了SCNN在关系图中的应用,特别关注确定性和UKG。此外,它探索了不确定KG中负采样的语义增强机制,提高了训练效果和推理准确性。
本文的贡献总结如下:
  • 1.
    对于DKG,我们使用单纯复形神经网络来捕获高阶结构特征。值得注意的是,我们的模型是松耦合的,可以与任何基于图拉普拉斯的框架集成。据我们所知,这是第一次将单纯复形神经网络引入DKG。
  • 2.
    对于UKG,我们构建了一个不确定的霍奇拉普拉斯矩阵来聚合不确定的高阶特征。在这个矩阵中,具有较高置信度分数的相邻节点或簇对中心节点的影响更大。据我们所知,这是第一次将单纯复形神经网络应用于UKG。
  • 3.
    对于UKG,我们利用语言模型通过分析节点特征来估计未见三元组的置信度分数。此外,使用语义信息来过滤高质量的负样本。据我们所知,这是第一次将语言模型集成到UKG中。
  • 4.
    我们在确定性和不确定性知识图谱数据集上进行了广泛的实验。结果表明,所提出的SCKGE和SCUKGE模型有效,并在各种任务中取得了良好的性能。
  • 本文的其余部分组织如下:第2节回顾了确定性和不确定性KGE的相关工作。第3节介绍了技术背景。第4节详细描述了SCKGE和SCUKGE模型。第5节报告了实验结果。第6节讨论了这项研究的更广泛影响。第7节总结了本文并概述了未来的研究方向。

    相关工作

    相关工作

    本节详细介绍了两类主要的KGE方法:确定性KGE(DKGE)和不确定性KGE(UKGE)。

    初步介绍

    本节介绍了确定性和不确定性KGE中的学习和推理问题表述。我们还提供了相关先前研究的概述,以 contextualize 本研究。

    SCKGE:用于KGE的单纯复形神经网络

    本节详细介绍了基于编码器-解码器架构的SCKGE模型。编码层包括两个模块:GCN模块和单纯复形神经网络(SCNN)模块。GCN模块捕获成对特征,而SCNN模块专注于提取高阶特征。在解码层,自适应加权机制结合了成对特征和高阶特征,然后通过ConvE进行解码。

    SCUKGE:用于UKGE的单纯复形神经网络

    本节介绍了SCUKGE模型,它由两个主要组件组成:UKGE编码器和UKGE解码器。UKGE编码器通过SCNN利用高阶结构信息来聚合特征,同时结合事实的置信度分数。UKGE解码器采用传统的不确定解码机制。为了处理未见三元组,引入了基于语言模型的负样本置信度预测器。整体模型架构如图所示

    KGE数据集

    SCKGE模型的性能通过链接预测任务进行评估。实验使用了以下数据集:FB15k [80]、WN18 [4]、FB15k-237 [81] 和 WN18RR [34]。这些数据集的统计细节总结在表1中,下面提供了每个数据集的简要描述:
  • •
    FB15k:来自Freebase,该数据集包含592,213个三元组、14,951个实体和1,345个不同的关系。训练集和测试集包含许多逆关系,这可能导致
  • 结论

    本文介绍了使用单纯复形神经网络学习确定性和不确定性知识图谱表示的方法,分别介绍了SCKGE和SCUKGE模型。SCKGE模型利用单纯复形神经网络从图中提取高阶结构特征。SCUKGE模型通过结合加权单纯复形神经网络来聚合不确定的高阶特征,并利用语言模型

    CRediT作者贡献声明

    张东:撰写——原始草稿、软件、方法论、调查、数据管理、概念化。潘寅仓:验证。任彦东:验证。李冠宇:撰写——审阅与编辑、监督。宁波:撰写——审阅与编辑。范文彦:验证。

    利益冲突声明

    作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

    致谢

    本研究得到了中国国家自然科学基金(编号61976032)的支持。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号