知识图谱(KGs)支持广泛的下游应用,包括信息检索[1]、推荐系统[2]和问答[3]。知识图谱由三元组组成,每个三元组包括一个头部实体、一个关系和一个尾部实体。知识图谱嵌入(KGE)是一种基本技术,它将实体和关系映射到低维向量空间中,从而在下游任务中实现更有效的推理和更好的性能。例如,这些向量表示可以显著提高信息检索系统的检索准确性。KGE技术的日益采用吸引了越来越多研究人员的关注,使得该领域更加专业化。KGE方法通常根据KG中三元组的确定性程度分为确定性和不确定性方法。图1展示了确定性和不确定性KG的示例。
在图1(a)中,确定性知识图谱(DKG)将实体之间的关系视为确定的。例如,“broadcaster”关系将“Stranger Things”实体与“Netflix”实体连接起来,形成三元组“(Stranger Things, broadcaster, Netflix)”。确定性KG通常遵循封闭世界假设:图中存在的三元组被认为是真实的,而缺失的三元组则被视为错误的。确定性KG的KGE整合了各种类型的特征,通常可以分为两类:非结构化和结构化模型。非结构化KGE模型不显式考虑图的结构属性。例如,TransE[4]将头部实体、关系和尾部实体映射到向量空间中,头部实体的向量加上关系向量近似于尾部实体的向量。为了克服TransE的局限性,特别是其在建模复杂关系模式方面的困难,RotatE[5]在复杂向量空间中引入了特定关系的旋转,从而提高了性能。相比之下,结构化KGE模型侧重于捕获图中的结构信息。一个代表性的例子是CompGCN[6],它利用图神经网络(GNNs)有效地整合和传播知识图谱的结构特征。
图1(b)展示了一个不确定性知识图谱(UKG)的示例。由于现实世界中的知识往往表现出不同程度的不确定性,DKG缺乏完全捕捉这种复杂性所需的表达能力。为了解决这一限制,UKGE[7]模型为每个三元组引入了一个置信度分数,从而扩展了传统知识图谱以包含不确定性。例如,在图1(b)中,“language”关系将“English”实体与“Britain”实体连接起来,置信度分数为0.99,表示该三元组正确的概率为99%。UKGE通过将实体和关系及其相关置信度分数一起嵌入来编码这种不确定信息。在UKGE框架内,应用了一个转换函数将合理性分数转换为置信度分数。
DKG和UKG在建模高阶结构信息方面的能力都有限。尽管单纯复形神经网络为高阶建模提供了强有力的支持,但大多数现有方法关注的是普通图而不是多关系图,这限制了它们在知识图谱中的适用性。本研究通过将单纯复形神经网络适应于DKG和UKG中的链接预测来填补这一空白。此外,我们将语义建模集成到不确定KG中,并扩展了负采样策略以提高训练稳定性和鲁棒性。
本文提出的模型旨在解决DKG和UKG的问题。尽管在确定性和不确定性KGE模型方面取得了实质性进展,但仍存在三个主要挑战。图2提供了这些挑战的示例:
挑战1。在知识图谱中编码高阶结构特征。当前的KGE模型通常使用GNN来提取结构信息。然而,GNN中使用的拉普拉斯算子是欧几里得空间中的二阶微分算子,这限制了模型只能捕获成对交互。高阶结构特征对于增强嵌入的表达能力至关重要。如图2(a)所示,节点的直接邻居的影响及其周围高阶簇的集体影响都应该反映在其嵌入中。
挑战2。在UKG中编码不确定的高阶结构信息。在不确定性KG中,基于拉普拉斯的GNN的局限性更加明显。这些模型在不同的不确定性水平下难以捕获高阶交互。图2(b)展示了一个示例,其中具有不同置信度分数的三元组对中心节点产生不同的影响。同样,节点之间的高阶特征交互受到其相关三元组中固有的不确定性的调节。
挑战3。在UKG中提取高质量的负样本并估计未见三元组的置信度分数。在不确定性KG中,负样本也必须与适当的置信度分数相关联。然而,常用的负采样策略(如随机替换头部或尾部实体)通常会产生低质量的样本。如图2(c)所示,这样的样本通常与原始实体存在较大的语义差异,阻碍了模型学习微妙关系模式的能力。现有的解决方案,包括基于概率软逻辑的方法,通常需要大量的手动干预,从而限制了它们的实际应用性。
为了解决第一个挑战,我们提出了SCKGE(用于KGE的SCNN),它由两个主要组件组成:SCNN和GNN。SCNN通过利用霍奇拉普拉斯矩阵来整合高阶结构特征,而GNN通过标准图拉普拉斯来捕获成对结构信息。然后引入一种自适应机制将成对特征和高阶特征整合到统一的嵌入表示中。为了解决挑战2和3,我们提出了SCUKGE(用于不确定KGE的SCNN),它由三个模块组成:SCNN、GNN和置信度预测模块。SCNN将不确定性嵌入到高阶结构特征中,使模型能够有效捕获KG中的不确定高阶交互。GNN主要关注捕获拓扑特征。置信度预测模块使用语言模型来估计未见三元组的置信度分数。此外,语言模型用于过滤和生成高质量的负样本。
表示学习是实验框架的核心。该模型将多维单纯结构嵌入到连续向量空间中,通过可微目标实现拓扑约束和边界一致性的端到端优化。这一过程有效地桥接了离散的拓扑结构和连续的几何表示。对于不确定知识图谱,表示学习结合了概率嵌入或置信度加权的表示,以统一确定性和不确定性信息。这些嵌入有助于跨维度传播置信度,并在推理和训练过程中自适应地抑制噪声。
本研究推进了SCNN在关系图中的应用,特别关注确定性和UKG。此外,它探索了不确定KG中负采样的语义增强机制,提高了训练效果和推理准确性。
本文的贡献总结如下:
1.对于DKG,我们使用单纯复形神经网络来捕获高阶结构特征。值得注意的是,我们的模型是松耦合的,可以与任何基于图拉普拉斯的框架集成。据我们所知,这是第一次将单纯复形神经网络引入DKG。
2.对于UKG,我们构建了一个不确定的霍奇拉普拉斯矩阵来聚合不确定的高阶特征。在这个矩阵中,具有较高置信度分数的相邻节点或簇对中心节点的影响更大。据我们所知,这是第一次将单纯复形神经网络应用于UKG。
3.对于UKG,我们利用语言模型通过分析节点特征来估计未见三元组的置信度分数。此外,使用语义信息来过滤高质量的负样本。据我们所知,这是第一次将语言模型集成到UKG中。
4.我们在确定性和不确定性知识图谱数据集上进行了广泛的实验。结果表明,所提出的SCKGE和SCUKGE模型有效,并在各种任务中取得了良好的性能。