ComCon:多模态知识图谱补全的互补-矛盾正则化方法
《Information Fusion》:ComCon: Complementary-Contradictory Regularization for Multimodal Knowledge Graph Completion
【字体:
大
中
小
】
时间:2025年12月05日
来源:Information Fusion 17.4
编辑推荐:
陈杰|张武阳|赵舒|尹云霞中国安徽省合肥市安徽大学计算机科学与技术学院,邮编230601摘要多模态知识图谱通过整合多模态数据扩展了传统知识图谱,从多个角度丰富了实体表示。大多数多模态知识图谱本质上是不完整的,因此需要多模态知识图谱补全技术来预测缺失的三元组。与传统知识图谱补全不同
陈杰|张武阳|赵舒|尹云霞中国安徽省合肥市安徽大学计算机科学与技术学院,邮编230601摘要多模态知识图谱通过整合多模态数据扩展了传统知识图谱,从多个角度丰富了实体表示。大多数多模态知识图谱本质上是不完整的,因此需要多模态知识图谱补全技术来预测缺失的三元组。与传统知识图谱补全不同,多模态知识图谱补全需要整合文本和视觉等多种模态,以实现更全面的表示。然而,统一表示中固有的跨模态语义差异会导致对齐问题及精度下降。为解决这一问题,我们提出了ComCon这一有效的正则化模型。我们的核心思路是将统一表示明确分解为两个独立组成部分:互补特征,即文本和视觉模态提供相互强化的信息以提升表示质量;矛盾特征,则用于捕捉各模态之间的冲突信号与不一致性。通过对这些特征之间的交互进行正则化处理,ComCon有效降低了语义差异,提升了表示学习效果。此外,我们还采用了加权负采样方法,通过缩小分数差距来识别潜在的假阴性样本并降低其影响。在DB15K和MKG-W数据集上的全面实验表明,我们的ComCon模型优于现有的先进基准模型。我们的代码和数据集已发布在https://github.com/wyZhang016/ComCon上。引言多模态知识图谱通过添加文本、图像等多模态数据来增强结构信息,从而扩展了传统知识图谱的功能。虽然传统知识图谱已被应用于推荐系统[1]、[2]和问答系统[3]、[4]等领域,但其作用正在不断扩大,逐渐成为为大型语言模型提供外部知识库,以支持复杂的基于事实的推理任务[5]、[6]。不幸的是,多模态知识图谱同样存在传统知识图谱的不完整性问题。这种不完整性不仅限制了它们的直接应用价值,还为下游人工智能系统提供了有缺陷的基础,进而影响其推理的可靠性。因此,需要多模态知识图谱补全技术,在预测缺失链接的同时解决跨模态语义冲突,而多模态表示的固有多样性使得这一任务更加复杂。与传统知识图谱类似,多模态知识图谱也存在固有不完整性,因而也需要多模态知识图谱补全技术。目前的多模态知识图谱补全方法主要分为两类:(i)基于嵌入的方法[7]、[8]、[9],这类方法学习三元组和多模态数据的低维表示,一些高级版本还利用负采样来提升区分能力[10]、[11];(ii)微调方法[12]、[13],这类方法借助预训练模型来协调多模态知识组件。尽管这些方法在预测缺失链接时显示出缓解语义冲突的潜力,但多模态表示的固有多样性仍是跨模态语义对齐面临的核心挑战。虽然多模态知识图谱补全技术旨在解决这些跨模态语义对齐问题,但现有方法在统一表示学习过程中仍难以调和语义差异。图1(a)展示了一个典型案例:文本模态准确描述了梵高《星夜》中的后印象派风格,而对应的视觉模态却错误地呈现了一张真实的夜空照片。同样,在图1(b)中,右侧的文本语义本应描述普通的向日葵,但文本与视觉表示之间的差异可能导致人们对所表达概念的理解出现偏差。这种不一致性凸显出多模态知识图谱补全技术在统一不同模态的多样化语义表达方面所面临的挑战。此外,负采样旨在提升多模态知识图谱补全模型区分正确三元组和可能出错的三元组的能力。然而,负采样的应用往往忽视了假阴性样本的存在,而这些样本实际上对应着真实的三元组。这类假阴性样本的存在可能导致模型将某些真实三元组误认为是错误的,从而影响模型的准确性。为解决这些问题,我们提出了一种名为ComCon的有效正则化方法,该方法通过我们所说的互补-矛盾特征来解决不同模态之间的语义差异问题。具体而言,我们将统一的多模态表示分解为两个独立组成部分:互补特征,用于捕捉各模态之间语义一致且相互强化的信号;矛盾特征,则用于分离那些存在冲突或具有模态特性的信息。首先,该方法从多模态数据中提取特征,并将它们映射到相同的语义空间中,从而获得统一表示。随后,ComCon通过有效的正则化处理优化互补特征与矛盾特征之间的平衡,并引入额外的平衡特征以进一步优化。此外,我们还设计了加权负采样模块,用于改进模型的负采样过程,该模块通过缩小负样本与正样本的分数差距来识别潜在的假阴性样本,从而降低其影响。我们的贡献如下:•我们提出了一种名为ComCon的有效正则化模型,该模型通过优化互补特征与矛盾特征的平衡,最小化冲突,实现有效的影响均衡。•我们提出了加权负采样方法,这是一种全新的重加权框架,旨在通过自适应识别并降低可疑样本的权重,从而减轻假阴性样本的影响。•我们在DB15K和MKG-W数据集上进行了大量实验,验证了ComCon模型在多模态知识图谱补全任务中的优异性能,证明了其在处理多模态数据不一致性问题方面的优势。本文结构如下:第2节回顾并分类了传统知识图谱补全和多模态知识图谱补全领域的现有研究。第3节介绍符号定义及任务表述方式。第4节详细阐述我们提出的ComCon模型。第5节提供实验统计结果及理论分析。最后,第6节总结本研究的主要发现,并探讨该领域的未来研究方向。相关片段传统知识图谱补全知识图谱补全旨在预测知识图谱中缺失的链接,这一领域已有了大量研究。相关方法通常可分为三类。第一类是基于距离的模型,这类模型将关系视为实体嵌入之间的转换。例如,最初的TransE[14]模型就将关系建模为简单的平移操作(h+r≈t)。这一基础理念后来被扩展为更复杂的转换形式,比如RotatE模型将关系建模为复平面上的旋转操作。符号定义知识图谱可表示为G={E,R,T},其中E表示实体集合,R表示关系集合。三元组集合定义为T={(h,r,t)|h,t∈E,r∈R},其中h、r和t分别代表头部实体、关系和尾部实体。对于包含视觉和文本模态的多模态知识图谱,其表示形式为G={E,R,T,V,D}。此处,E、R和T的含义与标准知识图谱相同,而V和D则表示视觉和文本模态相关的内容。方法多模态知识图谱通过整合多种模态,能够实现更具表现力的表示形式,但各模态之间可能存在的不对齐问题会导致实体表示出现语义差异,进而引发错误信息的预测。为解决这一问题,我们提出了ComCon模型,该模型通过有效引入互补特征和矛盾特征来提升一致性。图2展示了ComCon模型的整体结构,后续章节将详细介绍该模型。实验在本节中,为了实证评估我们所提模型的性能,我们开展了大量实验,通过回答以下问题来证明该模型的优越性:RQ1:与现有的多模态知识图谱补全方法相比,ComCon在链接预测任务中的表现如何?RQ2:ComCon中各个模块对最终结果的贡献是什么?RQ3:互补特征、矛盾特征以及平衡特征对整个模型有何影响?RQ4:如何……结论在本文中,我们提出了ComCon这一创新的多模态对齐模型,该模型旨在解决跨模态语义差异问题。它将多模态特征对齐到统一的语义空间中进行表示,同时利用特征正则化技术来获取并平衡互补特征与矛盾特征。为应对假阴性样本的问题,我们引入了加权负采样方法,通过缩小其分数差距来有效解决这一问题。致谢我们的研究得到了国家自然科学基金(62476003)、安徽省优秀科研创新团队项目(2024AH010004)、SMP-Zhipu.AI大型模型跨学科基金(SMP-Zhipu20240210)、安徽省高校协同创新计划(GXXT-2023-050)、安徽省自然科学基金水科学联合基金(2408055US006)、安徽大学智慧课程开发与教学创新项目(2025xjjyzd003)等项目的支持。AnhuiCRediT作者贡献声明陈杰:撰写——审阅与编辑、概念设计。张武阳:撰写——初稿、软件开发、方法设计。赵舒:监督、资源提供。尹云霞:结果验证、数据整理。利益冲突声明作者声明不存在任何可能影响本文研究结果的已知财务利益或个人关系。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号