优化知识偏差:一种用于构建开放知识图的适应性校正方法

《Neurocomputing》:Optimizing knowledge bias: An adaptive correction method for open knowledge graph construction

【字体: 大 中 小 】 时间:2025年12月08日 来源:Neurocomputing 6.7

编辑推荐:

  Jiajun Yuan|Xiangfeng Luo|Yong Yin|Jing Zhang|Wenfang Dong|Liebin Zhao|Hang Yu上海大学计算机工程与科学学院,中国上海,200444摘要知识图谱构建旨在从文本中提取有用信息,并将其组织成结构化的知识图谱。

  
Jiajun Yuan|Xiangfeng Luo|Yong Yin|Jing Zhang|Wenfang Dong|Liebin Zhao|Hang Yu
上海大学计算机工程与科学学院,中国上海,200444

摘要

知识图谱构建旨在从文本中提取有用信息,并将其组织成结构化的知识图谱。一些最新方法利用大型语言模型强大的生成能力,克服了传统方法在泛化能力和成本方面的局限。因此,这些方法在小型、特定领域的数据集上取得了成功,但在处理开放领域文本中混乱的术语和错误事实时仍面临挑战。其主要原因是它们缺乏进一步优化知识的能力,从而导致知识偏差的积累。为解决这一问题,我们提出了一种用于开放知识图谱构建的自适应校正方法KG-OBS,该方法通过标准化知识模式和纠正事实错误来减少知识偏差。具体而言,我们首先设计了一个知识感知器,以便快速从文本中提取知识。接着,知识规范化器对提取出的知识进行模式标准化。在此过程中,采用聚类中心近似策略实现模式的自适应对齐和扩展。最后,我们设计了一种基于反事实的知识校正器,使模型能够净化知识并减少事实错误。此外,经过净化的知识会被编码并存储在知识保留系统中以实现统一管理。实验结果表明,KG-OBS无需训练即可在三个知识图谱构建基准测试中提取高质量知识。与以往方法相比,它不仅能够自适应扩展模式信息,还能自动纠正错误,从而提升知识图谱的质量。

引言

知识图谱代表了现实世界实体之间的网络关系[6]、[17]。知识图谱构建的任务是从各种文本数据源中提取、整合和组织信息,从而生成包含实体及其关系的结构化知识图谱[26]、[27]、[44]。由于知识图谱构建任务要求具备强大的语法和语义理解能力,同时生成的知识图谱还需保持一致性、简洁性和逻辑性,因此传统方法主要依赖大量的人工工作[41]。
近年来,大型语言模型在处理各种自然语言处理任务方面表现出色[12],因而成为知识图谱构建任务的主流工具[41]。尽管输入和输出形式各异,大型语言模型仍能将这些任务转化为“文本到文本”的格式[21]、[40]。此外,大型语言模型在预训练过程中积累了大量现实世界知识[16]、[37],这为各种知识图谱构建任务带来了潜在优势。因此,人们提出了多种基于大型语言模型提示技术的创新方法,如多轮对话[38]、代码生成[3]以及模式构建[43],用以生成表示知识图谱的实体-关系三元组。然而,这些方法主要依赖于知识提取的结果,缺乏进一步优化知识的能力,从而导致知识偏差。我们将知识偏差的来源分为两类:事实错误和非标准化的知识表达。如图1(a)所示,对于文本“2020年,勒布朗带领洛杉矶湖人队赢得了NBA冠军”,大型语言模型生成的三元组为“(勒布朗,赢得,2020年NBA冠军)”。但这一结果是错误的,因为篮球是团队运动而非个人运动,而且“勒布朗”和“赢得”这两个词也不规范。随着时间的推移,这类有偏见的知识的积累可能会成为导致知识图谱质量下降的重要因素。
为让大型模型能够处理知识偏差,我们借鉴了人脑的思维方式。有趣的是,尽管人类面对的信息繁杂且充满噪声,他们依然能够对外部信息进行组织、总结和反思[46]。这种认知能力恰恰反映了知识图谱构建中知识偏差带来的挑战——即混乱的术语和错误的事实。如图1(b)所示,最初提取的三元组“(勒布朗,赢得,2020年NBA冠军)”包含非标准术语和事实错误。通过引导大型语言模型自适应地规范化模式“(勒布朗·詹姆斯,赢得)”,并自动纠正错误的三元组“(洛杉矶湖人队,赢得,2020年NBA冠军)”,就能实现降低知识偏差的目标。
基于上述理念,我们提出了一种用于开放知识图谱构建的自适应校正方法KG-OBS。它的核心组成部分包括知识感知器、知识规范化器、知识校正器和知识保留器。知识感知器的功能是快速从文本中感知并提取三元组,为整个知识图谱构建流程提供数据基础。在知识规范化器中,提取的三元组会被整理成模式,同时通过聚类中心近似策略实现模式的静态对齐和动态扩展,从而避免因术语歧义而产生的知识偏差。在知识校正器中,则通过反事实比较实现知识的自我添加、自我修改和自我删除,进而减少由事实错误导致的偏差。最终,经过优化后的知识会被传递到知识保留器中,该系统通过信息编码和分布式并行技术实现大规模知识的存储与应用。我们的主要贡献如下:
  • •
    受类似人脑的认知概念启发,我们提出了KG-OBS模型,该模型不仅能生成完整且标准化的三元组,还能评估其合理性。
  • •
    我们设计的知识校正器通过反事实比较策略模拟人类的反思行为,从而实现知识的自我添加、自我修改和自我删除。
  • •
    我们设计的知识规范化器不同于传统的固定模式对齐方法,它注重持续扩展模式信息,以实现知识的自我进化。
  • •
    大量实验验证了各个模块的有效性,以及它们相较于现有最佳方法的优越性。

章节节选

知识图谱构建

传统方法通常通过“管道”方式处理知识图谱构建任务,这些管道包括实体发现[19]、[47]、实体分类[8]、[29]以及关系分类[42]等子任务。得益于预训练生成型语言模型的发展(如T5 [32]和BART [22]),近年来的研究将知识图谱构建视为序列到序列的问题,通过微调这些规模适中的语言模型来端到端地生成关系三元组[41]。大型语言模型的成功应用

方法论

图2展示了KG-OBS的总体架构。与传统知识图谱构建方法不同,我们注重在大型语言模型的提取过程中保持一致性,同时更加强调对知识的事后重组、校正和管理,以提高知识的纯净度。

实验

在本节中,我们通过三个公开数据集展示了KG-OBS的有效性。首先,我们会详细说明实验设置,包括关于基线和数据集的全面信息。随后,我们会分析实验结果。此外,我们还进行了消融实验,以评估KG-OBS各组成部分的重要性。

结论

在本文中,我们提出了一种用于开放知识图谱构建的自适应校正方法KG-OBS。与以往方法不同,我们不会直接使用大型语言模型提取的知识作为最终结果,而是引导大型语言模型对知识进行重新组织、校正和管理,以降低知识偏差。具体而言,我们首先设计了一个知识感知器,用于快速从文本中提取知识。接着,知识规范化器会对提取出的知识进行标准化处理。

CRediT作者贡献声明

Jiajun Yuan:写作——审稿与编辑,写作——初稿,方法论,概念设计。Xiangfeng Luo:写作——审稿与编辑,写作——初稿。Yong Yin:写作——审稿与编辑,写作——初稿,概念设计。Jing Zhang:可视化,研究,概念设计。Wenfang Dong:资源,方法论,研究。Liebin Zhao:写作——审稿与编辑,写作——初稿。Hang Yu:写作——审稿与编辑,写作——初稿。

利益冲突声明

作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:
Jiajun Yuan的研究经费来自国家自然科学基金(编号82404292)、上海市公共卫生优秀人才项目(编号GWVI-11.2-YQ58)、三亚市科学技术专项基金(编号2022KJCX41)等。
Jiajun Yuan于2015年在中国上海获得上海交通大学的硕士学位。他目前在上海大学攻读博士学位。同时,他还担任中国三亚市妇幼保健院的副院长,以及上海智能儿科工程研究中心儿童呼吸疾病智能临床实验室的基础资源部门主任。他的研究兴趣包括
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号