通过结构感知与对比学习增强大语言模型的文档级关系三元组抽取能力

《Information Processing & Management》:Enhancing Large Language Models for document-level relation triple extraction via structural awareness and contrastive learning

【字体: 大 中 小 】 时间:2026年09月28日 来源:Information Processing & Management 8.1

编辑推荐:

   •我们识别了基于大语言模型(LLM)的文档级关系抽取中的关键错误。•SDB-DRE通过结构感知问答改进了文档结构建模。•关系定义和边界感知损失提高了三元组抽取的准确率。•SDB-DRE在Re-DocRED上通过单阶段推理取得了更高的F1分数。 引言 文档级关系抽取(Doc

  

•我们识别了基于大语言模型(LLM)的文档级关系抽取中的关键错误。•SDB-DRE通过结构感知问答改进了文档结构建模。•关系定义和边界感知损失提高了三元组抽取的准确率。•SDB-DRE在Re-DocRED上通过单阶段推理取得了更高的F1分数。

引言

文档级关系抽取(DocRE)(Xie et al., 2022, Yao et al., 2019, Zeng et al., 2020, Zeng et al., 2024)专注于从给定文档中提取实体之间的关系。与句级关系抽取相比,DocRE由于共指和跨句关系等现象而更加复杂,但它更准确地反映了实际应用(Peng et al., 2022, Xu et al., 2025, Zhang, Yan et al., 2025)。此前的研究(Tan, He et al., 2022, Xu et al., 2021, Yuan et al., 2023)大多依赖预标注的实体进行实体对关系分类,这未能完全捕捉到真实场景的复杂性。鉴于此,一些研究(Eberts and Ulges, 2021, Xu and Choi, 2022, Zhang et al., 2023)转向了更为复杂的文档级联合关系抽取设置,其中模型同时解决实体提及识别、共指消解和关系抽取问题(Jia et al., 2019, Liu et al., 2023)。然而,这类方法过度细化了DocRE所涉及的步骤,导致累积误差降低了关系抽取性能(Tang et al., 2022, Wang et al., 2020)。近年来,大语言模型(LLMs)领域的进展(Achiam et al., 2023, Jiang et al., 2023, Xu et al., 2024)使得构建端到端三元组抽取模型成为可能。利用LLMs进行DocRE可以利用广泛的预训练知识和强大的生成能力。这促使我们探索如何将LLMs更好地应用于DocRE。

尽管近期基于LLM的方法取得了令人瞩目的成果(Hang et al., 2025, Liu et al., 2024, Xue et al., 2024),但当前的多步推理方法增加了计算成本。此外,这些方法存在三个典型问题:(1)文档结构解析错误(2)关系定义歧义,以及(3)实体边界识别错误。如图1所示,我们选取一个文档示例更直观地展示LLMs在执行端到端三元组抽取时产生的三种现象及其根本原因。

训练后的LLMs能够正确预测Orlov的出生地是赫松,以及弗拉基米尔·米特罗法诺维奇·奥尔洛夫的国籍是俄罗斯。然而,由于LLMs在特定场景下缺乏文档结构解析能力,它们未能识别出Orlov和弗拉基米尔·米特罗法诺维奇·奥尔洛夫实际上指的是同一个实体,因此无法进一步推断赫松和俄罗斯之间的国家关系。这一局限性源于模型在训练过程中未被明确赋予文档结构解析能力。

从文档语义和关系名称冲突的角度来看,关系[Orlov, conflict, Nikolai Yudenich]似乎是正确的。然而,模型忽略了"conflict"的具体定义,该定义要求客体实体必须是一个事件,主体实体必须参与其中(例如:温斯顿·丘吉尔, conflict, 第二次世界大战)。DocRE中存在大量关系类别。因此,如何使LLM在具体场景中准确理解关系定义仍然是一个关键挑战。

三元组预测中的这些错误代表了另一个典型问题。例如,LLM对苏联海军力量的边界识别不正确,导致即使LLM正确理解了关系和文档语义,也会产生错误的三元组。提高端到端输出中实体提及边界识别的准确率对于增强LLM性能至关重要。

为解决这些问题,我们提出了一种单阶段推理、基于LLM的文档级三元组抽取方法,称为SDB-DRE(Structure, Definition and Boundary-Document Level Relation Extraction)。具体而言,在第一阶段训练中,我们构建SAQA(Structure-Aware Question Answer)数据,其中包含实体类别和共指解析问答对,以增强LLM的基础文档结构解析能力。在第二阶段关系抽取训练的基础上,我们引入了两个额外的学习机制:关系定义学习和提及边界学习。前者在训练过程中引入关系定义记忆,以缓解当关系类型数量过多且模型难以全面理解关系定义时对模型性能的负面影响。后者提高了LLM在输出三元组时识别头尾实体边界的准确率。值得注意的是,我们的方法不依赖预给的实体标注,可以在推理时直接进行端到端三元组抽取,这为在相关数据集和实际应用中进行适配提供了潜力。我们的贡献可以总结如下:

•我们识别了现有基于LLM的端到端DocRE方法中的三个重要问题:(1)文档结构解析错误(2)关系定义歧义以及(3)实体边界识别错误。•我们提出了一种基于LLM的单阶段推理DocRE模型,称为SDB-DRE,其中包含以下关键组件:(1)SAQA训练增强了LLM解析文档结构的能力(2)静态关系定义记忆学习使LLM更好地理解关系定义(3)提及边界学习提高了LLM识别三元组中头尾实体边界的能力。•与依赖显式中间模块或预标注实体的现有DocRE方法不同,SDB-DRE仅将共指链接、实体类型、关系定义和提及边界作为训练时的监督信息。在推理时,它直接从原始文档生成关系三元组,减少了对外部辅助模块的依赖并缓解了误差传播。•大量实验表明,SDB-DRE模型不仅在性能上优于现有的LLM基线方法,而且由于其单阶段推理架构,在时间效率上也更为出色,在这方面超越了当前方法。

研究目标与工作方向

本研究的主要目标是提高LLMs在文档级关系三元组抽取中的有效性和鲁棒性。尽管近期基于LLM的生成方法在信息抽取方面展现了令人瞩目的能力,但它们在应用于DocRE时仍面临几个关键挑战。具体来说,频繁观察到三种常见错误类型:文档结构解析错误、关系定义歧义和实体边界识别错误。

文档级关系抽取

大多数现有研究(Gao et al., 2024, Giorgi et al., 2022, Jain et al., 2024, Lu et al., 2023, Xiao et al., 2022)在推理时依赖预标注的实体,这削弱了它们处理真实场景时的鲁棒性(Feng and Lakshmanan, 2024, Meng et al., 2024, Wang et al., 2022, Wang et al., 2024)。一些工作(Eberts and Ulges, 2021, Saini and Nayak, 2025, Xu and Choi, 2022, Zhang et al., 2023)转向探索从...进行三元组联合抽取的方法。

方法论

图2提供了SDB-DRE的概述。该框架包含一个两阶段训练管道和一个端到端推理过程。在第一阶段(左侧),结构感知问答预调优阶段赋予底层LLM文档解析能力:训练一个Struct-Aware LoRA适配器以回答关于共指链接和实体类型的文档结构问题。在第二阶段(中间),模型使用数据集进一步微调以进行文档级关系抽取。

我们使用Re-DocRED(Tan, Xu et al., 2022)数据集进行实验,该数据集经过前人研究(Xue et al., 2024)的改进。该数据集包含一个验证集,有498篇文章和17,236个三元组,确保全面而精确的评估。它还包含一个测试集,有499篇文章和17,448个三元组事实。该数据集源自DocRED(Yao et al., 2019),Re-DocRED解决了原始数据集中假阴性样本过多的问题。基于...

文档解析能力研究

为系统评估第一阶段训练后模型解析文档结构能力的变化,我们在Re-DocRED测试集上进行评估,比较SAQA训练前后的模型表现。需要注意的是,此评估仅基于测试集构建,不涉及任何训练数据,从而避免了训练数据和评估数据之间可能存在的重叠或偏差。具体来说,评估实例基于...构建。

理论意义

本研究通过提出一种统一的基于LLM的端到端关系三元组抽取框架,为文档级关系抽取和生成式信息抽取研究做出了贡献。与依赖预定义实体或多阶段推理流水线的传统DocRE方法不同,所提出的SDB-DRE框架能够直接从原始文档中提取关系三元组,减少了误差传播并提高了模型鲁棒性。此外,这...

结论

在本工作中,我们提出了一种基于LLM的DocRE方法。首先,我们通过结构感知问答训练模型获取文档结构解析能力。在关系抽取训练过程中,我们引入了关系定义学习和提及边界学习来缓解LLMs在抽取三元组时面临的挑战。我们的方法在推理时不依赖现有实体标注,使其更贴近实际应用需求。实验结果...

局限性

生物医学多关系泛化。CDR和GDA仅包含一种正关系类型,因此在这些设置中禁用了RDCL。额外的BioRED实验使用八种关系类型启用了RDCL,并在多关系生物医学数据集上对完整框架进行了直接测试。更广泛的生物医学模式和额外的领域特定基准仍有待研究。

支撑证据预测。支撑证据识别是文档级...的一个重要子任务。

CRediT作者贡献声明

Dinghao Pan:写作——原稿撰写、可视化、软件、方法论、形式化分析、数据整理、概念构思。Yuanyuan Sun:写作——原稿撰写、资源、形式化分析、数据整理、概念构思。Jiru Li:资源、项目管理、概念构思。Ling Luo:验证、概念构思。Jian Wang:验证、概念构思。Hongfei Lin:资源、项目管理。

利益冲突声明

作者声明他们不存在已知的竞争性经济利益或个人关系,这些关系可能影响本文所报告的工作。

致谢

本研究得到国家自然科学基金(编号:62276043, 62302076)和中央高校基本科研业务费专项资金(编号:DUT25YG108)的资助。

Dinghao Pan | Yuanyuan Sun | Jiru Li | Ling Luo | Jian Wang | Hongfei Lin
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号