从意外中学习:结合大语言模型(LLM)引导的测试时适应机制来处理时序知识图谱

《Knowledge-Based Systems》:Learning from Surprise: Fusing LLM-Guided Test-Time Adaptation for Temporal Knowledge Graphs

【字体: 大 中 小 】 时间:2026年04月02日 来源:Knowledge-Based Systems 7.6

编辑推荐:

  时序知识图谱补全(TKGC)通过动态知识表示支持社会事件预测、金融风险监控等应用,但传统静态模型难以应对非稳态环境中的语义漂移。本文提出DART-TKG框架,利用大语言模型(LLM)的语义推理能力实现神经符号自适应:在线语义监控检测异常事件,LLM生成符号化调控指令,结合LoRA技术进行参数微调,解决传统在线学习方法计算成本高、适应性弱、遗忘严重等问题。实验在ICEWS14/18数据集上验证,相比9种基线模型,DART-TKG在保持原有知识结构的同时,有效捕捉突发语义变化,显著提升跨模型泛化能力和抗遗忘性能。

  
白浩东|康胜国|郑炯|秦继伟|周鑫
中国新疆乌鲁木齐新疆大学,830049

引言

时间知识图谱完成(TKGC)是一种动态知识表示和推理的关键范式,在社会事件预测、金融风险监控和公共卫生预警等关键领域展现出巨大的实用性。从根本上说,TKGC的有效性取决于知识表示的动态演变,它弥合了历史结构依赖性(来自图谱快照)与新兴语义上下文之间的差距。为了反映这一需求,智能系统领域的最新进展开创了多种知识适应策略。这些策略包括结构优化方法,如多级信息整合[1]和基于全局-局部历史信息的预测查询[2],以及使用规范化流来捕捉一次性场景中的历史趋势等高级适应机制。
此外,符号系统和神经系统之间的协同作用也受到了广泛关注;最近的研究表明,大型语言模型(LLMs)对知识图谱的理解比之前预期的要深刻得多[3],这补充了多视图指令挖掘方面的创新[4]。
为了捕捉事件演变的复杂动态,现有研究主要集中在设计复杂的时间编码器上。从基于循环神经网络(RNNs)的早期方法(如RE-NET [6]),到利用GNNs [7]和Transformers [8]的现代架构,这些模型在提取结构依赖性和捕捉长期时间模式方面取得了显著进展。然而,它们通常遵循传统的静态学习范式:在训练集上优化参数,然后在测试集上进行推理,前提是未来数据与历史观测数据具有相同的统计分布。
正如最近关于数据融合的调查[9]所强调的,时间知识图谱(TKGs)已成为动态推理的关键框架。然而,现实世界本质上是非静态的;由于意外事件,数据分布经常发生剧烈的语义漂移,这对上述静态模型构成了严峻挑战。如图1所示,考虑一个典型的商业场景,其中有两家竞争对手公司(公司A和公司B),它们历史上一直处于“激烈竞争”状态。它们的互动模式主要由对抗关系主导(例如,因专利侵权而起诉、价格战)。由于过度拟合这种历史惯性,传统的TKG模型往往会高信心地预测公司A将在下一个时间点继续起诉公司B。然而,如果突然发生一次“私人执行峰会”(表现为一个稀疏事件“私人会议”的观察),底层分布可能会立即转变为“战略联盟”模式(例如,成立合资企业)。在这种情况下,缺乏测试时适应(TTA)能力的现有静态模型通常会将这次私人会议视为噪声,错误地持续预测“起诉/诉讼”。
为了直观地展示这一挑战,我们将实体对(科技巨头A,科技巨头B)的关系表示投影到一个二维语义空间中。在历史阶段,由于长期的竞争状态,互动事件密集地聚集在以“竞争簇”(蓝色区域)中,该簇由专利诉讼和公众批评等关系锚定。然而,“高级谈判”的突然发生引发了剧烈的语义漂移,导致立即过渡到一个新的“联盟簇”(红色区域),以合作为中心。这种语义分布的转变如图2所示。遗憾的是,受历史惯性的限制,传统静态模型的预测表示仍然被困在旧的敌对区域(由虚线表示),无法跨越这一“语义鸿沟”。相反,DART-TKG利用LLMs的推理能力构建了一个语义桥梁,有效地引导模型参数与新分布区域对齐,从而准确捕捉到新兴意图。
为了解决非静态环境带来的挑战,现有的在线学习研究主要探索了三种范式;然而,它们在时间知识图谱(TKGs)的背景下都存在显著局限性:
周期性重新训练是最直接的方法;然而,其高昂的计算成本使其无法实时响应快速演变的数据流。持续学习通常采用正则化或经验回放机制来限制模型参数的剧烈波动。然而,这种保守的更新策略在面对严重的语义漂移(例如上述外交缓和)时往往导致适应缓慢,阻碍了快速捕捉新兴模式的能力。元学习旨在通过学习“如何适应”来实现快速泛化;然而,其复杂的双级优化过程严重限制了其在大规模知识图谱上的可扩展性。
为了解决这些挑战,我们提出了DART-TKG,这是一个模型无关的即插即用框架。我们的核心假设是,虽然统计TKG模型难以理解为什么“私人执行峰会”会引发“战略联盟”,但拥有广泛世界知识的大型语言模型(LLMs)可以轻松推断出这种潜在的相关性。DART-TKG建立了一个新颖的“神经-符号适应闭环”:主动检测:我们不是被动地更新所有样本,而是通过监控预测损失来识别“令人惊讶的事实”(例如,上述的访问,代表模型无法解释的反直觉事件)。语义推理:我们引入LLM作为推理代理,分析这些令人惊讶事实背后的语义理由,并生成明确的调整指令(例如,“检测到外交缓和:增加‘达成协议’关系的权重,抑制‘威胁’关系”)。语义注入:我们设计了一种基于规范的语义对齐机制,结合参数高效的LoRA技术,将LLM的离散符号指导转化为连续向量空间中的梯度约束。
我们总结本文的主要贡献如下:
  • •
    通用即插即用范式:我们提出了一个通用的在线适应框架,而不是提出一个新的基础模型。该模块有效地将“结构编码”(由主干网络管理)与“语义演变”(由适应模块管理)分离,使其能够无缝增强任何现有的TKG模型,而无需架构限制。
  • •
    LLM引导的神经-符号适应:我们率先将LLM的语义推理集成到时间图模型的在线参数更新过程中。通过利用混合损失函数,我们的方法有效地弥合了离散语义信号和连续向量空间之间的差距,解决了跨模态知识对齐的挑战。
  • •
    广泛的实验验证:我们在ICEWS14和ICEWS18数据集上进行了全面评估。实验将我们的方法与9种不同的基线进行了对比——包括GNNs、RNNs、Transformers和最近的基于LLM的方法——证明了其在不同智能架构上的强大泛化能力。

部分摘录

相关工作

时间知识图谱完成(TKGC)旨在根据历史快照推断未来事实。现有工作主要集中在围绕以下三个技术路线设计复杂的编码器:

初步介绍

在本节中,我们正式定义了时间知识图谱完成(TKGC)任务,并介绍了我们的测试时适应(TTA)设置。

方法论

在本节中,我们详细阐述了DART-TKG的数学原理。如图3所示,该框架包括三个相互耦合的组成部分:
  • (1)
    一个在线语义监控器,作为计算效率高的适应触发器,在模型图中称为漂移点检测;
  • (2)
    一个神经-符号诊断器,它使用大型语言模型(LLMs)作为语义推理代理,将高损失“令人惊讶的事实”转化为明确的语义调整指令;
  • (3)
    一个集成
  • 实验

    在本节中,我们旨在解决以下两个核心研究问题:
    RQ1(泛化能力):作为即插即用模块的DART-TKG能否在标准基准测试中一致地提升基线模型的性能?
    RQ2(抗遗忘):与传统的在线适应方法相比,DART-TKG在适应新分布时能否有效克服灾难性遗忘?

    分析与讨论

    基于上一节中呈现的实验结果,本节深入探讨了驱动DART-TKG性能提升的潜在机制。
    我们从两个维度进行分析:泛化原理、抗遗忘机制。

    结论

    本文提出了DART-TKG,这是一种新颖的神经-符号知识适应框架,它利用大型语言模型(LLMs)的符号推理能力来增强时间知识图谱的动态演变。为了解决非静态环境中静态知识表示的刚性问题,我们超越了传统的“离线训练-冻结测试”范式,建立了一个包含“基于异常的监控”的闭环进化机制。

    CRediT作者贡献声明

    白浩东:撰写——原始草稿、方法论、调查、概念化。康胜国:可视化、形式分析、数据整理。郑炯:撰写——审阅与编辑、监督、资金获取。秦继伟:撰写——审阅与编辑、监督、资金获取。周鑫:撰写——审阅与编辑、验证。

    利益冲突声明

    作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号