综述:持续图学习:综述

《Pattern Recognition》:Continual Graph Learning: A Survey

【字体: 大 中 小 】 时间:2026年03月25日 来源:Pattern Recognition 7.6

编辑推荐:

  本文系统综述了持续图学习(CGL)领域的研究现状,重点分析了动态图环境下的灾难性遗忘问题,提出了基于元学习策略、回放机制和架构优化的三种主要方法体系,并通过跨数据集实验验证了不同方法的性能差异与适用场景,最后构建了包含5个基准数据集和多种开源实现的开源平台。

  
乔远|关胜伟|倪品妮|罗天伦|黄普鲁登斯|张维克托|甘嘉乐
利物浦大学,利物浦,L69 3BX,英国

摘要

持续学习(CL)的研究主要集中在欧几里得空间中表示的数据上,而对图结构数据的关注相对较少。此外,大多数现有的图学习模型都是为静态图设计的,然而在现实世界的应用中,图通常是随时间演变的。图的这种动态性质引入了诸如灾难性遗忘等挑战,这也影响了增量训练图学习模型的效果。因此,迫切需要开发出稳健、有效且高效的方法来进行持续图学习(CGL)。CGL是一个新兴领域,旨在将持续学习扩展到图结构数据。本文介绍了CGL的核心概念,将其与其他相关领域区分开来,并对最近的研究进行了全面回顾。这些研究根据用于应对图结构数据所提出的独特挑战的策略进行了分类。文章还强调了CGL中的关键挑战,并通过实验分析提供了潜在的解决方案。最后,它提供了一系列精选的数据集、代码库和基准测试,并概述了这一快速发展的领域中的开放问题和未来研究方向。

引言

持续学习(CL),或称终身学习,旨在从序列数据流中逐步获取知识,同时保留先前的信息以促进未来的学习任务[1],[2]。尽管神经网络在受控条件下在孤立任务上能够达到人类水平的表现,但由于灾难性遗忘(CF)[3],它们在处理连续数据流时的效果显著下降。由于数据隐私问题、存储限制和计算成本,完全重新训练的不切实际性,需要采取替代策略来减轻灾难性遗忘(CF)[2]。有效的CL需要平衡可塑性(适应新知识)和稳定性(保留现有知识),这是一个被称为稳定性-可塑性困境的基本挑战[4]。虽然CL研究主要集中在欧几里得数据上,但其应用于图结构数据的研究仍较少。
图通过节点-边结构提供了关系数据的多功能表示,使其能够应用于引文网络、社交系统和交通建模[5]。图学习(GL)将结构和基于特征的关系整合到组件表示中,以用于下游任务。现实世界中的图动态性推动了动态图学习(DGL)方法的发展,这些方法在保留历史模式的同时逐步更新模型[6]。然而,当前的DGL研究更侧重于迁移学习而非减轻CF,这一点从[7]和[8]等文献中可以看出。
持续图学习(CGL)是一个新兴领域,专注于解决演变图环境中的灾难性遗忘(CF)问题。与传统持续学习(CL)不同,CGL引入了两个独特的挑战:节点级依赖性(相互连接的节点)和任务级依赖性(过去和新图结构之间的关系)。解决这些依赖性对于在基于图的持续学习中实现稳定性-可塑性平衡至关重要。然而,现有的调查主要提供描述性分类,系统分析这些方法在统一实验协议下的操作优势和劣势方面存在关键空白。为了解决这个问题,本调查超越了描述性分类,对现有CGL方法的操作优势和劣势进行了批判性分析。我们通过统一的实证基准测试来支持这一分析,揭示了先前文献中常常被掩盖的性能权衡。此外,为了弥合理论与实践之间的差距,我们提供了精选的数据集、代码库和讨论,以指导未来的研究方向。

部分摘录

持续学习

持续学习(CL)通过从一系列任务中逐步学习来应对动态数据分布。一个关键挑战是灾难性遗忘,即随着新任务的学习,之前任务的性能会下降。CL旨在平衡稳定性(保留早期任务的知识)和可塑性(适应新任务)。形式上,CL涉及解决一系列子任务T={t}t=1T,目标是在所有任务中优化性能。每个任务t都有一个数据集Dt,

问题陈述

CGL逐步解决一系列子任务{Tk}k=1K,目的是在最终学会所有子任务后解决整个任务。每个子任务都包含一个图结构数据(GTk=(XTk, VTk, ETk),其中XTk是特征集,VTk是节点集,ETk是边集,YTk是标签集,Tk是任务标识符。在大多数CGL问题中,图的演变表示拓扑的逐步更新,即GT1:k=GT1,其中GT1是直到任务Tk的整个图。

方法

持续图学习(CGL)方法通常分为基于正则化、基于回放、基于架构和混合方法,如图1所示。早期研究(2020-2021年)主要集中在正则化上,但最近的工作越来越多地倾向于使用基于回放和基于架构的策略。这种转变解决了类增量学习中的挑战,因为简单的约束已被证明是不够的(见第6.2节)。因此,研究人员正朝着更多

数据集和开源代码

实验与分析

大多数现有研究在任务增量设置中报告了令人印象深刻的表现,但在更具挑战性的类增量设置中缺乏这种表现。此外,不同的方法可能会使用不同的数据集、数据分割策略和一些常见的超参数,这使得通过报告的性能来比较它们的表现变得困难。因此,我们对一些典型方法在四个基准数据集上进行了比较实验

CGL的开放问题

我们调查了主流的CGL方法,并从技术角度对CGL进行了全面讨论。在本节中,我们总结了一些CGL中的开放问题和挑战。

结论

本调查提供了持续图学习的全面概述,分析了基础概念、关键方法和开放挑战。它为新手和专家提供了现有方法的深入评价,作为资源。
在五个数据集和两种持续学习设置中进行基准测试揭示了几个关键见解。虽然正则化方法在效率上很高,但在类增量学习(Class-IL)中会遇到困难,因为随着标签空间的扩大,它们会失去类别区分能力。

未引用的引用

CRediT作者贡献声明

乔远:撰写——原始草稿、可视化、验证、方法论、调查、形式分析、数据整理、概念化。关胜伟:撰写——审稿与编辑、监督、项目管理、资金获取、概念化。倪品妮:撰写——审稿与编辑、验证、调查。罗天伦:撰写——审稿与编辑、验证、资源提供。黄普鲁登斯:撰写——审稿与编辑、监督。张维克托:撰写——审稿与编辑,

利益冲突声明

作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。

致谢

本研究得到了西安交通大学利物浦大学(XJTLU)PGRS博士奖学金基金(编号PGRS2006022)的支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号