具有对抗性图凝聚的类增量式连续图学习
《Neurocomputing》:Class-incremental continual graph learning with adversarial graph condensation
【字体:
大
中
小
】
时间:2026年03月26日
来源:Neurocomputing 6.5
编辑推荐:
本文提出ACGR框架,通过对抗性图凝聚和分布建模解决持续图学习中生成回放方法的两大局限:随机编码器难以捕捉特征核,固定子图导致风险高。实验表明ACGR在准确性和稳定性上优于现有方法。
作者:袁启澳、朱博轩、关胜伟、郭嘉乐、黄普鲁登斯
利物浦大学,英国利物浦,L69 3BX
摘要
持续图学习(Continual Graph Learning, CGL)使模型能够从流式图结构数据中逐步学习,同时不遗忘先前获得的知识。经验回放(Experience Replay)是一种常见的解决方案,它在训练过程中重用部分过去的数据样本。然而,这种方法可能导致信息丢失和隐私风险。生成式回放(Generative Replay)通过合成有信息的子图来解决这些问题。现有的生成式回放方法通常依赖于基于分布匹配的图压缩(graph condensation),但这面临两个关键挑战:(1)随机特征编码可能无法捕捉差异度量的特征核心,从而削弱了分布对齐;(2)在固定大小的子图上进行匹配无法保证在先前任务上的低风险,这一点从领域适应理论(domain adaptation theory)中可以得到证明。
为了克服这些限制,我们提出了一个基于对抗性压缩(Adversarial Condensation)的生成式回放(ACGR)框架。该框架将图压缩重新定义为最小-最大优化问题,以实现更好的分布匹配。此外,我们不是学习单个子图,而是学习其分布,从而能够生成多个样本并改进经验风险最小化。在三个基准数据集上的实验表明,ACGR在准确性和稳定性方面都优于现有方法。
引言
持续图学习(CGL)旨在从图结构数据流中学习,同时保留之前观察到的图的知识。现有的CGL方法大致可以分为基于正则化(regularization-based)、基于回放(replay-based)和基于架构(architecture-based)的方法[1]。其中,基于回放的方法因其简单性和有效性而受到了广泛关注。它们通过维护一个存储先前任务代表性样本的缓冲区来缓解灾难性遗忘问题。根据这个缓冲区的构建方式,基于回放的方法可以进一步分为经验回放和生成式回放方法。经验回放方法直接从之前的任务中选择样本,而生成式回放方法则合成伪样本进行回放。尽管经验回放在任务增量设置下效率较高且表现良好,但在更具挑战性的类别增量设置下性能会显著下降[2]。相比之下,尽管生成式回放方法需要额外的训练开销,但在类别增量场景下表现出更强的性能[3]、[4]。
大多数现有的CGL生成式回放方法使用基于分布匹配的图压缩技术[3]、[4]。对于每个新任务,它们生成一个近似原始图分布的伪子图,然后用于回放。然而,我们发现了这些方法中的三个关键问题。首先,尽管它们在实践中取得了成功,但对其有效性的理论理解仍然不足。其次,这些方法通常依赖于随机初始化的编码器将原始图特征映射到嵌入空间中进行分布对齐。我们认为这种策略可能会妨碍有效度量分布差异的核心的发现,因为随机编码器不能保证区分原始图和压缩图。第三,使用节点数量有限的压缩子图进行分布对齐往往会导致对真实分布的近似效果较差。如图1(a)所示,CaT在Corafull数据集上生成的子图表现出较高的类间方差但类内方差较低,与原始图的特征分布显著不同。这种低类内方差削弱了伪样本的代表性。
为了解决这些问题,我们提出了一个名为基于对抗性压缩的生成式回放(ACGR)的新框架。我们的方法首先引入了领域适应理论[5],并推导出一个关于先前任务风险的理论界限,该界限以分布差异损失的形式表示。这一理论洞察揭示了现有生成式回放方法的局限性。在此基础上,我们将图压缩过程重新定义为最小-最大优化问题,鼓励模型识别差异度量的特征核心,从而增强分布对齐。具体来说,特征编码器被训练来最大化子图与原始图之间的差异,而子图则被训练来最小化这种差异。此外,为了提高样本多样性并收紧理论风险界限,我们将子图建模为一个分布,而不是一个固定结构,从而能够生成多个子图进行对齐。如图1(b)所示,ACGR学习的子图在类间和类内方差之间取得了更好的平衡,与原始图的分布更加一致。我们的主要贡献可以总结如下:
- •
我们首次对基于分布匹配的图压缩的生成式回放进行了理论分析,得出了一个关于先前任务风险的上界,从而证明了该方法的目标的合理性。
- •
我们将图压缩重新定义为最小-最大优化问题,促进了特征核心的学习,从而改善了分布对齐。
- •
我们为合成子图引入了分布公式,收紧了风险界限,并能够生成多个多样化的子图,更好地近似原始数据分布。
- •
在多个基准数据集上的广泛实验表明,ACGR在准确性和稳定性方面始终优于最先进的方法,验证了每个提出的组件的有效性。
章节片段
持续图学习
持续图学习(CGL)方法大致可以分为基于正则化、基于回放和基于架构的方法。
基于正则化的方法旨在通过限制模型更新来保留先前学习到的知识,从而防止遗忘早期任务[6]、[7]、[8]、[9]。TWP [6]引入了一种正则化惩罚来减轻节点交互的变化。类似地,GraphSail [7]使用知识蒸馏来保留节点的邻域
方法论
在本节中,我们提出了一个结合对抗性图压缩的生成式回放持续图学习框架。对于每个任务,我们旨在生成一个与原始图具有相似分布的高信息量合成图。基于领域适应理论,通过控制子图与原始图之间的差异,可以通过回放子图来上限训练模型的风险。我们首先介绍
数据集设置
根据之前的研究[2],我们在一个小数据集Corafull [27]、一个中等规模的数据集Arxiv [28]和一个大型数据集Reddit [29]上评估了ACGR。它们的统计信息如表1所示。Corafull和Arxiv是引用网络,而Reddit是帖子到帖子的图。对于Corafull和Reddit,每个任务被分配五个类别,而对于Arxiv,每个任务被分配两个类别。所有数据集都遵循60%的节点作为训练集、20%的节点作为验证集的划分策略
结论
在本文中,我们指出了现有基于图压缩的生成式回放方法中的关键挑战。具体来说,使用随机编码器可能无法捕捉到有效差异度量所需的特征核心,从而阻碍了子图与原始图分布的对齐。此外,基于节点覆盖率有限的子图进行分布匹配无法保证在先前学习任务上的低风险。为了解决这些问题,我们结合了领域适应
CRediT作者贡献声明
袁启澳:撰写——原始草稿、可视化、验证、软件、方法论、形式分析、数据策划、概念化。朱博轩:撰写——审稿与编辑。关胜伟:撰写——审稿与编辑、验证、项目管理、资金获取、形式分析、概念化。郭嘉乐:撰写——审稿与编辑、监督。黄普鲁登斯:撰写——审稿与编辑、监督。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
致谢
本研究得到了西安交通大学利物浦大学(XJTLU)PGRS博士奖学金基金(编号PGRS2006022)的支持。
袁启澳于2021年获得利物浦大学计算机科学与软件工程学士学位。他目前是英国利物浦大学的博士候选人,研究兴趣包括终身机器学习和图学习。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号