为神经过程建模任务不确定性,以便通过更少的任务实现元学习

《Neurocomputing》:Modeling task uncertainty for neural processes to meta-learn with fewer tasks

【字体: 大 中 小 】 时间:2026年03月24日 来源:Neurocomputing 6.5

编辑推荐:

  针对图神经网络少样本类增量学习中的过拟合和灾难性遗忘问题,提出G-Scaler框架,通过全局图结构传输与混合特征空间构建,实现任务适应策略迁移和语义偏移校正,提升模型对新任务适应能力并保持旧任务性能。

  
王斌|陶博祥|窦洪波|王子健|罗琳
中国石油大学(华东)青岛软件学院计算机科学与技术学院,中国青岛,266580

摘要

图少样本类增量学习(GFSCIL)旨在使图神经网络(GNNs)能够有效应对两个主要挑战:对新任务的过拟合风险以及先前学习任务的灾难性遗忘问题。要解决这些挑战,需要在适应新任务的同时保留对旧任务的记忆。为此,我们关注两个关键方面。首先,我们探讨如何充分利用任务之间的相似性图结构,通过利用任务之间的共享关系使模型更快地适应新任务。其次,我们研究如何将节点嵌入从旧特征空间平滑过渡到新特征空间,确保在适应新任务的同时保留先前任务的知识。为了解决这些挑战,我们提出了一个名为G-Scaler的新框架。G-Scaler结合了全局级别的图结构转移和任务级别的混合特征空间。这种方法使模型能够学习可迁移的任务适应策略,从而帮助其快速适应新任务。重要的是,G-Scaler还传递了元知识,有助于在增量学习场景中实现适应。此外,通过整合新旧节点特征信息,模型创建了一个混合特征空间,有助于减轻语义漂移并保持对旧类别节点的分类能力。实验结果表明,G-Scaler的性能优于现有方法,在基于图的少样本类增量学习任务中表现出更高的准确率和更低的遗忘率。

引言

图结构化数据用于反映各种实体之间的关系,例如社交网络[1]、推荐系统[2][3]、交通流[4][5][6]等。近年来,图神经网络在节点分类[7][8][9][10][11]中的应用引起了广泛关注和充分研究。然而,大多数关于图节点分类的研究假设数据集包含足够数量的标记样本,这与现实世界的情况不符。此外,类别的数量不是固定的,因为新类别会随着时间的推移逐渐引入图中。为了更贴近实际应用,我们在图上引入了少样本类增量学习,称为GFSCIL。
GFSCIL中的先前方法侧重于构建节点或原型本身的元知识,强调它们与任务的相关性。然而,这种方法未能充分利用任务图结构内的相似性。作为有价值的先验知识,结构的可迁移性可以用来快速适应当前任务,并在添加新任务时传递。此外,先前方法采用知识蒸馏或分布回放来减轻模型的遗忘问题。然而,这些方法仅依赖旧模型来迫使新模型适应,因为它们假设参数更新必须与旧模型保持一致。实际上,应该同时利用新旧特征空间的信息,它们的差异并非完全有害,因为它反映了新旧特征空间对新旧任务的不同表达能力。
GFSCIL面临两个主要挑战。首先,增量任务和基础阶段之间的类别数量不平衡,而且每个任务的样本量相对较小。1) 如何在避免过拟合的同时实现模型对新任务的快速适应?传统的图卷积网络(GCN)可以有效地利用消息传递机制来聚合来自相邻节点的信息,从而在节点数量足够时更新中心节点的特征。然而,在少样本设置中,只有少量节点可用于更新特征,导致节点维度远小于特征维度。模型容易受到噪声干扰和过拟合的影响,从而降低其对未见类别的分类性能。其次,当模型学习新类别时,它无法访问旧类别的数据,无法在参数优化过程中同时考虑新旧类别。2) 如何在不需要回放旧样本的情况下有效保留先验知识?随着新任务的到来,这个问题变得更加突出,导致旧类别的分类性能逐渐下降。这种现象被称为灾难性遗忘[12][13][14]。
为了解决上述两个主要挑战,我们提出了一种称为G-Scaler的方法。G-Scaler通过结构解耦和优雅转换(G-Scaler)来实现。我们首先使用一个称为可学习位置感知编码器(LPAE)[15]的编码器,该编码器可以动态感知图结构并捕获图中的节点特征。我们将位置编码作为结构特征与节点特征一起更新,而不仅仅是简单地将其添加到节点特征中。这样做的目的是引入全局信息,以增强编码器的表达能力,使其能够感知图中节点的相对位置。为了保持旧任务的稳定性,我们考虑了新旧任务特征空间中节点嵌入不对齐的问题,即语义漂移现象。为了更灵活地纠正这种偏差并在整合新特征空间的信息的同时保留旧特征空间的表达能力,我们设计了一种方法来平滑融合新旧特征空间,以构建一个再生的混合特征空间,使旧特征的嵌入能够优雅地过渡到新特征空间。为了增强新任务的适应性,我们使用节点特征和结构特征作为输入来训练等变图神经网络(EGNN)[16]:图结构补偿器(GSC)。它使不同任务之间能够共享图结构,有助于减轻数据不足造成的差距,并解决过拟合问题。语义校正模块将旧任务特征与混合特征空间对齐,以确保语义一致性,而GSC模块使新任务能够重用来自先前任务的图结构信息,实现语义适应和结构保留之间的平衡。最后,为了减少特征空间中以原型为中心的类别分布的重叠,我们设计了一种对比损失函数,该函数在最小化类内方差的同时最大化类间方差。总结来说,我们工作的主要贡献如下:
  • •
    我们提出将可学习位置感知编码器与基于等变图神经网络的图结构补偿器相结合。这种组合充分利用了跨任务的图拓扑结构,增强了模型对新类别的适应性,并减轻了新任务中的过拟合。
  • •
    为了解决新旧任务特征空间之间的语义漂移,我们设计了一种平滑的特征融合方法。它整合了新旧特征空间的信息来构建混合特征空间,使旧类别的特征能够平滑过渡到新任务的特征空间,从而提高模型对旧类别的记忆。
  • •
    为了解决特征空间中类别原型分布的重叠问题,我们设计了一种对比损失函数。它减少了类内方差,同时增加了类间方差,从而明确了分类的决策边界,并减轻了由相似原型嵌入引起的混淆。
  • 部分摘录

    典型的类增量学习

    类增量学习(CIL)旨在使模型能够顺序学习新类别而不会发生灾难性遗忘。对于避免存储旧类别数据的非基于记忆的方法,EWC [17] 使用费舍尔信息矩阵来估计参数变化,为基于参数正则化的遗忘缓解奠定了基础。作为这一工作的扩展,LwM [18] 将传统的知识蒸馏损失和分类损失与注意力蒸馏相结合

    问题定义

    通常,在图的少样本类增量学习中,给定一系列图对应于要学习的任务,即。我们将类别集合表示为。模型最初在一组类别上进行训练,使用数据集。
    在增量阶段,对于每个新任务,模型会获得一组来自新类别的支持样本,每个类别有个标记样本(-way-shot),形成一个支持集,其中和。目标是学习新类别,同时

    方法论

    在本节中,我们介绍了用于解决GFSCIL问题的提出的框架。首先我们在图2中概述了模型。然后,我们详细介绍了基础阶段和增量阶段(附录A)。
    基础阶段 在基础阶段,训练编码器使模型能够通过捕获节点的空间关系和依赖性来学习图节点的底层结构。

    模型优化

    基于已调整间距的类别原型,我们可以使用它们来计算最终预测logits:其中是中第个查询节点的真实标签,是一个指示函数。是原型集合,是任务中的查询向量集合。是用于测量查询向量与类别原型之间接近度的欧几里得距离。然后我们分两个阶段给出损失函数。
    在基础阶段,损失函数可以计算为:

    数据集

    我们在五个真实世界数据集上验证了提出的模型G-Scaler:Amazon_Clothing、CoraFull、DBLP、Coauthor_CS和Amazon_Computers。我们在表1中总结了实验中使用的数据集的统计数据。数据集的详细描述将在附录B中提供。

    实验设置

    根据我们的训练协议,训练阶段分为两部分:基础训练阶段和增量训练阶段。对于Amazon_Clothing和CoraFull,我们选择了3个类别作为

    结论

    现有的GFSCIL方法未能充分利用跨任务的图结构信息。它们忽略了任务图拓扑数据作为元知识的潜力,导致编码过程中节点特征嵌入不够理想。此外,以前的方法在处理语义漂移方面做得不够充分,只是承认了其存在,而没有有效地考虑新旧特征空间的信息。因此,我们提出了G-Scaler,LPA整合了位置

    CRediT作者贡献声明

    王斌:方法论、概念化。陶博祥:写作——原始草稿、软件、数据管理。窦洪波:验证。王子健:可视化。罗琳:资源。

    利益冲突声明

    作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
    王斌于2004年在中国石油大学(华东)获得学士学位,2009年获得博士学位。他现在是青岛软件学院和中国石油大学计算机科学与技术学院的副教授。他的研究兴趣包括图神经网络和强化学习理论。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号