生成式二进制记忆:一种基于二值化嵌入的伪回放类增量学习方法

《Neural Networks》:Generative Binary Memory: Pseudo-Replay Class-Incremental Learning on Binarized Embeddings

【字体: 大 中 小 】 时间:2026年03月24日 来源:Neural Networks 6.3

编辑推荐:

  本文提出生成式二进制记忆(GBM),一种面向类增量学习(CIL)的新型伪回放方法。它在二元空间中,通过伯努利混合模型(BMM)生成合成二进制伪样本,有效建模类分布的多模态特征。实验表明,在标准ResNet-18上,GBM在CIFAR100和TinyImageNet上取得了优于现有技术的平均准确率;在内存受限的嵌入式系统场景下,GBM原生支持二进制神经网络(BNNs),并在CORE50基准上实现了更高的最终准确率和显著的内存节省。

  
亮点
  • •
    生成式二进制记忆(GBM),一种基于伯努利混合模型(BMMs)的、用于二值化嵌入的伪回放类增量学习方法。
  • •
    专用的嵌入二值化器,使得我们的GBM兼容任何特征提取器和深度神经网络(DNN)。
  • •
    在配备了我们二值化器的ResNet-18上,GBM在CIFAR100 (+2.9%) 和TinyImageNet (+1.5%) 上实现了优于现有技术的平均准确率。
  • •
    针对二进制神经网络(BNNs)的GBM实验结果,在CORE50基准测试中,以+3.1%的最终准确率和4.7倍的内存节省,超越了新兴的研究工作。
引言
许多实际应用面临着不断变化的背景,其中持续涌现出新的概念和类别。部署在此类动态环境中的深度神经网络(DNN)应具备学习新类别,同时保留对过去类别知识的能力,这种学习范式被称为类增量学习。然而,如果不采取任何预防措施,DNN在对新数据进行微调时,往往会忘记先前学习到的模式,这种现象被称为灾难性遗忘。目前已有许多方法来在不过去所学类别的情况下,有效地从一组新类别(也称为新任务)中学习。
在现有方法中,基于样本(或范例)的方法通过存储并在训练期间回放一小部分过去样本(即范例),已显示出优越的性能。然而,这种优势是以增加内存需求为代价的。存储即使是先前样本的一小部分子集也需要额外的内存资源。这对于内存稀缺的嵌入式系统上的CIL部署来说是一个重大挑战。为了解决这个问题,大量努力集中在减小内存大小上,主要是通过压缩存储的范例,或者将范例存储在嵌入空间中(这种方法也称为潜在回放)。
最近,潜在回放被扩展到了二进制神经网络。BNNs是一种有价值的方法,它通过二进制权重和激活,显著降低了内存需求、计算复杂度和能耗。此外,由于嵌入的二元性质,BNN上的潜在回放仅有很小的内存开销。
这项工作更进一步,通过动态生成合成的、二进制的伪样本,而不是回放存储的二进制范例。生成式模型有潜力显著减少内存占用,并通过在过去的训练数据之间进行插值来避免过拟合。现有的无范例CIL方法仅计算并存储每个过去类的一个代表性原型。合成伪样本通过数据增强启发式方法围绕原型生成。基于无范例CIL,我们研究了二进制嵌入的利用,如图1简要所示。
如图1a)所示,在一个类似VGG的BNN中,我们观察到二进制特征(取值为{-1, +1})倾向于按类别聚类,其中一些特征具有较高的翻转率。每个特征中+1的频率可以构成一个类别的二进制嵌入分布的代表性原型。类分布可以通过伯努利过程来合成。此外,我们观察到,在将分层聚类应用于类别嵌入时,会出现多种模式,这表明单一原型可能无法捕捉一个类别的全部多样性。为了解决这个问题,伯努利混合模型提供了一个统计生成框架,用于建模具有多模态特征的二进制向量。本文的主要贡献包括:
  • •
    生成式二进制记忆,一种基于伯努利混合模型的、用于二值化嵌入的伪回放类增量学习方法。
  • •
    专用的嵌入二值化器,使我们的GBM兼容任何特征提取器和深度神经网络。
  • •
    在ResNet-18上的实验结果表明,GBM在诸如TinyImageNet等具有挑战性的数据集上,与FeTril等其他原型方法相比,提高了现有技术水平的性能,例如在20个增量任务的TinyImageNet上提高了+1.5%。
  • •
    在BNN上应用GBM的实验结果,在专门用于微型DNN模型的有限内存预算下管理CIL,在CORE50基准测试中以+3.1%的最终准确率和4.7倍的内存节省,超越了新兴的工作。
相关工作
持续学习。 在文献中的众多持续学习问题中,我们的重点是类增量学习,其目标是在不依赖任务标签的情况下学习一个统一的分类器。CIL本质上涉及可塑性-稳定性的权衡,模型必须保持足够的灵活性以学习新任务,同时又要足够稳定以保留先前获得的知识。存在多种方法,包括基于架构的方法、正则化方法和基于回放的方法。在回放方法中,基于潜在回放的方法存储中间特征,而不是原始输入。潜在回放可以与压缩技术结合,以进一步提高内存效率。我们的工作建立在潜在回放和基于原型的方法之上,但引入了生成模型来处理二进制嵌入。
生成式二进制记忆
CIL问题表述。 CIL问题涉及学习一系列分类任务,从初始任务开始,具有训练数据集D0,然后是T个增量任务,具有训练数据集D1, ..., DT。Dt= { (xt,i, yt,i) }Nti=1是模型在任务t时接收到的训练数据集。Dt由Nt个标记样本(xt,i)组成,yt,i∈ Ct表示类别标签,Ct是任务t的类别集合。不同任务的类别之间没有交集,即Ci∩ Cj= ?。
结论
本文介绍了生成式二进制记忆方法,以支持二进制神经网络中的伪回放,其依赖于伯努利混合模型。我们通过额外使用嵌入二值化器,证明了其对任何实值网络的适用性,在具有挑战性的基准测试(如TinyImageNet和CORE50)上,与最先进的伪回放和回放方法相比,实现了更高的平均准确率。此外,GBM缓解了深度神经网络和二进制神经网络中的灾难性遗忘,使其成为在资源受限环境中部署持续学习系统的有前景的解决方案。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号