通过特征增强和对数概率混淆(Logits Mix-up)方法减轻少样本类增量学习中的偏见

《Journal of Visual Communication and Image Representation》:Mitigating bias in Few Shot Class Incremental Learning with Feature Augmentation and Logits Mix-up

【字体: 大 中 小 】 时间:2025年12月27日 来源:Journal of Visual Communication and Image Representation 3.1

编辑推荐:

  增量学习中的模型偏置问题,本文提出FALM方法:通过缺失路径过滤增强特征表示,结合熵加权混合logits策略,有效降低新类别的偏差。在miniImageNet、CIFAR100、CUB200数据集上验证优于SOTA模型。

  
Krishna Kumar Singh | K. Hima Bindu
计算机科学与工程,印度安得拉邦国立理工学院(NIT Andhra Pradesh)

摘要

深度神经网络在特定任务上通常表现出色,但在逐步学习新类别时面临灾难性遗忘的显著挑战。近期在少样本类别增量学习(Few-Shot Class-Incremental Learning, FSCIL)领域的先进方法主要使用一个解耦的分类器作为预训练后的原型头部。这些新类别的原型基于有限的实例生成,往往具有较高的偏差,导致在增量类别上的性能较差。最近的方法通过各种原型校准或分类器微调来应对这一问题。然而,在增量学习过程中,这些方法的改进效果有限。
本文提出了一种通过特征增强(Feature Augmentation, FALM)和熵加权logits混合(Entropy-Weighted Logits Mix-up)方法来减轻偏差的新方法。特征提取器最后一层得到的嵌入是特定于任务的,可能会忽略未见类别的某些特征。本文通过在中间层的特征上应用缺失通道滤波器(Missing Pass Filter, MPF)来增强最后一层的嵌入,并采用logits混合策略,通过结合三个独立头部产生的logits的熵加权组合进一步减少偏差。在miniImageNet、CIFAR100和CUB200数据集上的实验表明,FALM的性能优于现有的最先进方法(SOTA)。

引言

在不断变化的世界中,新的对象或类别经常出现,例如新照片被添加到相册中。学习模型必须能够识别这些新类别,同时保留之前学到的知识。这个过程被称为类别增量学习(Class-Incremental Learning, CIL)[1]、[2]、[3],其中模型旨在解决灾难性遗忘问题[4]。像[5]、[6]、[7]、[8]这样的CIL方法主要关注新类别有足够实例的情况。然而,当只有少量训练实例可用时,方法就属于少样本类别增量学习(Few-Shot Class-Incremental Learning, FSCIL)[9]、[10]、[11]、[12]、[13]、[14]、[15]的范畴。FSCIL模型旨在逐步学习新类别,同时避免忘记旧类别并防止对新类别过拟合。如果在少量新类别实例上重新训练模型,则可能会发生过拟合;但如果在预训练后冻结特征提取器,则会导致欠拟合。本质上,一个有效的增量学习模型必须在学习新类别和保留先前获得的知识之间找到平衡。这种平衡在神经系统中被称为稳定性-可塑性困境(Stability-Plasticity Dilemma)[16],其中稳定性表示保留现有知识的能力,而可塑性表示整合新信息的能力。
在少样本类别增量学习(FSCIL)[7]、[9]、[10]、[11]、[15]、[17]中,最近出现了一种有前景的范式,主要采用“提取器冻结和原型插入”策略。在这种方法中,特征提取器在基础数据集上预训练后或通过模仿基础数据集进行元训练后被冻结[10]、[11]。在预训练期间训练的分类头部被类别原型替换,形成一个仅包含原型的头部。随着新类别的出现,相应的原型会被添加。由于增量类别仅由少量实例表示,因此相应的原型往往偏向于相似的基础类别,从而导致欠拟合,如图1所示。CEC [11]通过图注意力网络(Graph Attention Network, GAT)进行元训练并调整原型以缓解这一问题。FACT [15]提出通过流形混合(Manifold Mix-up)生成虚拟原型并保留它们以供将来使用。然而,尽管这些FSCIL方法主要提高了整体性能,但增量学习过程依赖于从有限样本中得到的原型,其特征往往被特征提取器的任务特定层忽略。
[14]、[17]的作者应用原型校准来提高新类别的性能。TEEN [17]认为,虽然冻结的提取器可以在所有类别中实现令人满意的平均准确率,但由于其对基础类别的偏差,新类别的性能往往不理想,如图1(a)和(b)所示。图1(a)和(b)表明增量类别的准确率明显低于基础类别,而图1(c)展示了应用所提方法后性能的提高。图1的水平轴表示会话索引,其中会话0对应于基础类别,每个后续会话对应于增量类别。
观察结果表明,基础类别的偏差相对较低,而增量类别的偏差显著较高,如图2(a)所示。这种偏差不平衡导致了基础类别和增量类别之间的准确性差异。
在这项工作中,我们通过特征增强和logits混合方法来减轻偏差。从特征提取器最后一层获得的嵌入高度特定于其训练或已经看到的类别。然而,特征提取器的较低层捕获了更通用的特征,如[18]所述。在FSCIL中,为未见类别获得更好的特征至关重要。本文引入了缺失通道滤波器(MPF),这是一种简单但有效的方法,通过提取较低层或中间层的一部分通用特征来增强最后一层的嵌入。MPF机制如图3所示,旨在减轻增量学习过程中的偏差。
此外,还使用基于熵的logits混合方法来减轻偏差,其中logits来自三个不同的分类头部。这种混合方法通过修改logits的方差来调整偏差和方差之间的权衡,从而减少增量学习过程中的整体偏差,如图2(b)和(c)所示。
所提出模型(FALM)的主要贡献如下:
  • 1.通过实证分析,我们证明了新类别性能较低主要是由于它们对基础类别的偏差。
  • 2.我们引入了一种简单而有效的特征增强技术,该方法使用了缺失通道滤波器。
  • 3.我们证明基于熵的logits混合方法进一步提高了性能。

章节片段

类别增量学习

类别增量学习(Class-Incremental Learning, CIL)是指训练模型以识别新类别的同时保持其识别先前学习类别的能力。保持模型能力的基本方法之一是存储和重放来自先前类别的代表性示例。这被称为示例方法[5]、[7]、[8]、[19]、[20]。然而,存储示例数据受到内存大小的限制,并且存在类别不平衡问题。其他方法是正则化

问题定义

设Dtrain0, Dtrain1, , ……, Dtr
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号