通用增量学习:缓解任务间与任务内分布随机性导致的混淆
《Pattern Recognition》:Universal Incremental Learning: Mitigating confusion from inter- and intra-task distribution randomness
【字体:
大
中
小
】
时间:2026年10月21日
来源:Pattern Recognition 9.1
编辑推荐:
•提出通用增量学习(UIL),支持随机增量类型与规模。
•识别出由任务间与任务内分布随机性引起的双重混淆。
•方向重校准与多目标学习解决梯度冲突。
•幅度重校准缓解不均衡类别上的优化偏差。
•MiCo在四个基准上的UIL与VIL场景均达到最先进性能。
引言
增量学习(IL
•提出通用增量学习(UIL),支持随机增量类型与规模。
•识别出由任务间与任务内分布随机性引起的双重混淆。
•方向重校准与多目标学习解决梯度冲突。
•幅度重校准缓解不均衡类别上的优化偏差。
•MiCo在四个基准上的UIL与VIL场景均达到最先进性能。
引言
增量学习(IL)使模型能够在动态真实场景中循序渐进地获取新知识,而无需从头重新训练。早期方法依赖于参数正则化和回放来保留历史表示[1],而近期进展越来越多地利用参数高效的提示适应来更好地应对分布偏移[2]。
根据涌入知识的性质,主流增量场景主要被分为类别增量学习(CIL)[3]和域增量学习(DIL)[4]、[5],如图1所示。具体而言,CIL假设每个增量任务在同一域内引入一组不相交的新类别,而DIL仅关注域偏移,同时保持类别集合固定。
然而,这两种设置都将增量限制在单一预定义类型中,从而过度简化了真实世界的动态变化,限制了其实际应用性。在现实中,新类别和新域往往同时且不可预测地出现。例如,在自动驾驶场景中,新物体类别的发现常与由不同天气或光照条件引起的域偏移相伴发生[6]、[7]。为了更好地建模此类复杂性,通用增量学习(VIL)[8]近期被提出,作为一种与类别和域无关的设置,模型对下一个会出现哪些类别或域缺乏先验知识,如图1所示。尽管如此,VIL仍然假设增量规模是静态的(即每个任务中有固定数量的新类别或新域),这与任务规模不可预测地波动的动态现实条件存在显著偏差。为弥合这一差距,必须研究一种更通用的增量学习范式,该范式同时考虑跨任务的增量类型随机性和每个任务内增量规模的随机性,从而更忠实地反映现实场景中动态增量的特征。
在本工作中,我们引入了通用增量学习(UIL),这是一种更真实的增量学习设置,同时纳入增量类型和增量规模的随机性,概念上如图1所示。在UIL下,每个涌入的任务可能引入新类别和/或新域的任意组合,而新引入的类别或域的数量在各任务间不可预测地变化。"通用"一词意味着模型在运行时对即将到来的增量的类型或规模没有任何先验知识。"通用"聚焦于具有明确定义类别标签的开放世界增量学习,但本工作不涉及未知类别的发现。
正如表1中所正式比较的,虽然所有增量设置都面临灾难性遗忘(CF)这一根本挑战,但它们在增量类型和规模的随机性方面存在显著差异。特别地,VIL引入了增量类型的随机性,但仍然假设固定的增量规模,而UIL在类型和规模两方面都引入了随机性。因此,UIL在其伴随的挑战——源于分布随机性的挑战——上具有根本性不同。
与在无明确任务边界的情况下操作样本级流数据的GCL(CF+模糊边界)不同,UIL保留了明确的任务边界和批量级增量。与处理纯类别增量范式下静态类别频率不平衡的LT-CIL(CF+类别不平衡)不同,UIL引入了双重挑战:它既受到随机规模引起的长尾效应(任务内混淆)的影响,更关键的是,它必须处理由类别和域增量的不可预测混合引起的跨任务特征冲突(任务间混淆)。
该设置引入了现有增量学习方法难以应对的两个根本性挑战:
1 任务间分布混淆:由于增量类型在顺序任务中随机变化,为特定类型(例如纯类别增量或纯域增量)设计专门模块变得无效[3]、[4]。此外,当模型遇到新型增量类型时,倾向于学习与先前获取的表示相冲突的知识。这种冲突阻碍了准确且确定的预测,最终加剧了灾难性遗忘。
2 任务内分布混淆:由于增量规模的随机性,累积的类别分布不可避免地呈长尾状,因为在真实场景中不同类别以不同频率出现。标准优化器[9]、[10]计算批次平均梯度,这本质上将更新偏向于样本丰富的头部类别。因此,梯度更新变得不对称:头部类别主导优化轨迹,而尾部类别获得的梯度信号不足,导致稀有类别欠拟合,而频繁类别过拟合。
为应对这些双重挑战,我们提出了MiCo(缓解混淆),一个为UIL量身定制的精简而高效的框架。MiCo集成了多目标学习方案与两个解耦的重校准模块,分别对梯度方向和幅度进行操作。具体而言,为对抗任务间混淆,我们联合优化交叉熵损失Lce和熵最小化损失Lem[11]、[12]。Lce将预测与真实标签对齐,而Lem显式地减少每个样本的预测分布熵(PDE),迫使模型无论增量类型如何变化都产生锐利、确定的预测。为进一步稳定该多目标优化,我们引入了一个方向重校准模块,用于检测并解决冲突的梯度更新(即梯度余弦相似度GCS<0),确保跨任务更平滑的收敛。为应对任务内混淆,我们设计了一个幅度重校准模块,基于类别频率与梯度强度之间的正相关观察来重新缩放梯度幅度。这种有原则的重新缩放缓解了不对称优化,确保头部和尾部类别之间的平衡学习。本工作的主要贡献总结如下:
•我们正式研究了通用增量学习(UIL),一种更通用且更真实的增量学习设置,同时考虑了涌入增量的类型和规模的随机性。
•我们提出了MiCo,一种通过多目标学习方案耦合方向和幅度解耦的梯度重校准,有效缓解UIL中任务间和任务内分布混淆的新型框架。
•在四个基准上的广泛实验表明,MiCo在提出的UIL和现有的VIL场景下均显著优于最先进方法。
章节摘录
增量学习
增量学习(IL)从根本上旨在持续获取新知识,同时缓解灾难性遗忘,即神经网络在接触新数据时倾向于覆盖先前学习的表示。为解决这一挑战,主流方法分为三个主要类别。首先,基于回放的方法通过重放存储的示例[13]、[14]或生成合成样本[15]来近似过去数据,以保留历史知识。
问题形式化与定义
问题形式化。我们正式定义通用增量学习(UIL)。设D={D1, D2, …, DT}表示T个不相交任务的序列。每个任务Dt={Xt, Yt}由nt张图像Xt={x1, x2, …, xnt}及其对应标签Yt={y1, y2, …, ynt}组成。对于i∈[1, 2, …, nt],每个标签yi=(ci, mi)标注了一个类别索引ci∈Ct和一个域索引mi∈Mt。形式上,对于任意t, t'∈[1, 2, …, T]且t≠t',不相交任务满足Xt∩Xt'≠?和Yt∩Yt'≠?。
UIL同时考虑了类型和
方法
基于第3节中的实证分析,我们提出了MiCo(缓解混淆),一个为UIL量身定制的精简框架。如图4所示,在训练当前任务Dt期间,MiCo维护一个冻结的预训练骨干网络和一个可训练的分类器头部,而在评估累积测试集Dtest={D1, …, Dt}时保持所有参数冻结。为应对任务间分布混淆,第4.1节引入了一个多目标学习方案,联合优化Lce和Le
实验
在本节中,我们进行广泛实验以评估所提框架的有效性。首先,我们在第5.1节中描述实验设置,包括数据集、评估指标和比较方法。接下来,我们在第5.2节中呈现主要结果以展示MiCo的优越性。最后,我们在第5.3节中通过全面的消融实验验证每个组件的贡献。
关于更广泛适用性和扩展性的讨论
除了标准图像基准之外,UIL原则与具有持续变化分布的复杂数据流高度相关。例如,MiCo的无缓冲梯度重校准为演进智慧城市图谱[52]和多尺度环境预测[53]中的持续学习提供了稳健的解决方案,有效应对不可预测的空间和时间动态。具体而言,DIR解决由突然的图拓扑变化引起的梯度冲突,而MAG缓解偏
结论
在本文中,我们研究了通用增量学习(UIL),一种去除对增量类型和规模先验假设但保留明确任务边界的现实设置。我们系统地分析了UIL场景,识别出由任务间和任务内分布随机性引起的双重混淆。为缓解这些挑战,我们提出了MiCo,一个无缓冲框架,集成了多目标学习方案与方向和幅度解耦的
CRediT作者贡献声明
Yi Zhou:写作 – 审阅与编辑、写作 – 初稿、验证、项目管理、方法论、调查、资金获取、形式分析、概念化。
Jinsong Shi:写作 – 审阅与编辑、可视化、验证、软件、方法论、调查、形式分析。
Sheng Luo:写作 – 初稿、验证、软件、方法论、形式分析、数据整理。
Tao Zhou:写作 – 审阅与编辑、调查、形式分析。
利益冲突声明
作者声明他们没有已知的可能影响本论文所报告工作的竞争性经济利益或个人关系。
致谢
本工作得到了中国国家自然科学基金的资助,资助编号为62476054和62576153。
Yi Zhou | Jinsong Shi | Sheng Luo | Tao Zhou
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号