《Neural Networks》:CAPTR-GTP: Class-Aware Prompting and Token Refinement with Graph Token Propagation for Few-Shot ViTs
编辑推荐:
提出基于视觉Transformer的少样本学习框架CAPTR-GTP,通过不确定性感知令牌加权、类感知提示优化和双层级图注意力机制解决背景干扰和令牌信息丢失问题,在单域和跨域数据集上达到SOTA性能。
Mohammed Al-Habib|Zuping Zhang|Abdulrahman Noman
中南大学计算机科学与工程学院,中国湖南长沙410083
摘要
视觉变换器(ViTs)在模拟长距离依赖关系中起着核心作用。然而,在小样本学习中,它们面临持续的挑战。密集的自注意力机制在杂乱的场景中会放大背景干扰。依赖最后一层的[CLS]标记或静态原型可能会忽略细粒度线索。均匀的补丁池化在标签稀缺的情况下忽略了标记的可靠性。许多基于ViT的适配器依赖于标记相似性匹配或合并,这通常会导致标记的丢失或过度压缩,从而造成信息损失。为了解决这些问题,我们提出了CAPTR-GTP(具有图标记传播的类感知提示和标记细化),这是一个基于ViT的框架,用于情节式小样本学习,它保留并传播标记信息而不是丢弃它们。ViT编码器通过掩码图像建模进行预训练,然后大部分保持不变,以提供稳定的补丁嵌入。一个基于不确定性的模块使用蒙特卡洛dropout来估计标记的可靠性,保留高置信度的标记,并通过方差一致的门来总结噪声补丁。类感知提示细化将每个类的原型和分散性从过滤后的支持中映射到可学习的提示中,使注意力与类语义对齐,并适应类内变化。双层分层注意力模块在簇内细化标记,并在簇间聚合上下文,结合局部结构和全局信息以进行支持条件下的预测。在每个剧集都有固定邻居的稀疏顶k标记图中,图标记传播更新边权重,传播特征和标签,减轻过度平滑,并保留罕见线索。我们在四个领域内基准测试和四个跨领域迁移基准测试中评估了CAPTR-GTP。在5次1次和5次采样协议下的广泛实验表明,CAPTR-GTP取得了最先进的性能或与强基线竞争一致的性能。
引言
在收集大规模标记数据集成本高昂或不切实际的场景中,图像识别的小样本学习(FSL)已成为一个关键的研究方向。在这些情况下,目标是从少量标注的示例中对新类别进行分类,通常在背景杂乱、遮挡和类内变化较大的具有挑战性的条件下进行。尽管深度学习在高数据量环境下取得了显著的性能,但将这些成功转移到低数据量环境仍然非平凡。早期的基于CNN的FSL方法(Chen等人,2021年;Finn等人,2017年;Liu等人,2022年;Zhang等人,2023a年),包括度量学习和元学习范式,推动了该领域的发展,但它们的局部感受野限制了对长距离依赖关系和全局上下文的访问,而这些往往是细粒度识别所必需的。
大规模预训练和基于Transformer的架构的出现从根本上重塑了视觉表示学习的格局。视觉变换器(ViTs)(Dosovitskiy等人,2021年;Jiang等人,2022年;Wang等人,2021年)在模拟全局空间依赖关系方面展示了强大的能力。传统的基于ViT的小样本学习方法(Wang等人,2024a;Wang等人,2023)通常采用标准的Transformer设计,这大大限制了它们在小样本分类中的有效性。主要原因是缺乏归纳偏见。与卷积神经网络不同,ViT本质上不编码归纳偏见,如局部性、权重共享或平移不变性。没有这些结构偏见,ViT通常依赖于大规模训练数据来学习局部特征(即补丁标记)之间的依赖关系。这一要求使它们不太适合数据稀缺的小样本设置,在这些设置中只有有限数量的标注示例可用。作为回应,开发了各种基于标记相似性的方法来增强ViT的小样本学习能力。SUN Dong等人(2022年)引入了特定位置的监督来模拟卷积局部性。FewTURE Hiller等人(2022年)利用语义分割和掩码图像建模来减少标注噪声。TATM Li和Li(2024年)将任务无关的知识提炼成轻量级适配器。最近,MetaFormer Yang等人(2024年)通过样本级和任务级注意力增强了ViT,使用掩码样本注意力来强制任务特定的一致性,并通过补丁级任务注意力来整合多样化模式,同时过滤噪声。基于提示的策略(Hao等人,2025年;Jia等人,2022年;Yang等人,2024年)在推理时添加类提示来指导自注意力,并在小样本设置中显示出比原始ViT更显著的改进。
尽管取得了这些进展,但在将ViT应用于小样本学习时仍存在两个实际问题。首先,将图像分割成固定大小的补丁通常会产生比对象标记更多的背景标记,特别是在细粒度识别和杂乱的场景中。背景标记之间的注意力交互很少具有类别区分能力,但它们仍然消耗表示能力并引入标记特征中的噪声。在小样本情况下,这种噪声无法通过跨多个标注示例的平均来可靠地减少。结果,区分性对象线索被削弱,具有相似背景的类别变得更加难以区分,当支持图像中的背景变化时,同一类别的预测也变得不一致。当目标对象较小、偏移或部分遮挡时,这种限制进一步加剧。其次,大多数流程最终依赖于单一的后期表示,通常是最后一层的[CLS]标记或从少数支持图像计算出的原型。这种做法没有充分利用变换器深度中的互补信息。中间层通常编码更广泛的对象范围和空间布局,而更深层强调高度区分性的部分,使得仅使用后期特征时的查询预测对背景杂乱和部分视图更加敏感。基于标记相似性的方法(包括标记匹配和标记合并策略Dong等人,2022年;Hiller等人,2022年;Li和Li,2024年;Yang等人,2024年)可以减少冗余,但也可能过度平滑表示并抑制在一次性和五次采样场景中至关重要的细粒度线索。此外,对大规模预训练的依赖可能会加剧这些效应,除非仔细控制适应,否则在源域和目标域之间的域转换下性能可能会急剧下降。
为了解决这些缺点,我们提出了类感知提示和标记细化与图标记传播(CAPTR-GTP),这是一个用于单域和跨域FSL的元学习框架。据我们所知,这是第一个在单一流程中统一了不确定性感知的标记加权、类感知提示细化和双层图注意力的FSL框架。CAPTR-GTP识别可靠的补丁标记,而不是假设它们,结合来自支持图像的类感知指导,并确保有用的标记影响决策,而不会被过度修剪或过度合并。具体来说,我们的不确定性感知加权模块使用蒙特卡洛方差估计标记的可靠性,保留高置信度的补丁,并紧凑地总结其余部分,从而减少背景噪声。类感知提示细化(CAPR)模块将支持集原型和分散统计转换为可学习的提示,引导注意力朝向类语义并对齐,并适应类内变化,放大微妙的细粒度线索。我们的双层图注意力在簇内和簇间更新之间交替,结合局部细节和全局上下文,以进行支持条件下的预测。与固定对应关系或粗略的相似性度量不同,CAPTR-GTP通过结合不确定性感知加权、类感知提示和基于图的传播来调整标记表示。这种设计在全局上下文和局部交互之间取得了平衡,在miniImageNet、tieredImageNet、CIFAR-FS、FC100和四个跨领域基准测试中实现了卓越的性能,无论是在1次还是5次采样设置中。图1展示了我们的方法与先前方法的比较。本工作的主要贡献如下:
•我们提出了CAPTR-GTP,这是一个基于冻结的MIM预训练骨干的小样本分类ViT框架,它通过不确定性引导的标记细化、类感知提示、双层注意力和稀疏顶k图标记传播引入了类一致性和稀疏感知的归纳偏见。
•我们设计了一个不确定性感知标记模块,该模块结合蒙特卡洛dropout方差和注意力派生的重要性来计算标记权重,并应用方差一致采样门来修剪不可靠的补丁,同时将其特征柔和地聚合到保留的标记中。
•我们引入了类感知提示细化(CAPR),它将从过滤后的支持中计算出的类原型和分散统计转换为标准化的、可学习的提示,并与双层分层注意力和稀疏图标记传播相结合,以加强局部-全局上下文聚合并改进支持条件下的查询预测。
•我们在四个单域和四个跨域小样本分类基准测试上进行了广泛的实验,以证明所提出方法的有效性。实验结果证明了我们的方法优于大多数最先进的小样本分类方法。
本文的组织结构如下。第2节回顾了相关工作,第3节详细介绍了CAPTR-GTP框架及其模块。第4节介绍了数据集和实验设置、训练协议、定量结果、消融分析、计算开销比较和定性可视化。第5节总结了本文。
小样本学习
小样本学习(FSL)解决了从非常有限的标记数据中进行泛化的问题,这是资源匮乏领域中的一个常见问题。其核心是元学习(“学习如何学习”),包括两种主要范式:基于度量的方法(如Matching Networks Vinyals等人,2016年)和原型网络(Snell等人,2017年),这些方法将输入嵌入到一个空间中,在该空间中分类简化为与类原型的距离;以及基于优化的方法(如MAML Finn等人,2017年;Reptile
方法论
本节介绍了具有图标记传播的类感知提示和标记细化(CAPTR-GTP)框架。第3.1节在情节式N次K次采样设置中形式化了小样本学习问题。第3.2节总结了端到端流程及其关键组成部分。第3.3节和第3.4节描述了CAPTR-GTP的两个阶段。在第一阶段,ViT骨干通过掩码图像建模进行预训练,以获得可转移的标记表示。在第二阶段,模型进行元微调
数据集
我们在四个标准的小样本图像分类基准测试上评估了CAPTR-GTP,并在跨领域迁移协议下进行了测试。
miniImageNet Vinyals等人(2016年)包含100个类别,每个类别有600张图像(总共60,000张图像)。我们遵循64/16/20类的标准划分进行训练、验证和测试。
tieredImageNet Ren等人(2018年)是ImageNet的一个分层子集,包含34个高级超类,这些超类组成了608个细粒度类别。我们使用传统的
结论
我们介绍了CAPTR-GTP,这是一个框架,它通过在执行标签稀缺的情况下强制类一致性和稀疏感知的归纳偏见来适应小样本学习。该设计降低了不可靠标记的权重,使注意力与类语义对齐,并在稀疏的固定邻居图上传播细化的标记特征,从而减轻了背景泄漏、过度平滑和信息损失。据我们所知,CAPTR-GTP是第一个基于ViT的小样本框架,它结合了
CRediT作者贡献声明
Mohammed Al-Habib:撰写——原始草稿、可视化、验证、软件、方法论、调查、形式分析、数据管理、概念化。Zuping Zhang:撰写——审阅与编辑、验证、监督、资源管理、项目管理、方法论、资金获取。Abdulrahman Noman:撰写——审阅与编辑、可视化、验证、方法论、调查、形式分析、数据管理。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
致谢
本工作得到了中国国家自然科学基金(授权号U23A20321和62272490)的支持。