编辑推荐:
原型学习中的样本与原型嵌入不一致会导致置信度估计不可靠。本文提出模板表示学习(TRL),通过统一网络嵌入类模板与真实样本,并基于距离的分类目标联合优化,确保原型生成与样本嵌入的一致性。实验表明TRL在开放集识别、误分类检测、小样本学习及增量学习等任务中显著优于现有方法。
刘阳阳|尹飞|刘成林
中国科学院自动化研究所多模态人工智能系统国家重点实验室(MAIS),北京,100190,中国
摘要
基于原型的分类器使用高维原型向量来表示每个类别。然而,现有方法生成原型的方式与实际样本的嵌入方式不一致,导致特征分布不匹配和置信度估计不可靠。为了解决这个问题,我们提出了模板表示学习(TRL),该方法使用具有代表性的模板图像,并通过统一的网络嵌入模板和样本。得到的模板嵌入作为类别原型,并在基于距离的分类目标下与特征提取器一起进行优化。这确保了原型和样本嵌入之间的对齐,从而获得更可靠的置信度估计。使用ResNet和ViT作为backbone的实验表明,TRL在包括分布外检测、误分类检测、小样本学习和类别增量学习在内的多个任务中表现出优越的性能。代码将在接受后提供。
引言
基于监督学习的深度神经网络(DNN)在各种图像分类任务中取得了优异的性能[1]。然而,当DNN在封闭集合环境中进行训练(旨在对封闭集合中的类别进行分类)时,它们容易过度自信[2]。这会产生两个不利影响。一方面,输出置信度分数高于实际准确率或后验概率,因此无法拒绝模糊的模式。另一方面,分布外(OOD,超出训练类别)[2]的输入也会被赋予高置信度,从而导致它们被错误地分类为已知类别。原型学习[4]是一种表示学习方法,旨在用嵌入的高维向量来表示一个类别。原型学习根据距离计算样本属于某个类别的概率。这对于开放集合识别(OSR)中的OOD检测非常有益,因为OOD输入很可能与已知类别的原型相距较远。
在本文中,我们从嵌入的角度检验了原型分类器的分类置信度。通过不同的原型嵌入方式,我们可以将原型学习方法分为两种类型:池化嵌入和学习嵌入,如图1所示。池化嵌入涉及设计一个池化函数(例如平均值),该函数作用于批次或剧集中的训练样本的特征,将它们聚合以获得每个类别的一个或多个原型。学习嵌入是指直接在特征空间中为每个类别初始化可学习的原型,并在训练期间通过反向传播优化这些原型[4]。
上述两种嵌入方法都有一个共同的问题:原型生成的过程与将实际样本嵌入特征空间的过程不一致。池化嵌入方法没有在基于原型的分类目标下优化原型,而学习嵌入方法虽然涉及基于原型的分类目标,但不能保证学习到的原型代表实际样本。
为了解决这种原型-样本不一致性问题,我们引入了模板表示学习(TRL)。基于模板的方法已在模式识别[6]、[7]、[8]、[9]中得到广泛应用,但它们的特征是手工制作的,距离度量必须仔细设计。我们的TRL为每个类别分配一个类似于实际样本的模板,并使用共享的特征提取器嵌入模板和训练样本。得到的模板嵌入自然地作为类别原型,确保原型生成与实际数据的嵌入过程完全对齐。在这个统一的框架中,学习目标直接优化了分类性能,同时塑造了特征空间,使样本围绕其对应的模板原型聚集。
这种对齐带来了两个好处。首先,因为原型来源于类似实际样本的模板,并在相同的分类目标下进行优化,分类器实现了强大的封闭集合识别性能。其次,样本嵌入和模板之间的距离提供了可靠的置信度信号:正确分类的样本靠近它们的类别原型,而误分类或分布外的(OOD)输入通常显示出较大的距离。因此,模型可以根据距离阈值拒绝不确定的预测或检测OOD样本,而无需额外的训练目标或辅助数据集。
此外,TRL自然适用于开放世界设置。当系统必须决定是接受还是拒绝传入的样本时,每个类别的模板提供了关于该类别的有效示例应如何嵌入的稳定先验信息。图2说明了这一机制,展示了基于模板的原型如何帮助区分分布内样本和模糊或分布外的输入。
基于模板的学习提供了更可靠的置信度估计,这也有助于小样本学习,通过减少过拟合并提高在支持集上的泛化能力。我们在几个泛化任务上评估了我们的方法性能:OOD检测、误分类检测、小样本学习和类别增量学习。TRL与现有的原型学习方法和标准交叉熵训练相比,表现出更优越的性能。
本文的主要贡献总结如下:
•我们揭示了现有原型学习方法中的嵌入不一致性问题,即原型生成方式与实际样本的嵌入方式不同,导致置信度估计不可靠。
•我们提出了模板表示学习(TRL),该方法通过统一的网络嵌入模板图像和样本,并使用基于距离的分类目标共同优化它们,确保原型-样本表示的一致性。
•我们分析了TRL与先前原型学习方法之间的关系,并表明TRL自然地将原型生成与样本嵌入对齐。
•在多个基准测试上的广泛实验表明,TRL显著提高了OOD检测、误分类检测、小样本学习和类别增量学习中的置信度可靠性。
部分摘录
置信度学习
置信度学习解决了深度模型的过度自信问题,通常通过失败拒绝任务进行评估。我们关注两种代表性的设置:误分类检测(MisD)在封闭集合识别(CSR)和分布外(OOD)检测在开放集合识别(OSR)中。一个广泛使用的基线是最大softmax概率(MSP)[2],它将最大的softmax输出视为置信度。虽然MSP在MisD中通常具有竞争力,但它被认为可靠性较低
符号说明
让表示一个图像样本。表示类的模板集(每个类别一个)。表示用于嵌入样本和模板的深度神经网络。和分别表示样本嵌入和模板嵌入。表示样本嵌入与第个原型之间的距离。
基于距离的概率
模板表示学习(TRL)旨在在训练期间获得类别表示,并通过分类损失进行优化。与传统原型不同,TRL使用模板原型实验设置
我们在四个任务上进行了测试:分布外(OOD)检测、误分类检测(MisD)、小样本学习和类别增量学习。我们评估了各种模板选择,并将我们的方法与其他方法进行了比较。我们的实验使用了ResNet-18 [1]和ViT-base [49]作为backbone。
我们在包括EMNIST、CIFAR-10/100、ImageNet和MiniImageNet在内的标准基准测试上进行了实验,遵循既定的OOD和小样本评估协议(见附录A)。我们评估了模型
结论
我们提出了模板表示学习(TRL),这是一个基于原型的框架,旨在提高分类中的置信度可靠性。通过通过统一的网络嵌入模板图像和训练样本,并优化基于距离的分类目标,TRL确保了原型生成和样本嵌入之间的一致性。这种对齐使得距离估计更加稳定,并提高了置信度分数的可信度。在多个
CRediT作者贡献声明
刘阳阳:写作 – 审稿与编辑,撰写 – 原始草稿,可视化,验证,监督,软件,项目管理,方法论,调查,形式分析,数据管理。尹飞:资源获取,概念化。刘成林:资源获取,概念化。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能会影响本文报告的工作。
刘阳阳于2021年获得中国北京华北电力大学的学士学位。他目前正在中国科学院自动化研究所攻读模式识别和智能系统的博士学位。他的研究兴趣包括置信度学习和手写中文文本识别。