《Neural Networks》:VLDUS: Vision-Language Distillated Unseen Synthesizer for Zero-Shot Object Detection
编辑推荐:
本文针对零样本目标检测(ZSD)中生成式方法合成未见类样本单一、泛化能力弱的问题,提出了一种新颖的视觉语言蒸馏未见类合成器VLDUS。该方法从预训练的CLIP模型中提取丰富的图文知识,设计了特征对齐和关系对齐两种生成式蒸馏策略,有效提升了合成特征的类内多样性和跨类(领域)泛化能力,在多个基准数据集上展现出卓越性能。
要点
- •
我们揭示了基于生成的零样本目标检测(ZSD)中的核心挑战,即合成器对已见类别的过拟合,并建立了一个基于视觉语言知识蒸馏的特征生成框架,以追求多样且可泛化的特征合成。
- •
我们为ZSD开发了一种新颖的视觉语言蒸馏未见类合成器,即VLDUS,它通过从预训练的CLIP模型中提取丰富的图文知识来规范合成的视觉特征空间。
- •
设计了两种互补的生成式蒸馏策略来克服上述的过拟合挑战,它们在特征级别和关系级别上利用CLIP嵌入空间来指导我们生成模型的训练。
- •
在四种不同的ZSD/GZSD数据集划分(即MS COCO 65/15、MS COCO 48/17、PASCAL VOC和DIOR)上进行的综合实验证明了所提出方法的优越性能。
生成式零样本学习
近年来,得益于深度生成网络令人印象深刻的样本合成能力,视觉特征合成方法在零样本学习领域激增。这些被称为生成式零样本学习的方法,基于语义类别信息为未见类合成视觉样本,有效地将零样本识别任务转化为传统的监督学习任务,并缓解了将未见类直接映射到视觉空间的偏差问题。在ZSD任务中,生成式方法将未见类(unseen classes)的视觉特征合成与检测器训练解耦。通过从类别语义嵌入生成未见类样本,这些合成特征随后与真实已见类特征一起用于训练最终的目标检测器,从而减轻模型对已见类的偏见。尽管生成式ZSD方法取得了一些有希望的结果,但它们在处理物体检测任务特有的挑战方面仍存在局限,包括同一类别内物体外观和尺寸的巨大差异(类内变异),以及不同类别物体在同一图像中共现的情况(类间共现)。现有方法仅基于有限已见类的数据学习未见类的特征分布,这导致合成样本的类内多样性低,且对未见类的泛化能力不足。
问题定义
我们首先给出ZSD和GZSD任务的问题定义。物体类别空间由包含cs个类别的已见标签集Ys= {yis}i=1cs 和包含cu个类别的未见标签集Yu= {yiu}i=1cu组成,其中Ys和 Yu遵循不相交约束,即Ys∩ Yu= ?。每个类别由一个ds维的语义嵌入w表示,已见类别的表示为Ws= [w1s, w2s, ..., wcss],未见类别的表示为Wu= [w1u, w2u, ..., wcuu]。在ZSD/GZSD设定中,与未见类对应的视觉示例在训练期间是不可用的。模型仅在已见类数据Ds= {(xi, yis)}上进行训练,其中xi表示输入图像,yis∈ Ys是其对应的类别标签。目标是学习一个模型,该模型在推理阶段能够检测出来自未见类别Yu(对于ZSD)或来自已见和未见类别联合集Ys∪ Yu(对于GZSD)的物体。
实验设置
数据集。 我们在三个成熟的ZSD基准数据集上评估我们的方法,即MS COCO 2014、PASCAL VOC 2007/2012和DIOR。对于每个数据集,我们遵循先前ZSD/GZSD文献中建立的标准已见/未见类别划分。对于MS COCO 2014数据集,我们采用了两种流行的划分协议。第一种是MS COCO 65/15划分,将80个类别分为65个已见类和15个未见类。第二种是MS COCO 48/17划分,将65个类别分为48个已见类和17个未见类。对于PASCAL VOC数据集,我们遵循标准划分,将20个类别分为16个已见类和4个未见类。DIOR数据集包含20个物体类别,我们采用标准划分将其分为15个已见类和5个未见类。
结论
在这项工作中,我们提出了一种新颖的视觉语言蒸馏未见类合成器VLDUS,为ZSD/GZSD开创了一种基于视觉语言知识蒸馏的特征生成范式。为了促进多样且可泛化的特征合成,VLDUS通过从预训练的CLIP模型中提取丰富的视觉语言知识来规范合成的特征空间。更具体地说,它设计了两种生成式视觉语言蒸馏策略来指导生成模型的训练。首先,执行特征对齐生成式蒸馏,以提高合成器对未见类的泛化能力。它不是直接对齐生成的视觉特征空间,而是通过模仿CLIP模型的嵌入空间来规范判别器的特征空间,同时执行真假交叉蒸馏以挑战判别器的学习过程。其次,除了特征级蒸馏外,还进一步执行关系对齐生成式蒸馏,从CLIP模型到我们的合成器提取丰富的图文相关性知识。通过学习预训练模型内多样化的相关性知识,它提高了合成样本的多样性。在多个数据集上的大量实验表明,所提出的VLDUS可以生成具有高类内多样性和类间可分性的未见特征,因此在ZSD和GZSD任务上都大幅优于最先进的方法。