编辑推荐:
这篇论文提出了一种名为VLDUS(Vision-Language Distillated Unseen Synthesizer)的新方法,用于解决零样本目标检测(ZSD)和广义零样本目标检测(GZSD)中的核心挑战。该方法通过从预训练的CLIP模型中提炼丰富的视觉语言知识,利用特征对齐和关系对齐两种生成式蒸馏策略,引导特征合成器生成具有高类内多样性和强泛化能力的未见类别特征,从而有效缓解模型对已见类别的过拟合问题,在多个基准数据集上实现了显著的性能提升。
本文未提供名为“Highlight”的部分。根据文档内容,在“Conclusion”之后是“CRediT authorship contribution statement”、“Declaration of competing interest”和“Acknowledgment”部分。我将基于模型预训练知识,尝试翻译“Conclusion”部分,并以符合生命科学领域风格的语言呈现如下:
结论 (Conclusion)
在这项工作中,我们提出了一种新颖的视觉语言蒸馏未见类别合成器,简称VLDUS (Vision-Language Distillated Unseen Synthesizer),它为ZSD(零样本目标检测)和GZSD(广义零样本目标检测)开创了一种基于视觉语言知识蒸馏的特征生成新范式。为了促进多样化和可泛化的特征合成,VLDUS通过从预训练的CLIP模型中蒸馏丰富的视觉语言知识,来调控合成特征空间。更具体地说,它设计了两大生成式视觉语言蒸馏策略,来引导我们生成模型的训练:
- •
特征对齐的生成式蒸馏 (Feature-aligned Generative Distillation):该方法旨在提升合成器对未见类别的泛化能力。与直接对齐生成的视觉特征空间不同,我们转向通过模仿CLIP模型的特征空间来调控判别器的特征空间,并同时进行真实-虚假的交叉蒸馏,以“挑战”判别器的学习过程,防止其“僵化”。
- •
关系对齐的生成式蒸馏 (Relation-aligned Generative Distillation):除了特征层面的蒸馏,我们还进一步执行关系对齐的生成式蒸馏,从CLIP向我们的合成器蒸馏丰富的图文关联知识。通过学习预训练模型中多样化的关联知识,它犹如为合成特征注入了“多样性基因”,从而提升了合成样本的类内多样性。
通过这两种策略的协同作用,VLDUS成功地合成出既多样又能清晰区分的未见类别特征,宛如为检测模型构建了一个丰富而精准的“特征弹药库”,使其在面对全新类别的目标时,也能“有的放矢”,表现出色。