
-
生物通官微
陪你抓住生命科技
跳动的脉搏
基于基本元素增强的多模态提示方法,用于组合式零样本学习
《IEEE Transactions on Circuits and Systems for Video Technology》:Multi-Modal Prompts With Primitives Enhancement for Compositional Zero-Shot Learning
【字体: 大 中 小 】 时间:2025年12月08日 来源:IEEE Transactions on Circuits and Systems for Video Technology 11.1
编辑推荐:
零样本复合学习(CZSL)旨在通过已知属性和对象推断新组合,但现有方法依赖纯文本提示,忽略原始特征导致泛化不足。本文提出MPPE方法,结合文本与视觉提示(使用SAM生成图像掩码并通过Alpha分支增强视觉编码器),并设计跨注意力模块优化属性和对象特征,显著提升未见组合的识别能力。实验在三个基准测试中达到SOTA,代码已开源。
当人类遇到新事物时,他们通常会利用先前的知识来推断对象的属性(如颜色、形状和大小),从而形成全面的理解。尽管许多监督学习方法在对象和属性分类方面取得了显著成功[1]、[2]、[3],但在识别训练数据中不存在的新属性-对象组合时,它们的性能会大幅下降,这主要是由于知识迁移能力有限,无法应用于未见样本。为了解决这个问题,引入了组合式零样本学习(CZSL)来识别由已知属性和对象组成的新组合[4]、[5]、[6]、[7]。与传统零样本学习(Zero-Shot Learning,简称ZSL)[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]不同,ZSL侧重于从现有组合样本中学习属性和对象知识,从而便于识别未见过的原始组合(即属性和对象)。例如,如图1(a)所示,ZSL方法利用已见类别(如狮子和斑马)的语义知识,通过其与狮子的相似性以及斑马的条纹来识别老虎。相比之下,如图1(b)所示,CZSL在训练过程中学习属性“红色”和对象“汽车”的原始特征,并将这种知识扩展到识别新组合“红色汽车”。早期的CZSL方法主要集中在预定义数据集内的原始特征迁移上,通常称为封闭世界CZSL(Closed-World CZSL,简称CW-CZSL)[4]。然而,这些预定义的组合无法充分代表现实世界的多样性。为克服这一限制,提出了开放世界CZSL(Open-World CZSL,简称OW-CZSL)[18],它涵盖了数据集中的所有可能的属性-对象组合。这种组合搜索空间的大幅扩展——在MIT-States数据集中从1.9k增加到28k,在C-GQA数据集中从7.5k增加到278k——带来了重大挑战。此外,扩展后的空间中常常包含不合理的组合(例如“成熟的汽车”),这会显著干扰识别过程。这些问题使得OW-CZSL成为一个极具挑战性的课题,激发了大量的研究兴趣和成果。
零样本学习和组合式零样本学习的示意图。(a) 零样本学习旨在从已见类别中学习语义知识,并将其迁移到未见类别。(b) 组合式零样本学习旨在从已见组合中学习所有属性和对象的知识,并扩展到识别由已见属性和对象组成的新未见组合。