基于跨域蒸馏的无监督领域适应方法,适用于大型视觉语言模型

《Pattern Recognition》:Cross-domain Distillation for Unsupervised Domain Adaptation with Large Vision-language Models

【字体: 大 中 小 】 时间:2026年01月01日 来源:Pattern Recognition 7.6

编辑推荐:

  跨域知识蒸馏通过轻量级源模型整合视觉与文本语义信息,引导目标模型学习实现领域对齐,在Office-31、Office-Home等数据集上显著优于SOTA方法且参数量减少82.1%。

  
Xingwei Deng | Yangtao Wang | Yanzhao Xie | Xin Tan | Maobin Tang | Meie Fang | Wensheng Zhang
广州大学计算机科学与网络工程学院,中国广州

摘要

大型视觉语言模型(VLMs)结合了提示学习机制,在跨领域任务中取得了令人鼓舞的结果。然而,利用VLMs将知识从源领域转移到目标领域仍然是无监督领域适应(UDA)的一个挑战性任务。为此,我们提出了基于LVMs的跨领域蒸馏方法用于UDA(称为CDU)。首先,CDU通过以轻量级的方式将源领域的知识(包括每个样本及其对应的类别)嵌入到VLMs中来训练源模型。其次,CDU充分利用源模型中的图像和文本语义来指导目标模型的学习,从而实现领域对齐,以产生跨领域语义一致的表示。我们在3个流行的UDA数据集(包括Office-31、Office-Home和DomainNet)上进行了广泛的实验。实验结果验证了我们的方法在各种UDA基准测试中一致性地超越了现有的(SOTA)UDA方法,具有更高的性能和更低的模型复杂性。以Office-Home为例,CDU的平均准确率至少比现有方法高出3%,而可学习参数的数量仅占17.9%,推理时间也只占最强候选方法的4.3%。本文的代码可在GitHub上找到:https://github.com/1d1x1w/CDU。

引言

无监督领域适应(UDA)[1]、[2]、[3]是计算机视觉中的一个关键技术,它解决了在标记的源领域训练的模型在另一个不同但相关的目标领域表现良好的问题,而无需目标领域的标记数据。UDA旨在通过转移学习到的知识来最小化领域之间的差异,从而提高模型在各种现实世界场景中的鲁棒性和泛化能力,例如在自动驾驶和遥感等情况下获取标记数据既昂贵又耗时甚至不可行[4]、[5]、[6]、[7]。
实现有效UDA的关键在于为语义相似的样本生成一致的特征,即使它们属于不同的领域。以前的工作,如对抗性训练[8]、矩匹配[9]和领域不变特征提取[10]、[11],主要关注于对齐源领域和目标领域之间的特征分布,以减少领域偏移。然而,这些方法在适应过程中存在较大的语义偏差。具体来说,在对齐特征分布时,源领域固有的语义结构可能会被扭曲或稀释,导致在目标领域的泛化能力较差。这个问题出现的原因是特征对齐可能没有考虑到跨领域之间的潜在语义一致性,从而导致关键类别级信息的错位[12]、[13]、[14]。
最近,像CLIP[15]这样在数百万图像-文本对上预训练的大型视觉语言模型(VLMs)在各种下游任务中表现出了显著的性能。通过将视觉和文本输入映射到一个共享的潜在空间中,VLMs利用对比学习来捕获强大且可转移的表示,从而促进了它们跨领域的泛化能力。代表性研究如CoOp[16]、CoCoOp[17]和MaPLe[18]利用了提示学习机制,该机制将领域知识嵌入到提示中,以增强不同领域之间的语义一致性。尽管这些方法具有相当的领域泛化能力,但它们未能有效地将知识从源领域转移出来以直接指导目标领域的学习,不可避免地导致两个不同领域之间存在领域差距。
为了缩小领域差距,领先的研究提案[1]、[2]、[19]试图结合源领域数据和目标领域数据来共同训练可学习的提示或微调VLMs以实现领域对齐。然而,这些方法带来了两个严重的问题:(1)它们直接采用零样本CLIP来获取目标领域数据的伪标签,但这些伪标签缺乏源领域的指导,并且与源领域无关;(2)它们引入了大量额外的提示信息或更多的可学习参数来将源领域的知识嵌入到VLMs中,导致调整过程复杂化。因此,在应用VLMs进行UDA以实现领域对齐时存在两个挑战。(1) 将源领域数据的知识嵌入到VLMs中:如何以轻量级的方式将源领域数据(包括每个样本及其对应的标签)完全嵌入到VLMs中;(2) 使VLMs适应目标领域数据:如何充分利用包含视觉编码器和文本编码器的VLMs,并嵌入源领域数据中的知识来指导目标领域数据的训练和学习。
为了解决上述挑战,本文提出了基于LVMs的跨领域蒸馏方法用于UDA(称为CDU)。(1) 为了解决第一个挑战,CDU训练了一个轻量级的源模型。如图1所示,对于源领域数据,我们不仅将每个图像与视觉提示一起嵌入到CLIP的冻结图像编码器中,还将其标签(即一张[类别]的照片)与文本提示一起嵌入到CLIP的冻结文本编码器中。通过这种方式,我们利用了VLMs的多模态优势,同时确保生成的图像和文本特征完全融合了源领域数据的特征。(2) 为了解决第二个挑战,CDU在源模型的指导下学习了一个轻量级的目标模型。具体来说,我们利用源领域的图像编码器(结合源视觉提示)通过知识蒸馏来指导目标领域的图像特征,同时利用源领域的文本特征来预测目标领域图像数据的标签。这种操作简单而有效,能够完成领域对齐,从而产生跨领域语义一致的表示。最后,CDU直接利用目标模型来实现准确和快速的推理。总之,本文的主要贡献如下。
  • •
    新的视角。据我们所知,这是第一次尝试利用VLMs的视觉和文本语义信息将知识从源领域转移到目标领域进行UDA。
  • •
    新颖的方法。我们提出了一种新颖的UDA方法CDU,实现了轻量级的跨领域蒸馏,充分利用了VLMs生成的源领域的图像和文本语义,同时指导目标领域的图像特征生成和文本标签预测。
  • •
    高性能。
    我们在3个流行的UDA数据集(包括Office-31、Office-Home和DomainNet)上进行了广泛的实验。实验结果验证了我们的CDU在各种跨领域任务中的优越性,其性能更高,模型复杂性更低,优于现有的(SOTA)UDA方法。
  • 章节片段

    无监督领域适应

    无监督领域适应(UDA)[19]的核心思想是学习领域不变的特征,以对齐源领域和目标领域,尽管它们的数据分布不同。到目前为止提出的主要方法[8]、[20]可以分为四个主要类别:差异最小化、对抗性学习、基于Transformer的方法和基于VLM的解决方案。差异最小化方法明确地最小化差异度量,例如最大均值差异(MMD)[21]

    提出的方法论

    在本节中,我们首先介绍了我们提出的CDU的总体架构,然后介绍了包括训练源图像、跨领域蒸馏和测试目标领域图像的详细工作流程。

    实验设置

    数据集。我们在3个主流UDA基准测试上评估了我们的方法。Office-31 [44]包含来自31个类别的4,110张图像,这些图像分为3个不同的领域:Amazon(A)、Webcam(W)和DSLR(D)。我们在6个跨领域任务上报告了结果。Office-Home [45]包含来自65个类别的15,500张图像,这些图像分为4个不同的领域:Art(A)、Clipart(C)、Product(P)和Real World(R)。我们在12个跨领域任务上报告了结果。DomainNet [46]是一个

    结论与未来工作

    在本文中,我们提出了CDU,它利用VLMs将知识从源领域转移到目标领域。通过训练轻量级的提示信息,CDU可以实现领域对齐,从而产生跨领域语义一致的特征。在Office-31、Office-Home和Mini-DomainNet上的广泛实验验证了CDU的优势,包括更高的性能和更低的模型复杂性,与现有的(SOTA)UDA方法相比。

    CRediT作者贡献声明

    Xingwei Deng:撰写——原始草稿、调查、概念化。Yangtao Wang:撰写——审阅与编辑、概念化。Yanzhao Xie:撰写——审阅与编辑、概念化。Xin Tan:监督、概念化。Maobin Tang:监督、概念化。Meie Fang:监督、概念化。Wensheng Zhang:监督、概念化。

    利益冲突声明

    作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

    致谢

    本工作得到了中国国家自然科学基金(编号62406082、62506085、62394334)、广东省基础与应用基础研究基金(编号2023A1515110650、2023A1515110659)、广州市科技规划项目(编号2024A03J0013、2025A04J4590)、广东省教育厅创新强校青年创新人才项目(编号2023KQNCX055)以及广州市科技计划(编号SL2023A03J00284)的支持。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号