MMRL++:一种参数高效且具备交互意识的视觉-语言模型表示学习方法

《INTERNATIONAL JOURNAL OF COMPUTER VISION》:MMRL++: Parameter-Efficient and Interaction-Aware Representation Learning for Vision-Language Models

【字体: 大 中 小 】 时间:2025年12月25日 来源:INTERNATIONAL JOURNAL OF COMPUTER VISION 9.3

编辑推荐:

  大型预训练视觉语言模型(VLMs)虽提升了跨任务迁移能力,但有限少样本数据易导致过拟合。本文提出MMRL框架,通过共享可学习的多模态表征空间,将空间令牌投影至文本和图像编码器高层,保留底层通用知识,同时设计动态优化策略:冻结类令牌投影层以保持预训练知识,可训练表征投影层适配任务,并引入零样本正则化对齐类令牌与文本特征。进一步扩展的MMRL++减少参数量,增强模态间梯度共享与实例信息传递,实验在15个数据集上验证其优于SOTA方法,有效平衡任务适应与泛化能力。

  

摘要

大规模预训练的视觉语言模型(VLMs)在多种任务中的迁移学习方面取得了显著进展。然而,使用有限的少量数据进行模型适配时,往往会导致过拟合,从而削弱了模型对新任务的泛化能力。为了解决这一挑战,我们提出了一种新颖的框架——多模态表示学习(MMRL),该框架引入了一个共享的、可学习的、与模态无关的表示空间。具体而言,MMRL生成了一组空间令牌,这些令牌被同时投影到文本编码器和图像编码器中,从而促进更有效的跨模态交互。与主要优化类别令牌特征的先前方法不同,MMRL将表示令牌整合到编码器的更高层(在这些层中任务特定特征更为显著),同时保留低层中的通用知识。在训练过程中,类别特征和表示特征会共同进行优化:对表示令牌应用可训练的投影层以适应任务需求,而用于类别令牌的投影层则保持不变,以保留预训练的知识。为了进一步促进泛化,我们引入了一个正则化项,使类别特征和文本特征与冻结的VLM的零样本特征对齐。在推理阶段,我们采用了一种解耦策略:基础任务同时使用类别特征和表示特征,而对于新任务则仅使用更具泛化能力的类别特征。在此基础上,我们提出了MMRL++,这是一种参数高效且注重交互作用的扩展版本,它显著减少了可训练参数的数量,并增强了模态内部的交互作用——尤其是在表示令牌的各层之间——使得梯度共享和实例特定信息能够更有效地在网络中传播。在15个数据集上的广泛实验表明,MMRL和MMRL++的表现始终优于现有最先进方法,实现了任务特定适应性和泛化能力之间的良好平衡。

相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号