《Neural Networks》:SEA: Hierarchically Searching Efficient Adapters for Pre-trained Models
作者:Lu Shun、Mao Fangyuan、Chen Junkun、Mei Jilin、Min Chen、Xing Yan、Hu Yu
中国科学院计算技术研究所智能计算系统研究中心,北京,100190,中国
摘要
将大规模预训练模型适配到下游任务中已被证明可以有效提升性能。然而,依赖手工制作的适配器可能会限制模型的泛化能力,并增加额外的推理开销。现有的神经架构搜索(NAS)技术主要用于设计适配器,通常关注超参数,而忽略了搜索空间的设计以及超网训练中的偏差问题。为了解决这些问题,本文提出了一个通用框架——Search Efficient Adapters(SEA),该框架从系统角度提供了一个分层的适配器搜索空间,并引入了一种样本效率高的超网训练机制。具体而言,SEA可以在不同粒度级别上搜索高效的适配器,从而实现适配器深度、宽度和通道组合的精细化调整。这种分层搜索空间涵盖了多种适配器结构,增强了模型在多个任务中的泛化能力。此外,搜索到的适配器可以无缝集成到预训练模型中,无需额外的推理开销。为了避免在宽度搜索过程中不同通道的训练偏差,我们借鉴了上界置信(UCB)理论实现了一种样本效率高的训练机制。该机制在早期阶段为所有通道提供了平等的训练机会,并优先训练梯度范数较大的通道,从而提高了训练效果。我们在多种任务上展示了我们的方法优势:在VTAB-1k的19个少样本任务中,SEA的平均准确率比GLoRA高出0.53%。在COCO数据集上,SEA的平均精度(检测任务)提高了7.3%,(分割任务)提高了5.6%。此外,我们还深入研究了适配器结构与下游任务之间的关系,发现了一些有趣的规律,这些规律可能为未来的适配器设计提供有益的见解。我们的代码可在以下链接获取:
https://github.com/ShunLu91/SEA
引言
近年来,大规模模型的发展速度呈指数级增长(Bao等人,2022年;He等人,2022b年;Li等人,2019年;Liu等人,2019a年;Yuan等人,2021年),这些模型在各种任务上取得了显著的性能提升。然而,由于下游任务的训练资源和数据有限,直接微调大规模模型变得具有挑战性。因此,许多研究(Chen等人,2022年;Houlsby等人,2018年;Hu等人,2022年;Jia等人,2022年;Jiang等人,2023年;Lian等人,2022年)采用了参数高效微调(PEFT)方法。这些方法保持大规模模型的预训练权重不变,仅对适配器进行微调,使模型能够快速适应下游任务。由于其出色的效率,这种技术得到了广泛应用。
尽管取得了很大进展,但现有的手工制作的适配器(Chen等人,2022年;Houlsby等人,2018年;Hu等人,2022年;Jia等人,2022年)不仅需要丰富的专业知识,而且缺乏泛化能力。具体来说,为不同的下游任务设计适配器结构并选择其宽度(隐藏维度或排名)仍然主要依赖于人工经验。通常需要进行大量的消融研究来确定合适的配置,这既耗时又耗费资源。此外,由于不同任务的特点不同,适配器的结构要求也有所不同:图像分类通常只需要高层次的语义线索,可以通过浅层、低秩的适配器有效适应;而密集预测任务(如检测和分割)则需要细粒度的空间推理,因此受益于更深层、更高秩的适配器。因此,将适配器应用于不同任务时需要从头开始重新设计其结构,这会带来显著的工程开销。此外,之前的适配器(如VPT(Jia等人,2022年)和AdaptFormer(Chen等人,2022年)会引入额外的推理开销,进一步降低了大规模模型的效率。
由于固定适配器无法适应多样化的下游任务,神经架构搜索(NAS)成为适配器设计的自然选择。NOAH(Liu等人,2022年)和GLoRA(Chavan等人,2023年)开创了这一方法。然而,NOAH中搜索到的适配器仍然会带来额外的推理成本。此外,这两种方法都没有系统地设计适配器搜索空间,也没有解决搜索过程中不同通道训练的难题。这些限制促使我们在本工作中提出了一种分层搜索空间,以便从系统角度搜索高效的适配器。
我们的首要原则是确保搜索到的适配器可以无缝集成到大型预训练模型中,而不会引入任何额外的推理开销。这对于保持基于适配器的方法的效率和实用性至关重要。我们的第二个原则是确保强大的跨任务泛化能力:我们通过一个分层搜索空间实现了这一点,该空间将适配器配置分解为深度、宽度和通道维度,从而实现自动适应不同任务的特点。这种解耦使得可以根据每个下游任务的内在需求自动分配适配器资源,从而消除手动调整的需要并提高泛化能力。通过探索不同的适配器深度,我们允许模型适应不同抽象层次的需求。例如,对于依赖简单语义的任务(如图像分类),浅层适配器就足够了;而对于需要空间精确度的密集预测任务,则需要更深的适配器。宽度决定了适配器捕获任务特定信息的能力,因为适当的宽度能够带来更好的任务特定适应效果。我们的搜索不是使用固定宽度,而是根据任务复杂性动态分配每层的容量。此外,通道组合使我们能够在相同宽度下研究不同通道的有效性,从而在细粒度层面进一步提升适应性能。这种细粒度的选择能够识别出最具信息量的特征子空间,减少冗余并提高效率,而不会增加适配器的秩。
为了减轻超网的训练偏差,我们借鉴了上界置信(UCB)理论(Auer等人,2002年)中的样本高效方法,以平衡不同通道的训练,从而实现更公平的通道比较和更快的训练收敛。该方法通过结合使用通道采样频率和梯度范数,更好地平衡了通道的探索和利用。由于未充分探索但具有潜力的通道获得了足够的训练,这种方法提高了通道训练的公平性并促进了收敛。因此,它能够搜索出更适用于下游任务适应的优质适配器。
我们的贡献总结如下:
- 我们提出了一个分层搜索空间,以实现适配器深度、宽度和通道组合的自动化搜索,从而促进在多样化下游任务中的泛化能力。搜索到的适配器可以无缝集成到原始模型中,而不会引入额外的推理开销。
- 为了减轻超网的训练偏差,我们提出了一种受UCB理论启发的样本高效训练方法。该方法促进了不同通道训练的公平性和收敛性,使得超网能够快速适应和收敛。此外,发现的适配器无需重新训练或微调,节省了计算资源。
- 我们的实验涵盖了多种下游任务,包括迁移学习、少样本学习和领域泛化。SEA在各项任务上均优于现有最先进方法,并取得了显著提升。此外,我们还深入分析了适配器与下游任务之间的关系,为未来的适配器设计提供了有益的见解。
章节片段
参数高效适配器
参数高效调优已成为在不进行完全微调的情况下适配大规模预训练视觉模型的标准方法。早期的方法(如LoRA(Hu等人,2022年)将可训练的低秩矩阵注入注意力层,以最小的开销实现了强大的性能。Visual Prompt Tuning(VPT)(Jia等人,2022年)在输入序列前添加了可学习的标记,但在更深层或密集预测任务中的效果会减弱。后续的研究(如AdaptFormer(Chen等人)
方法
在本节中,我们首先回顾了基于Transformer的模型和低秩适配方法。接着,我们介绍了我们的分层适配器搜索空间。然后,我们介绍了受UCB理论启发的超网训练样本高效机制。最后,我们讨论了进化搜索在高效适配器应用中的效果。
实验
在本节中,我们系统地评估了SEA在三种不同任务复杂度下的性能:自然语言理解(GLUE)、图像分类(VTAB和ImageNet)以及密集预测(COCO检测和分割)。我们首先描述了实验设置,然后分别展示了每个任务类别的结果和分析。更多实验和消融分析见补充材料。
结论
在这项工作中,我们提出了SEA(Searchable Efficient Adapter),这是一个用于参数高效微调的神经架构搜索框架,它通过系统解耦的搜索空间改进了现有的NAS方法。与之前同时优化适配器类型和宽度的方法或依赖固定架构模板的方法不同,SEA明确区分了关键的设计维度,使得适应策略更加灵活和细致。这种结构化的分解结合了
CRediT作者贡献声明
Lu Shun:撰写——初稿、可视化、验证、软件实现、方法论、形式分析、数据整理、概念化。Mao Fangyuan:可视化、方法论、数据整理。Chen Junkun:撰写——审稿与编辑、验证、软件实现。Mei Jilin:撰写——审稿与编辑、监督、研究推进、资金获取。Chen Min:撰写——审稿与编辑。Xing Yan:撰写——审稿与编辑、资源协调、资金获取。Hu Yu:撰写——审稿与编辑、监督
利益冲突声明
作者声明以下可能的财务利益/个人关系可能构成潜在的利益冲突:
Yu Hu报告获得了中国国家自然科学基金(NSFC)的财务支持。Mei Jilin报告获得了中国国家自然科学基金(NSFC)的财务支持。Yu Hu与中国国家自然科学基金(NSFC)存在关系,包括资金资助。Mei Jilin也与中国国家自然科学基金(NSFC)存在关系
致谢
本工作得到了中国国家自然科学基金(项目编号:U23B2034、62203424、62176250)的支持;同时也得到了中国科学院计算技术研究所创新计划(项目编号:2024000112)的部分支持。