通过连续基追踪实现梯度压缩,从而提高神经网络训练的内存效率
《Neurocomputing》:Memory-efficient neural network training via gradient compression through continuous basis tracking
【字体:
大
中
小
】
时间:2026年03月09日
来源:Neurocomputing 6.5
编辑推荐:
孟新民 | 穆罕默德·A·A·阿卜杜勒加瓦德 | 彭静 | 张瑞昌 | 洪燕
香港城市大学电气工程系与智能多维数据分析中心,香港
**摘要**
大型语言模型(LLMs)在广泛的任务中取得了前所未有的成功,但由于参数数量庞大和优化器状态众多,它们的训练和微调需要大量的
孟新民 | 穆罕默德·A·A·阿卜杜勒加瓦德 | 彭静 | 张瑞昌 | 洪燕
香港城市大学电气工程系与智能多维数据分析中心,香港
**摘要**
大型语言模型(LLMs)在广泛的任务中取得了前所未有的成功,但由于参数数量庞大和优化器状态众多,它们的训练和微调需要大量的计算资源和内存。虽然最近的方法GaLore利用了低秩梯度投影来减少内存消耗,但它存在表达能力有限或计算开销高的问题,主要是由于频繁进行全秩奇异值分解(SVD)。在这项工作中,我们提出了InGaLore,这是一种新型的、节省内存和时间的神经网络训练框架,它引入了截断的增量SVD来连续更新梯度投影基。我们的方法跟踪了梯度的演变子空间,从而实现了低秩梯度的有效压缩并降低了计算成本。我们进一步分析和解决了在投影矩阵更新过程中观察到的损失尖峰现象,提供了新的解释和有效的缓解策略。在LLMs的预训练和微调任务上的实验表明,InGaLore和ERInGaLore的准确性与现有方法相当或更优,同时将墙钟时间显著减少了15%,并保持了低内存使用量。重要的是,随着模型规模的增加,我们方法提供的墙钟时间节省效果变得更加显著。
**引言**
大型语言模型(LLMs)在各个领域取得了令人印象深刻的成功[1]、[2]、[3]、[4]、[5]、[6]、[7]。这些成就背后的主要因素是模型的规模,通常扩展到数十亿个参数。规模定律表明,LLMs的能力随着模型规模的增大而提高,但训练和微调它们需要大量的数据、计算能力和内存。Adam [8]和AdamW [9]是LLMs的标准优化器,它们存储了一阶和二阶梯度估计。因此,当应用于大型模型时,它们引入了相当大的内存开销。因此,最近在随机优化方面的进展集中在创建节省内存的技术上,这些技术能够使用更少的计算资源来预训练或微调LLMs [10],其中许多技术专注于减少优化器状态的内存。低秩适应(LoRA)[11]是这一领域的开创性贡献。LoRA通过引入两个可训练的低秩矩阵来增强固定的全秩权重矩阵,从而实现k阶更新。给定一个原始权重矩阵W0∈Rm×n(其中m是输出特征的数量,n是输入特征的数量),调整后的权重表示为W=W0+BA。低秩更新被分解为B∈Rm×k和A∈Rk×n,k是在低秩训练期间保留的秩。通过构造,W∈Rm×n与W0的形状相匹配,而只有A和B被训练。通常选择k?min(m,n)的秩,以大幅减少可训练参数的数量。因此,存储梯度和优化器状态所需的内存显著减少。尽管LoRA在各种微调任务中表现出色,但在某些情况下(如LLM预训练)仅限制更新到低秩组件可能会降低性能。后续的工作试图通过改进LoRA来解决这一限制,但大多数方法仍然集中在权重矩阵的低秩近似上。GaLore [12]提出了一种新的训练策略,计算了一个投影矩阵P∈Rm×r,将梯度矩阵G∈Rm×n投影到低秩形式PTG。投影矩阵P在固定数量的训练步骤(例如100步)中使用。在这种背景下,优化器状态的内存占用可以大幅减少,同时仍能使权重保持在全秩参数空间中。这种方法减少了内存消耗,并在LLMs的预训练和微调任务中表现与全秩训练相当。
GaLore在LLM预训练和微调任务中展示了其性能,但它仍有一些需要解决的问题。为了获得投影矩阵P,GaLore选择了随机梯度矩阵G∈Rm×n的前k个奇异向量,这些向量是通过奇异值分解(SVD)计算得出的。这个过程有效地捕获了随机梯度矩阵的主要成分。然而,全SVD的计算复杂度为O(mn2),在构建投影矩阵P时会导致相当大的计算开销。尽管GaLore每隔固定数量的训练步骤才更新一次投影矩阵P,但与标准的全秩训练相比,这个过程仍然消耗了大量时间。GaLore报告称,投影矩阵通常每50-1000步更新一次。然而,经验表明,非常频繁的更新并不会提高性能,甚至可能会降低性能——这一效应也在[13]中观察到。相反,如果投影矩阵固定太久,低秩梯度与全秩梯度之间的差异会增大,从而损害训练效果。综合这些相反的因素,GaLore通常无法在固定的低秩k下匹配全秩性能。在更新投影矩阵P的过程中,我们观察到它有时会偶尔在动量矩阵中引起显著的振荡,这可能会阻碍其更新并在训练过程中导致明显的损失尖峰。这种现象在图1中显示出来。如[14]中所指出的,即使应用梯度裁剪技术,这个问题也可能无法得到充分缓解。
为了应对这些挑战,我们提出了一种新型的、节省内存和时间的LLMs训练框架,称为InGaLore,并在图2中进行了说明。我们的方法引入了截断的增量SVD [15]、[16]、[17]、[18]投影和更新框架,以解决与先前方法相关的计算复杂性和增加的训练墙时间问题。这种方法不仅比GaLore具有更好的性能,还降低了计算成本,缩短了训练墙时间,并保持了几乎相同的内存使用量。此外,我们提出的方法在非常频繁的子空间更新下仍然稳定,并且在这种情况下显著优于GaLore。关于损失尖峰问题,我们的实验结果表明[14]中的假设并不完全准确;投影矩阵与优化器状态之间的不对齐并不是导致损失尖峰的唯一原因。此外,我们提出了一种有效解决损失尖峰问题的新方法。为了便于实际应用,我们的方法被设计为标准优化器(如Adam)的直接替代品。我们的实验完全在PyTorch框架内进行,并在算法1中提供了PyTorch风格的实现,以说明其易用性。通过在公开可用的GaLore [12]库的基础上进行构建,我们展示了我们方法的效率;主要修改是将SVD组件替换为我们提出的截断增量SVD算法。因此,我们相信我们的方法可以轻松集成到主流深度学习框架中。我们的主要贡献可以总结如下:
1. 我们提出了InGaLore/ERInGaLore,这是一种节省时间和内存的LLMs训练框架,它利用截断的增量SVD来构建投影矩阵,同时保留了先前更新的信息。
2. 我们对损失尖峰现象进行了全面分析,揭示了其根本原因,并提出了一种结合完全增量SVD和增长限制策略的稳健解决方案来减轻其影响。
3. 我们在不同规模(60M、130M、350M和1B参数)的模型上进行了广泛的实验,验证了InGaLore在预训练和微调中的有效性。在预训练中,ERInGaLore在准确性上超过了GaLore,并将墙钟时间减少了15%。在微调中,它的性能与GaLore相当,同时将墙钟时间减少了20%以上。
**算法1 InGaLore算法(PyTorch风格)**
本文的其余部分结构如下。第2节回顾了低秩训练和微调方法的先前工作。第3节介绍了AdamW优化器和GaLore方法所需的背景知识。第4节对GaLore的局限性进行了数学分析,并说明了增量SVD如何增强低秩梯度压缩。第5节详细描述了我们提出的方法InGaLore和ERInGaLore。第6节研究了损失尖峰现象并概述了我们的缓解策略。第7节报告了在不同规模模型上的预训练和微调实验结果。最后,第8节总结了研究发现。
**相关工作**
**参数高效微调:**近年来,开发了一系列参数高效的微调方法,使更多的机构和研究人员能够根据他们的特定需求调整LLMs。LoRA [11]已成为一种流行的LLMs内存高效微调策略。这种方法激发了一系列旨在提高性能和扩大其适用性的方法。例如,ReLoRA [19]将LoRA扩展到了预训练设置中。
**初步**
我们在整篇文章中采用以下符号以确保清晰度和避免歧义。粗体大写字母表示矩阵。所有符号保持其在每个训练步骤t下的定义含义。
| 符号 | 描述 |
|-------------|-----------------------------------------|
| Wt | 第t步的权重矩阵 |
| Gt | 第t步的全秩梯度 |
| Pt | 第t步的投影矩阵 |
| Glr,t | 第t步的低秩梯度 |
| M1,t | 第t步的一阶动量 |
| M2,t | 第t步的二阶动量 |
| Gn,t | 从优化器输出的标准化梯度 |
| G^t | 投影后的梯度 |
**数学分析**
本节提供了为什么增量SVD(IncSVD)与梯度低秩投影(GaLore)产生基本协同作用的数学分析。我们研究了连续跟踪和更新梯度基而不是在每一步独立重新计算它的关键优势,展示了这种方法如何解决标准GaLore的基本限制,同时实现高效的大规模优化。将增量SVD [15]、[16]与GaLore相结合……
**提出的截断InGaLore方法**
为了更好地说明,我们首先做出以下定义:
**定义2 更新频率**
定义更新参数如下:
Tgap:常规增量更新频率,
Treset=α?Tgap:全SVD重置频率(通常α=10)。
在迭代t时的更新类型由以下方式确定:
UpdateType(t)={
Incremental 如果 t mod Tgap = 0 且 t mod Treset ≠ 0,
Full Reset 如果 t mod Treset = 0,否则 None。
}
P的部分更新旨在保持子空间内的连续性;然而,优化器状态仍然与之前的状态对齐。
**损失尖峰问题分析**
在用GaLore进行的实验中,我们观察到训练偶尔会经历损失的突然增加,如图1所示。这种现象也在[14]中进行了研究,他们将其归因于在P更新时优化器保留了与先前投影矩阵相关的状态变量。同时,当前梯度是使用新更新的投影矩阵计算的。根据[14]中提出的假设,这种不对齐导致了显著的不稳定性。
**实验**
在本节中,我们展示了InGaLore和ERInGaLore在LLMs的预训练和微调任务上的有效性。
**结论**
我们提出了InGaLore和ERInGaLore,这是一种节省内存和时间的LLMs训练框架,它用截断的增量SVD替换了重复的全SVD,以跟踪和保留更新过程中的梯度子空间。这种设计在保持准确性的同时大幅降低了计算成本。我们对损失尖峰现象进行了全面分析,确定了其根本原因,并提出了通过完全增量更新和增长限制策略来稳定缓解的方法。
**作者贡献声明**
孟新民:撰写——审阅与编辑、撰写——原始草稿、可视化、验证、软件、方法论、调查、形式分析。
穆罕默德·A·A·阿卜杜勒加瓦德:撰写——审阅与编辑、撰写——原始草稿、可视化、验证、方法论、调查、形式分析、概念化。
彭静:撰写——审阅与编辑、撰写——原始草稿、验证、软件。
张瑞昌:撰写——审阅与编辑、监督、项目管理、利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
**致谢**
本工作得到了香港创新及科技委员会(InnoHK项目CIMDA)、香港研究资助委员会(项目11201825)和香港城市大学(项目9610034和9610460)的支持。
孟新民于2023年从香港城市大学获得了电子与通信工程学士学位。他现在是香港城市大学电气工程系的博士生。他的研究兴趣包括并行计算和AI算法加速。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号