《Neural Networks》:Towards Efficient Language Giants: A Comprehensive Survey on Structural Optimizations and Compression Techniques for Large Language Models
编辑推荐:
李吉贤(Gilhyeon Lee)|金成根(Seonggeun Kim)|李东俊(Dongjun Lee)|高京民(Kyungmin Goh)|金贤(Hyun Kim)
韩国首尔国立科学技术大学电气与信息技术研究中心电气与信息工程系,韩国首尔Nowon-gu区Gongneung-
李吉贤(Gilhyeon Lee)|金成根(Seonggeun Kim)|李东俊(Dongjun Lee)|高京民(Kyungmin Goh)|金贤(Hyun Kim)
韩国首尔国立科学技术大学电气与信息技术研究中心电气与信息工程系,韩国首尔Nowon-gu区Gongneung-ro 232号,邮编01811
摘要
大型语言模型(LLMs)在自然语言处理(NLP)任务的广泛领域中取得的显著成功引起了学术界和工业界的广泛关注。然而,它们的推理过程会带来大量的计算和内存开销,这使得在对延迟敏感或资源受限的环境中高效部署这些模型变得具有挑战性。本调查全面概述了为解决这些问题而开发的模型级优化技术。具体来说,我们研究了核心Transformer组件的高效模块设计,包括多头注意力(Multi-head Attention)、前馈网络(Feed-forward Networks)、归一化(Normalization)和位置编码(Positional Encoding),并总结了代表性的压缩方法,如量化(Quantization)、剪枝(Pruning)、知识蒸馏(Knowledge Distillation)、近似(Approximation)和参数共享(Parameter Sharing)。我们对每个领域的最新进展进行了分类,分析了它们的算法原理、经验上的权衡以及对推理效率的影响。此外,我们还提出了实用的设计策略,将高效模块与压缩技术有效结合,以在满足特定应用精度和延迟要求的同时显著降低推理成本。
引言
最近在大型语言模型(LLMs)方面的进展,包括GPT(Brown等人,2020年)和LLaMA(Touvron等人,2023a年),以及各种开源模型的出现,如OPT(Zhang等人,2022a年)、Vicuna(Vicuna等人,2023年)、BLOOM(Le Scao等人,2023年)和Qwen Bai(Bai等人,2023a年),极大地促进了具有数百万到数百亿参数的模型在学术界和工业界的开发和部署。然而,这些性能提升本质上导致了推理过程中内存消耗和计算需求的显著增加。这些因素在需要快速、低延迟响应的实际应用中成为关键的瓶颈。特别是基于Transformer的模型,通常需要大约2·n·p次浮点运算(FLOPs)来生成n个输出令牌,其中p为参数数量。此外,这些模型消耗大量内存;在FP16精度下,每十亿个参数通常需要大约2 GB的GPU内存。随着模型规模的扩大,由于内存访问导致的延迟变得越来越重要(Barros,2025年)。例如,GPT3-175B(Brown等人,2020年)在单个NVIDIA A100 GPU上的每个令牌延迟超过350毫秒,这使得实现实时系统通常期望的响应时间(低于100-200毫秒)变得具有挑战性(Barros,2025年)。这些限制在计算资源受限的环境中尤为明显,例如边缘设备和处理大量同时推理请求的服务器部署中。
为了克服这些限制,人们积极开展了推理优化研究,这些研究可以具体分为三个领域:系统级优化、数据级优化和模型级优化(Wan等人,2024年)。系统级优化不需要额外的重新训练过程,包括内存卸载、内核优化(例如FlashAttention(Dao,2024年);Dao等人,2022年)、xFormers(Lefaudeux等人,2022年))、流水线并行性以及基于vLLM的服务器架构改进。数据级优化旨在通过减少输入提示的长度或启用并行输出生成方法(如Skeleton-of-Thought(Ning等人,2024年)来降低计算需求,从而最小化顺序处理开销。然而,这些方法在大幅减少FLOPs和内存使用方面存在局限性,因为它们并不直接修改模型结构或参数本身(Zhou等人,2024年)。因此,直接减少模型结构和参数的模型级优化已成为更有效和根本的解决方案。代表性的方法包括高效模块设计以替换Transformer模块,以及量化、剪枝、知识蒸馏、近似和参数共享等压缩技术。然而,这些方法仍然面临挑战,例如它们依赖于特定的架构,以及缺乏明确指导来最佳组合不同技术以平衡性能。此外,现有的调查要么提供LLM生态系统的广泛概述(Bai等人,2024a年;Park等人,2024年;Wan等人,2024年;Zhou等人,2024年),要么专注于特定的轻量级技术(Cheng等人,2024年;Lang等人,2024年;Xu等人,2024a年)。因此,目前仍然缺乏全面分析模块级修改和各种压缩技术的研究,以及提出适用于实际模型设计的实用策略。
章节片段
基于Transformer的LLMs
图1展示了现代LLMs所基于的标准编码器-解码器Transformer架构(通常称为vanilla Transformer)(Vaswani等人,2017a年)。编码器在图中底部重复N次,首先将令牌嵌入与位置编码(PE)作为输入结合,然后交替堆叠多头注意力(MHA)和前馈网络(FFN)层。每个MHA和FFN层之后都跟着一个残差连接(Residual)和一个归一化(Norm)模块,以促进稳定训练。同样,解码器...
高效模块设计
最近的研究集中在通过优化或替换第2.1节中描述的核心组件来提高推理速度、内存效率和训练稳定性。如图2所示,本节首先对高效模块设计进行分类,然后讨论它们对Transformer框架的影响以及由此带来的性能提升。
模型压缩
模型压缩旨在通过最小化原始模型的性能损失来提高推理速度并降低部署成本,同时减少模型规模和FLOPs。图2展示了本节讨论的核心压缩技术的分类,图3根据这一分类提供了量化、剪枝、知识蒸馏(KD)和近似(Approximation)的可视化说明。
跨技术比较
本节比较了不同技术类别(即量化、剪枝和KD)在常见的定量指标上的表现:参数压缩、FLOPs减少、内存节省和准确性下降。这样的比较突出了内存、计算和准确性之间的权衡,为高效模型的实际设计选择提供了定量基础,并暗示了技术之间的潜在互补性(例如,将量化与剪枝结合,或将KD与...
结论
本文全面调查了用于高效LLM推理的模型级优化技术。我们回顾了核心Transformer组件(MHA、FFN、位置编码和归一化)的高效模块设计的最新进展,以及量化、剪枝、知识蒸馏、近似和参数共享等代表性压缩方法。在此基础上,我们提出了针对不同应用场景定制的优化LLM的设计策略。
CRediT作者贡献声明
李吉贤(Gilhyeon Lee):撰写——原始草稿、可视化、验证、软件、资源、方法论、调查、形式分析、数据整理、概念化。金成根(Seonggeun Kim):撰写——原始草稿、可视化、验证、软件、资源、方法论、调查、形式分析、数据整理、概念化。李东俊(Dongjun Lee):撰写——原始草稿、方法论、调查、形式分析、数据整理。高京民(Kyungmin Goh):撰写——原始草稿、方法论...
利益冲突声明
作者声明他们没有已知的可能会影响本文工作的竞争性财务利益或个人关系。
致谢
本工作得到了K-CHIPS(韩国半导体研究合作与高科技计划)(2410000620,RS-2024-00405946,24052-15TC)的支持,该计划由韩国贸易、工业与能源部(MOTIE)和韩国科学技术信息通信部(MSIT)资助,属于ITRC(信息技术研究中心)支持计划(IITP-2026-RS-2022-00156295)的一部分,由IITP(信息与通信技术规划与评估研究所)监督。
李吉贤(IEEE研究生)于2024年在韩国首尔国立科学技术大学获得电气与信息工程学士学位,目前正在攻读同一专业的硕士学位。他的研究兴趣包括大型语言模型、模型压缩、内存中处理(PIM)架构和AI加速器设计。