《Parallel Computing》:SmartBatchLLM: An efficient adaptive hybrid batching strategy for large language model serving
编辑推荐:
•我们提出了 SmartBatchLLM,一种用于大语言模型服务系统的全新调度器。•它通过优化批处理组合质量来最小化计算冗余。•在高并发下,动态优先级和打包策略将 TTFT(首字延迟)降低了多达 50%。•该方法与引擎无关,且无需修改 CUDA 内核。引言近年来,大语言模型(
- •
我们提出了 SmartBatchLLM,一种用于大语言模型服务系统的全新调度器。
- •
它通过优化批处理组合质量来最小化计算冗余。
- •
在高并发下,动态优先级和打包策略将 TTFT(首字延迟)降低了多达 50%。
- •
该方法与引擎无关,且无需修改 CUDA 内核。
引言
近年来,大语言模型(LLMs)在各种任务中展现了卓越的性能,推动了学术界和工业界对其规模化部署的兴趣 [1]、[2]、[3]。然而,服务这些模型带来了独特的性能挑战:自回归生成本质上计算开销巨大 [4],而实际的服务系统必须同时容纳具有显著序列长度和应用场景变化的混合请求流。在此类约束下平衡高吞吐量和低延迟仍然是设计高效 LLM 服务基础设施的关键且持续的挑战 [5]、[6]。
为了缓解自回归生成的高计算成本并最大化硬件利用率,LLM 服务框架通常利用批处理来利用现代图形处理单元(GPU)的大规模并行架构 [7]。然而,该策略在处理异构请求流时引入了两个主要性能瓶颈:队头(HoL)阻塞和计算冗余。HoL 阻塞会延迟其他请求 [8]。由填充标记引起的计算冗余是变长序列批处理过程中低效的显著来源 [9]。
为了解决这些挑战,各种先进的解决方案已被提出 [10]、[11]。Yu 等人 [12] 提出了 Orca,使用连续批处理来缓解 HoL 阻塞。Agrawal 等人 [13] 提出了 Sarathi-Serve,使用分块预填充和无停顿调度来应对吞吐量与延迟之间的权衡。在资源管理方面,PagedAttention [14] 通过分页内存管理减少了键值(KV)缓存碎片。vAttention [15] 使用计算统一设备架构(CUDA)虚拟内存应用程序编程接口(API)来保留连续的虚拟 KV 缓存。HexGen-2 [16] 优化了异构硬件上的推理,而 DistServe [17] 将预填充和解码执行分离。其他补充方法通过多个预测头加速解码 [18],提供生产服务基础设施 [19],或压缩 KV 缓存 [20]、[21]、[22]。然而,我们观察到一个研究空白:现有工作主要关注批内或内存管理级别的优化 [23]——即如何高效执行已形成的批处理 [24]——相比之下,批间请求层研究较少。这一层涵盖了准入控制、跨请求优先级排序、感知填充的打包以及塑造批处理组合质量的刷新/预算策略。尽管连续批处理改善了执行时序,但批处理组合仍然是一个活跃的问题 [25]。具体来说,虽然 PagedAttention 优化了内存中的 KV 放置,但一旦一个组合不佳、填充严重的批处理被提交给 GPU,它无法防止计算浪费。类似地,Orca 和 Sarathi 缓解了阻塞,但在批处理形成期间并未显式最小化填充。因此,在高并发下,填充引起的冗余会阻止系统接近其峰值理论吞吐量。
为了解决混合长度请求流下的批处理组合问题,我们提出了 SmartBatchLLM,一种与引擎无关的请求级调度器。它在将请求调度给推理引擎之前,通过请求选择和组合构建计算密集型批处理,而无需修改底层 CUDA 内核。图 1 说明了 SmartBatchLLM 与传统 FCFS(先进先出)之间的调度差异,其中填充浪费和延迟值是图注中定义的理 想计算值。在 FCFS 下,一个长请求 R0 阻塞了三个短请求,在这个示例中导致高达 55% 的计算浪费。相比之下,SmartBatchLLM 将三个短请求分组为一个低填充(5%)的批处理,随后将 R0 作为单独批处理进行处理。这一对比说明了请求重排序如何提高短请求的响应速度并减少计算冗余。
本文的主要贡献如下:
- •
提出了一种旨在最小化计算冗余的请求级调度算法:论文提出了 SmartBatchLLM 算法,显式针对最小化计算冗余。它通过使用高层调度策略来解决由填充引起的性能瓶颈。
- •
设计了一种平衡公平性和效率的动态机制:它提出了一种感知延迟的自适应多级队列机制。这种设计使 SmartBatchLLM 能够在公平性和效率之间取得平衡,同时动态适应不同的工作负载。
- •
引入了一种增强计算密度的打包策略:它引入了一种动态优先级算法和一种称为优先级有序打包的批处理策略。该策略优先考虑将短请求分组,以最大化批处理的计算密度,从而提高 GPU 利用率效率。
章节摘要
相关工作
以往提高 LLM 服务效率的努力可以分为执行级、内存级和请求级优化。SmartBatchLLM 针对请求级,与前两者互补。
执行与内存。Yu 等人 [12] 提出了 Orca,引入了迭代级(连续)批处理,允许已完成的请求在每次解码步骤离开,新到达的请求加入正在运行的批处理;vLLM 的默认调度器基于此设计。Agrawal 等人 [13]
提出的方法
提出的 SmartBatchLLM 算法通过推理引擎上方的轻量级调度策略,解决了混合长度 LLM 服务流中的两个关键性能瓶颈,包括队头阻塞和计算冗余。SmartBatchLLM 由三个互补组件组成:
(A)动态阈值和多级队列:根据实时负载特征对请求进行粗粒度分类。
(B)感知延迟的动态优先级:对单个请求进行排序
实验评估
为了全面且公平地评估提出的 SmartBatchLLM 调度算法的性能,设计并实施了一系列系统性实验。本节详细介绍了实验环境、基线方法和评估指标,随后对实验结果进行了深入分析。
结论
本文解决了高并发、混合请求流下 LLM 服务中的两个关键瓶颈:由传统 FCFS 策略引起的队头阻塞和普遍存在的计算冗余。为了解决这些挑战,我们提出了一种名为 SmartBatchLLM 的请求级调度算法。通过其自适应动态阈值、感知延迟的动态优先级机制和优先级有序打包策略,SmartBatchLLM 在高层对请求进行分组和调度,而无需
CRediT 作者贡献声明
Siyuan Sun:写作 – 审阅与编辑,写作 – 原稿,可视化,方法论,概念化。 Zhaojia Wang:写作 – 审阅与编辑,验证,方法论。 Hanshuo Liu:写作 – 原稿,方法论,概念化。 Jiehan Zhou:写作 – 审阅与编辑,监督,项目管理,方法论,概念化。
写作过程中生成式 AI 和 AI 辅助技术的声明
在工作准备期间,作者使用 OpenAI Codex 和 Anthropic Claude 进行语言编辑和手稿格式辅助。使用这些工具后,作者根据需要审阅和编辑了内容,并对出版物的内容承担全部责任。
利益冲突声明
作者声明他们不存在任何已知的竞争性财务利益或个人关系,这些利益或关系可能会影响本文所报告的工作。
致谢
这项工作得到了 山东省自然科学基金(项目编号 ZR2024ME230)的支持。
Siyuan Sun|Zhaojia Wang|Hanshuo Liu|Jiehan Zhou