PACOE:面向并行系统的大语言模型推理的并行计算与架构协同探索
《IEEE Embedded Systems Letters》:PACOE: Parallel Computation and Architecture Coexploration for LLM Inference on Parallel Systems
【字体:
大
中
小
】
时间:2026年10月21日
来源:IEEE Embedded Systems Letters 1.7
编辑推荐:
摘要:大型语言模型(LLMs)被广泛应用,高效推理的重要性日益凸显。随着模型规模与上下文长度的增长,单个设备已无法支撑所需的算力、内存容量与内存带宽。因此,并行系统已成为部署大型 LLM 的关键。然而,硬件资源不匹配、通信开销与负载不均会显著降低扩展效率。因此,联合评估硬件架
摘要:大型语言模型(LLMs)被广泛应用,高效推理的重要性日益凸显。随着模型规模与上下文长度的增长,单个设备已无法支撑所需的算力、内存容量与内存带宽。因此,并行系统已成为部署大型 LLM 的关键。然而,硬件资源不匹配、通信开销与负载不均会显著降低扩展效率。因此,联合评估硬件架构、并行计算策略与工作负载调度策略已成为一个关键瓶颈。本文提出 PACOE,一个面向并行系统 LLM 推理的并行计算与架构协同探索框架。PACOE 构建统一的硬件抽象,模拟算子到硬件的映射,并将仿真扩展到并行执行与工作负载调度。基于该仿真器,PACOE 协同探索硬件配置、并行化策略与调度策略,以识别具有较好性能—成本权衡的设计。实验表明,PACOE 在 GPU、TPU 及多 GPU 张量并行(TP)上的推理性能预测平均误差为 4.9%。在商用硬件上,PACOE 在 1 小时 46 分钟内探索了 15552 个候选方案。与 8 张 H100 的同构基线相比,协同探索得到的设计实现 1.33 倍延迟降低与 1.62 倍吞吐提升,而成本仅增加 12.7%。这些结果表明,协同探索硬件架构、并行计算与工作负载调度是有益的。一、引言大型语言模型(LLMs)已成为对话助手、代码生成、文档分析和智能体应用的核心基础设施[1]。随着模型规模与上下文长度持续增长,LLM 推理对硬件资源提出越来越严苛的要求。由于单个设备通常无法处理一个模型的计算与存储,实际的 LLM 服务系统越来越多地依赖多台设备进行执行。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号