PACOE:面向并行系统的大语言模型推理的并行计算与架构协同探索

《IEEE Embedded Systems Letters》:PACOE: Parallel Computation and Architecture Coexploration for LLM Inference on Parallel Systems

【字体: 大 中 小 】 时间:2026年10月21日 来源:IEEE Embedded Systems Letters 1.7

编辑推荐:

   摘要:大型语言模型(LLMs)被广泛应用,高效推理的重要性日益凸显。随着模型规模与上下文长度的增长,单个设备已无法支撑所需的算力、内存容量与内存带宽。因此,并行系统已成为部署大型 LLM 的关键。然而,硬件资源不匹配、通信开销与负载不均会显著降低扩展效率。因此,联合评估硬件架

  摘要:大型语言模型(LLMs)被广泛应用,高效推理的重要性日益凸显。随着模型规模与上下文长度的增长,单个设备已无法支撑所需的算力、内存容量与内存带宽。因此,并行系统已成为部署大型 LLM 的关键。然而,硬件资源不匹配、通信开销与负载不均会显著降低扩展效率。因此,联合评估硬件架构、并行计算策略与工作负载调度策略已成为一个关键瓶颈。本文提出 PACOE,一个面向并行系统 LLM 推理的并行计算与架构协同探索框架。PACOE 构建统一的硬件抽象,模拟算子到硬件的映射,并将仿真扩展到并行执行与工作负载调度。基于该仿真器,PACOE 协同探索硬件配置、并行化策略与调度策略,以识别具有较好性能—成本权衡的设计。实验表明,PACOE 在 GPU、TPU 及多 GPU 张量并行(TP)上的推理性能预测平均误差为 4.9%。在商用硬件上,PACOE 在 1 小时 46 分钟内探索了 15552 个候选方案。与 8 张 H100 的同构基线相比,协同探索得到的设计实现 1.33 倍延迟降低与 1.62 倍吞吐提升,而成本仅增加 12.7%。这些结果表明,协同探索硬件架构、并行计算与工作负载调度是有益的。一、引言大型语言模型(LLMs)已成为对话助手、代码生成、文档分析和智能体应用的核心基础设施[1]。随着模型规模与上下文长度持续增长,LLM 推理对硬件资源提出越来越严苛的要求。由于单个设备通常无法处理一个模型的计算与存储,实际的 LLM 服务系统越来越多地依赖多台设备进行执行。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号