ZeroFuse:基于ZeRO-DP的RLHF训练交错Actor-Critic并行执行系统
《IEEE Transactions on Computers》:Make the Parallel Truly Parallel: Interleaving Parallel ZeRO-DP for RLHF Training with ZeroFuse
【字体:
大
中
小
】
时间:2026年10月22日
来源:IEEE Transactions on Computers 4.9
编辑推荐:
人类反馈强化学习(RLHF)非常耗时,其训练阶段——即更新Actor和Critic模型——占据了大部分运行时间。现有系统通常采用零冗余数据并行(ZeRO-DP)范式来加速训练阶段。然而,它们在GPU上依次调度独立的Actor和Critic模型。由于ZeRO-DP固有的频繁小型
人类反馈强化学习(RLHF)非常耗时,其训练阶段——即更新Actor和Critic模型——占据了大部分运行时间。现有系统通常采用零冗余数据并行(ZeRO-DP)范式来加速训练阶段。然而,它们在GPU上依次调度独立的Actor和Critic模型。由于ZeRO-DP固有的频繁小型集合通信,这导致了巨大的前向计算和反向通信气泡,从而造成GPU和带宽利用率低下。为解决这一问题,我们提出了ZeroFuse,它在ZeRO-DP下实现了真正交错的Actor–Critic并行执行。ZeroFuse引入了LLMchunk抽象——即一组连续的变换器块,其大小经过调整使得每个块的计算时间与每个块的通信时间相匹配——并构建了一个性能模型来推导解析型气泡布局。随后,它利用气泡发散特性,将一个模型的前向传播与另一个模型的反向传播重叠执行,并采用动态规划调度器来选择保持顺序、通信排他且内存可行的并行调度方案。实验表明,与最先进的RLHF系统相比,ZeroFuse将训练阶段延迟降低了1.32倍,显著提升了GPU计算和带宽利用率。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号