近年来,大规模神经网络模型在图像分类(Bhatti, Huang, Neira-Molina, Marjan, Baryalai, Tang, Wu, Bazai, 2023; Touvron, Bojanowski, Caron, Cord, El-Nouby, Grave, Joulin, Synnaeve, Verbeek, Jégou, 2021; Zhao, Qin, Feng, Zhu, Sun, Li, Jia, 2023)、语音识别(Rayhan Ahmed, Islam, Muzahidul Islam, Shatabda, 2023; Wagner, Triantafyllopoulos, Wierstorf, Schmitt, Burkhardt, Eyben, Schuller, 2023; Weng, Qin, Tao, Pan, Liu, Li, 2023)和机器翻译(Al-Thanyyan, Azmi, 2023; Banik, 2023; Zhu, Li, Xiong, 2024)等复杂任务中表现出色。这些成果主要归功于大规模神经网络模型能够从海量数据中学习高度复杂的特征关联。随着训练和推理过程中数据计算需求的快速增长,这些神经网络模型的规模也得到了显著扩展。
一个著名的例子是谷歌的BERT(Bidirectional Encoder Representations from Transformers)(Devlin et al., 2019),它彻底改变了自然语言处理领域。BERT拥有3.4亿个参数,训练这样的模型既耗时又需要大量资源,远远超出了传统硬件的处理能力。因此,迫切需要开发高效的分布式训练方法。
当前的研究重点在于设计和选择有效的分布式并行化策略以加速训练。这些策略主要分为两类:专家驱动的手动设计和自动化搜索技术。前者依赖于领域专业知识,手动为特定模型和任务制定并行化方案;虽然这种方法有时能产生有效解决方案,但其效果受到人类工作可扩展性和现代神经网络复杂性的限制。随着模型架构的日益复杂,手动设计最优并行化策略变得越来越不切实际。
相比之下,自动化搜索技术提供了一种可扩展且高效的替代方案。这些方法利用算法探索可能的并行化策略空间,以识别接近最优的配置,几乎不需要人工干预。自动化并行训练通常包括两种范式:数据并行性(Chen, Giannakis, Sun, Yin, 2018; Sergeev, Balso, 2018)和模型并行性(Dean, Corrado, Monga, Chen, Devin, Le, Mao, Ranzato, Senior, Tucker, Yang, Ng, 2012; Shoeybi, Patwary, Puri, LeGresley, Casper, 2019)。
数据并行性将模型分布在多个设备上(如GPU),每个设备使用相同的网络架构处理不同的数据子集。然而,随着模型复杂性的增加(以BERT的3.4亿个参数为例,Devlin et al., 2019),仅数据并行性已不足以满足需求。
模型并行性通过将模型划分为子模型并分配到不同设备上进行并行处理来克服这一限制。当模型规模超过单个设备的处理能力时,这种方法特别有益,能够实现资源的有效利用并减少训练时间。
早期的模型并行性研究将强化学习应用于数据流图的设备部署(Mirhoseini et al., 2017),与手动配置相比,显著降低了运行时间。后续的发展,如分层设备部署策略(HDP)(Mirhoseini et al., 2018)以及结合Post算法与交叉熵最小化和近端策略优化的策略(Gao et al., 2018b),提高了可扩展性并减少了训练开销。然而,这些方法往往难以捕捉大型图中的长期依赖关系。
最近的趋势是将图神经网络(GNNs)(Hamilton et al., 2017)与强化学习(RL)(Ma, Guo, Yang, Luo, 2025; Shakya, Pillai, Chakrabarty, 2023; Yu, Gao, Li, Suganthan, 2024)相结合,以解决模型并行性问题。例如,首次将图嵌入网络应用于设备部署的方法是Placeto(Addanki et al., 2019)。另一种方法GDP通过生成一次性部署的操作符嵌入进行了扩展(Zhou et al., 2019)。同时,还开发了GraphSAGE方法,引入了邻域聚合和随机采样以保留关键特征(Mitropolitsky et al., 2021),以及P-GNN方法,通过位置嵌入增强节点位置感知(Mitropolitsky et al., 2021)。
基于这些进展,本研究提出了WARGM-PDPG,这是一个统一框架,它使用权重自适应残差图Mamba网络(WARGMamba)提取丰富的图嵌入,并利用基于扰动的双阶段策略梯度算法(PDPG)推导出最优的设备部署策略。权重自适应残差模块(WAR)在图嵌入过程中动态平衡全局和局部特征的贡献,缓解了传统节点聚合方法中常见的过度平滑问题。此外,我们提出了双阶段策略梯度更新机制(DPG),这是一种具有双阶段更新机制的强化学习算法。内部阶段侧重于局部优化,而外部阶段考虑全局效应。扰动数据增强方法(PDA)在内部阶段增强了相似节点状态的区分能力。实验结果表明,WARGM-PDPG在计算图的设备部署方面显著优于现有方法。
本研究的主要贡献如下:
•本文提出了WARGM-PDPG,这是一种基于GNNs和强化学习(RL)的设备部署模型,包含两个核心组件:WARGMamba和PDPG。对于GNNs,WARGMamba捕获节点间的长距离依赖关系,动态平衡全局和局部特征贡献,并缓解过度平滑问题;对于RL,PDPG通过基于扰动的双阶段策略梯度更新机制优化设备部署,同时考虑短期局部效应和长期全局规划。
•对于GNNs,WARGMamba结合了图Mamba神经网络(GMamba)和权重自适应残差模块(WAR)。GMamba通过提取节点特征和捕获长距离依赖关系,解决了传统GNNs有限的感知范围问题;WAR通过权重自适应残差结构平衡了不同维度间的特征信息,缓解了过度平滑问题。
•对于RL,PDPG算法利用提出的双阶段策略梯度更新机制(DPG)来优化设备部署策略。DPG采用双阶段更新机制来平衡部署策略的生成。DPG内部阶段侧重于短期节点级优化,而外部阶段确保长期策略性能收敛到全局最优解;此外,扰动数据增强方法(PDA)进一步增强了DPG内部阶段中相似节点状态的区分能力。
•通过严格的实验,本文表明WARGM-PDPG在设备部署任务中具有优势。具体来说,WARGM-PDPG将执行时间减少了10.24%–28.66%,计算时间减少了95.89%,证明了其在实际应用中的高效性。