WARGM-PDPG:一种用于设备布置算法的双相策略梯度图Mamba神经网络

《Neural Networks》:WARGM-PDPG: A Dual-Phase Policy Gradient Graph Mamba Neural Network for Device Placement Algorithms

【字体: 大 中 小 】 时间:2026年03月19日 来源:Neural Networks 6.3

编辑推荐:

  大规模神经网络训练面临设备放置效率问题,本文提出WARGM-PDPG框架,通过WARGMamba网络提取动态平衡的全局与局部图特征,结合PDPG算法的扰动数据增强和双相位策略优化,实现设备放置时间减少95.89%,执行效率提升10.24%-28.66%。

  
郝书|王立豪|孟涵|李富中
山西农业大学软件学院,晋中市,030801,中国山西

摘要

随着神经网络规模和复杂性的不断增加,单个设备的计算能力变得越来越受限,这就需要开发高效的并行训练策略。在设备部署任务中,这一挑战尤为突出,因为此时最优的资源分配至关重要。本文提出了WARGM-PDPG策略,该策略结合了权重自适应残差图Mamba网络(WARGMamba)来增强图嵌入提取能力,以及基于扰动的双阶段策略梯度算法(PDPG)来优化设备部署策略。WARGMamba通过权重自适应残差结构缓解了传统图神经网络(GNN)中的过度平滑问题,并动态平衡了全局和局部节点特征,从而丰富了图嵌入。在强化学习中,PDPG使用双阶段更新机制(内部和外部阶段)来优化设备部署策略。内部阶段侧重于短期节点级优化,并利用扰动数据增强技术来区分相似的节点特征;同时,外部阶段评估长期策略性能,以确保收敛到全局最优解。实验结果表明,WARGM-PDPG策略优于现有方法,设备部署计算时间减少了95.89%,执行时间提高了10.24%至28.66%。

引言

近年来,大规模神经网络模型在图像分类(Bhatti, Huang, Neira-Molina, Marjan, Baryalai, Tang, Wu, Bazai, 2023; Touvron, Bojanowski, Caron, Cord, El-Nouby, Grave, Joulin, Synnaeve, Verbeek, Jégou, 2021; Zhao, Qin, Feng, Zhu, Sun, Li, Jia, 2023)、语音识别(Rayhan Ahmed, Islam, Muzahidul Islam, Shatabda, 2023; Wagner, Triantafyllopoulos, Wierstorf, Schmitt, Burkhardt, Eyben, Schuller, 2023; Weng, Qin, Tao, Pan, Liu, Li, 2023)和机器翻译(Al-Thanyyan, Azmi, 2023; Banik, 2023; Zhu, Li, Xiong, 2024)等复杂任务中表现出色。这些成果主要归功于大规模神经网络模型能够从海量数据中学习高度复杂的特征关联。随着训练和推理过程中数据计算需求的快速增长,这些神经网络模型的规模也得到了显著扩展。
一个著名的例子是谷歌的BERT(Bidirectional Encoder Representations from Transformers)(Devlin et al., 2019),它彻底改变了自然语言处理领域。BERT拥有3.4亿个参数,训练这样的模型既耗时又需要大量资源,远远超出了传统硬件的处理能力。因此,迫切需要开发高效的分布式训练方法。
当前的研究重点在于设计和选择有效的分布式并行化策略以加速训练。这些策略主要分为两类:专家驱动的手动设计和自动化搜索技术。前者依赖于领域专业知识,手动为特定模型和任务制定并行化方案;虽然这种方法有时能产生有效解决方案,但其效果受到人类工作可扩展性和现代神经网络复杂性的限制。随着模型架构的日益复杂,手动设计最优并行化策略变得越来越不切实际。
相比之下,自动化搜索技术提供了一种可扩展且高效的替代方案。这些方法利用算法探索可能的并行化策略空间,以识别接近最优的配置,几乎不需要人工干预。自动化并行训练通常包括两种范式:数据并行性(Chen, Giannakis, Sun, Yin, 2018; Sergeev, Balso, 2018)和模型并行性(Dean, Corrado, Monga, Chen, Devin, Le, Mao, Ranzato, Senior, Tucker, Yang, Ng, 2012; Shoeybi, Patwary, Puri, LeGresley, Casper, 2019)。
数据并行性将模型分布在多个设备上(如GPU),每个设备使用相同的网络架构处理不同的数据子集。然而,随着模型复杂性的增加(以BERT的3.4亿个参数为例,Devlin et al., 2019),仅数据并行性已不足以满足需求。
模型并行性通过将模型划分为子模型并分配到不同设备上进行并行处理来克服这一限制。当模型规模超过单个设备的处理能力时,这种方法特别有益,能够实现资源的有效利用并减少训练时间。
早期的模型并行性研究将强化学习应用于数据流图的设备部署(Mirhoseini et al., 2017),与手动配置相比,显著降低了运行时间。后续的发展,如分层设备部署策略(HDP)(Mirhoseini et al., 2018)以及结合Post算法与交叉熵最小化和近端策略优化的策略(Gao et al., 2018b),提高了可扩展性并减少了训练开销。然而,这些方法往往难以捕捉大型图中的长期依赖关系。
最近的趋势是将图神经网络(GNNs)(Hamilton et al., 2017)与强化学习(RL)(Ma, Guo, Yang, Luo, 2025; Shakya, Pillai, Chakrabarty, 2023; Yu, Gao, Li, Suganthan, 2024)相结合,以解决模型并行性问题。例如,首次将图嵌入网络应用于设备部署的方法是Placeto(Addanki et al., 2019)。另一种方法GDP通过生成一次性部署的操作符嵌入进行了扩展(Zhou et al., 2019)。同时,还开发了GraphSAGE方法,引入了邻域聚合和随机采样以保留关键特征(Mitropolitsky et al., 2021),以及P-GNN方法,通过位置嵌入增强节点位置感知(Mitropolitsky et al., 2021)。
基于这些进展,本研究提出了WARGM-PDPG,这是一个统一框架,它使用权重自适应残差图Mamba网络(WARGMamba)提取丰富的图嵌入,并利用基于扰动的双阶段策略梯度算法(PDPG)推导出最优的设备部署策略。权重自适应残差模块(WAR)在图嵌入过程中动态平衡全局和局部特征的贡献,缓解了传统节点聚合方法中常见的过度平滑问题。此外,我们提出了双阶段策略梯度更新机制(DPG),这是一种具有双阶段更新机制的强化学习算法。内部阶段侧重于局部优化,而外部阶段考虑全局效应。扰动数据增强方法(PDA)在内部阶段增强了相似节点状态的区分能力。实验结果表明,WARGM-PDPG在计算图的设备部署方面显著优于现有方法。
本研究的主要贡献如下:
  • •
    本文提出了WARGM-PDPG,这是一种基于GNNs和强化学习(RL)的设备部署模型,包含两个核心组件:WARGMamba和PDPG。对于GNNs,WARGMamba捕获节点间的长距离依赖关系,动态平衡全局和局部特征贡献,并缓解过度平滑问题;对于RL,PDPG通过基于扰动的双阶段策略梯度更新机制优化设备部署,同时考虑短期局部效应和长期全局规划。
  • •
    对于GNNs,WARGMamba结合了图Mamba神经网络(GMamba)和权重自适应残差模块(WAR)。GMamba通过提取节点特征和捕获长距离依赖关系,解决了传统GNNs有限的感知范围问题;WAR通过权重自适应残差结构平衡了不同维度间的特征信息,缓解了过度平滑问题。
  • •
    对于RL,PDPG算法利用提出的双阶段策略梯度更新机制(DPG)来优化设备部署策略。DPG采用双阶段更新机制来平衡部署策略的生成。DPG内部阶段侧重于短期节点级优化,而外部阶段确保长期策略性能收敛到全局最优解;此外,扰动数据增强方法(PDA)进一步增强了DPG内部阶段中相似节点状态的区分能力。
  • •
    通过严格的实验,本文表明WARGM-PDPG在设备部署任务中具有优势。具体来说,WARGM-PDPG将执行时间减少了10.24%–28.66%,计算时间减少了95.89%,证明了其在实际应用中的高效性。
  • 相关研究

    近年来,大规模神经网络模型的普及导致了计算需求的指数级增长。这种转变直接引发了计算能力需求的激增。面对如此巨大的计算需求,如何高效管理和利用现有硬件资源成为一个关键问题。在此背景下,探索高效的设备部署策略变得尤为重要

    方法

    在自动并行神经网络训练的背景下,设备部署任务涉及将神经网络中的每个计算操作分配给预定义的一组计算设备。主要目标是确定神经网络的最优或接近最优的设备部署策略,同时尽量减少实现该配置所需的搜索时间。

    实验结果

    在本节中,我们将全面概述实验设置。此外,还将详细展示实验结果和分析,以验证所提出模型的有效性和效率。同时,还将提供对我们提出模型的深入分析。

    讨论

    从应用角度来看,WARGM-PDPG框架在解决分布式神经网络训练中的设备部署关键问题方面展示了显著的实际价值。在合成数据集(如ptb、cifar10、nmt)上的实验结果表明,与强大的基线相比,WARGM-PDPG将执行时间减少了10.24%–28.66%,计算时间减少了高达95.89%。这种性能优势源于其有效捕捉长距离依赖关系的能力

    结论

    在本文中,我们提出了WARGM-PDPG,这是一个集成权重自适应残差图Mamba网络(WARGMamba)和基于扰动的双阶段策略梯度算法(PDPG)的新框架,用于解决分布式神经网络训练中的设备部署问题。WARGMamba组件有效捕获了计算图中的长距离依赖关系,并通过其权重自适应残差机制缓解了过度平滑问题,从而生成了更丰富的图嵌入。

    资助

    本工作得到了GHfund D [ghfund202407042032]、山西省基础研究计划[202203021212444]、山西农业大学科技创新提升项目[CXGC2023045]、浙江省重点研发计划[2024C01104, 2024C01026]、山西省研究生教育与教学改革项目基金[2022YJJG094]、山西农业大学博士研究生启动项目[2021BQ88]的支持

    CRediT作者贡献声明

    郝书:撰写 – 审稿与编辑,撰写 – 原稿,可视化,资源准备,概念构思。王立豪:撰写 – 审稿与编辑,撰写 – 原稿,可视化,资源准备,概念构思。孟涵:验证,软件开发,调查。李富中:项目管理,正式分析。

    利益冲突声明

    我们声明本文不存在利益冲突。此外,我们没有任何与所提交工作相关的商业或关联利益冲突。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号