无人机辅助空间-空-地-海一体化网络中联合模型划分与带宽分配的优化框架:一种基于A3C-PPO混合强化学习方法

《Entropy》:Joint Model Partitioning and Bandwidth Allocation for UAV-Assisted Space–Air–Ground–Sea Integrated Network: A Hybrid A3C-PPO Approach Yuanmo Lin, Yuanyuan Han, Minmin Wu, Shaoyu Lin, Xia Zhang and Zhiyong Xu

【字体: 大 中 小 】 时间:2026年03月21日 来源:Entropy 2

编辑推荐:

  本文针对无人机(UAV)辅助移动边缘计算(MEC)在空间-空-地-海一体化网络(SAGSIN)中,面临资源受限、异构任务卸载及动态环境下的模型划分与带宽分配联合优化难题。作者提出了一种混合A3C-PPO(异步优势演员-评论家-近端策略优化)框架,其中PPO用于处理深度神经网络(DNN)的离散模型划分,A3C用于动态连续带宽分配,并引入加权优先级调度机制。该框架在动态SAGSIN场景下,显著提升了任务完成率、降低了处理延迟、提高了资源利用率,为复杂动态边缘计算环境提供了高效、稳定的协同优化方案。

  
随着5G技术的大规模部署,其大带宽、低延迟、高可靠性的特性为复杂场景的智能化升级提供了关键支撑。为了突破传统单层网络的覆盖限制,空间-空-地-海一体化网络(SAGSIN)应运而生,它通过整合天基卫星、空中平台、地面节点和海上通信设施,实现了全球连续网络覆盖,并在智能交通、应急救援、海洋监测等关键领域得到广泛应用。然而,SAGSIN场景中各类终端设备产生的计算任务具有异构和密集的特点,传统的集中式云计算已难以满足场景化服务的需求。为了弥补这一不足,移动边缘计算(MEC)将计算资源部署在网络边缘。然而,SAGSIN中的MEC面临着空、天、地、海多域异构接入方式和动态拓扑的独特挑战。地面边缘节点受地理条件限制,难以有效覆盖偏远地区、动态场景和临时任务区域,且部署成本高、灵活性不足,无法适应任务分布的动态变化。
这时,具备高机动性和灵活部署能力的无人机(UAV)成为了解决上述问题的“空中奇兵”。将UAV集成到MEC框架中,形成了UAV辅助的MEC范式,能够实现按需、快速的组网。UAV边缘节点可以根据任务分布动态调整部署位置,为终端设备提供就近的计算卸载服务,有效减少任务传输距离和处理延迟,并弥补地面边缘节点的覆盖空白。但UAV自身的资源约束(计算、通信带宽、能源)成为制约其服务质量提升的主要瓶颈。SAGSIN场景中密集的异构任务对资源提出了差异化需求,传统的全任务卸载模式容易导致资源分配失衡、任务阻塞或服务质量下降。为了在有限的UAV算力下提升效率,模型划分技术应运而生,它将复杂的深度神经网络(DNN)按特定规则划分为多个子模型。得益于早期DNN层固有的数据压缩特性,通过在终端本地执行前端层,可以避免传输海量的原始数据,从而大幅减少通信开销,同时减轻资源受限UAV的计算负担。
然而,挑战并未结束。带宽分配和模型划分紧密耦合、双向依赖。分配的带宽严格决定了传输速率,进而影响不同候选划分点处的传输延迟;反之,所选的划分点决定了需要卸载的中间数据量,改变了带宽需求。独立优化任一子问题都会忽略这种耦合,必然导致全局性能次优。因此,一个联合优化框架势在必行。在动态的SAGSIN环境中,模型划分的决策是离散的(选择哪个层进行划分),而带宽分配是连续的(分配多少带宽),这种混合决策空间对传统强化学习算法构成了巨大挑战。现有的一些混合深度强化学习模型要么无法解耦具有不同更新频率的异构决策结构,要么依赖于集中式训练且未解决DNN划分问题,要么其紧密耦合的动作表示限制了子问题的独立优化。为此,研究人员决心设计一种能够同时应对离散模型划分和连续带宽分配双重需求的智能联合优化方法,以全面提升SAGSIN场景下UAV辅助MEC系统的整体性能。
研究人员开展了一项旨在最小化任务执行延迟、同时最大化任务完成率的研究。他们提出了一种UAV辅助的MEC架构,将复杂的非凸优化问题分解为两个易于处理的子问题:UAV的带宽分配策略和终端的DNN模型划分。为了攻克这两个子问题,他们设计了一个创新的混合优化框架,该框架创造性地整合了A3C(异步优势演员-评论家)和PPO(近端策略优化)两种算法的优势。他们明确认识到带宽分配和DNN划分在时间动态和结构需求上的异构性,因此进行了“场景驱动的算法分配”:让擅长处理动态环境、具有快速收敛和优秀适应性的A3C算法,通过其异步多线程架构来处理高频波动的信道状态,负责动态带宽资源分配;而让在模型划分任务中表现出强大泛化能力、训练稳定性和高样本效率的PPO算法,利用其截断目标函数来确保训练稳定性,负责处理复杂的、拓扑感知的离散DNN划分决策。这种协同操作形成了一个全面的优化框架。此外,基于此框架,研究者还提出了一种调度算法,通过整合计算时间和剩余可用时间来量化任务优先级,引入加权优先级调度机制,从而保证紧急任务的执行资源,同时根据短作业优先原则优先处理短任务,避免长时任务垄断资源导致服务超时。这项研究最终形成论文《Joint Model Partitioning and Bandwidth Allocation for UAV-Assisted Space–Air–Ground–Sea Integrated Network: A Hybrid A3C-PPO Approach》,发表在期刊《Entropy》上。
为开展研究,作者主要应用了以下几个关键技术方法:首先,构建了UAV辅助SAGSIN的系统模型,包括网络模型、信道模型、任务模型、模型划分与带宽分配的数学模型。其次,设计并实现了混合A3C-PPO深度强化学习框架,其中PPO算法负责学习DNN模型划分策略,A3C算法负责动态带宽分配。该框架采用了异步多线程训练架构,多个并行的执行体网络独立与环境交互收集数据,以加速收敛并适应UAV有限的计算资源。最后,引入了基于任务紧急程度和计算时间的加权优先级调度机制,以实现公平高效的任务排队与资源分配。
3.1. Network Model
研究构建了UAV辅助的SAGSIN网络模型,该网络主要由终端设备和UAV组成。UAV从初始位置飞往最终位置,并作为边缘服务器为智能终端设备提供计算支持。智能终端设备在UAV的服务周期内与最近的UAV保持关联。为了确保服务质量,连接到每个UAV的智能终端数量受到严格限制,因此所需部署的UAV数量取决于要服务的智能终端数量。该网络被表示为一个无向图G = (U, V, E),其中U表示UAV集合,V表示智能终端集合,E表示智能终端与UAV之间的关联关系集合。
3. System Modeling and Problem Formulation
通过系统建模,研究将DNN任务的执行分解为四个主要阶段:在边缘设备上执行前k层的延迟(Ti,edk,q)、从边缘设备到UAV的传输延迟(Ti,trank)、在UAV上执行剩余(Li-k)层的延迟(Ti,uavk),以及从UAV返回计算结果到终端设备的延迟(由于输出数据量小,此项可忽略)。由于任务连续到达,边缘设备上的任务执行需要基于优先级的排队。因此,任务ji在边缘设备上执行前k层的总延迟包含了排队等待时间。研究随后建立了带宽分配模型,其中UAV m的总带宽Bm需要在其所服务的终端间进行分配。分配给终端vi的带宽bi决定了其传输速率,进而直接影响传输延迟Ti,trank。最终,研究将优化目标形式化为一个联合优化问题,旨在通过优化带宽分配向量b和模型划分点k,来最小化系统的总任务处理延迟,同时满足UAV服务终端数量上限、带宽总和约束以及划分点取值范围等约束条件。
4. The Proposed Algorithm
为求解上述复杂的联合优化问题,研究提出了基于加权优先级调度与A3C-PPO混合框架的算法。算法框架包含两个核心组件:一是由A3C算法处理的动态带宽分配器,其状态空间包含UAV的可用带宽、连接终端的信道状态等信息,动作空间是连续带宽分配向量,奖励函数设计为负的系统总延迟;二是由PPO算法处理的DNN模型划分器,其状态空间包含任务特征(如DNN模型结构、各层计算量、中间数据大小)、UAV当前计算负载等,动作空间是离散的划分点k,奖励函数同样与任务完成延迟相关。两个组件通过环境交互协同工作:划分器决定划分点后,所需的中间数据量被传递给分配器;分配器根据分配的带宽计算出传输延迟,与计算延迟一同反馈给划分器。此外,加权优先级调度机制被集成到框架中,动态计算每个任务的优先级,确保调度公平性。A3C的异步训练机制允许从不同场景(终端连接数、带宽占用率、传输需求各异)同步收集交互经验,从而全面捕捉SAGSIN场景中带宽分配环境的动态特性,有效处理终端接入波动和异构带宽需求。
5. Experiment
通过大量仿真实验,研究评估了所提A3C-PPO算法的有效性、收敛性和适应性。实验结果表明,在动态SAGSIN场景下,与现有算法(如DQN、DDPG、单一PPO或A3C)相比,A3C-PPO混合算法在任务完成率、任务处理延迟和资源利用率方面均表现出更优的性能。具体而言,A3C-PPO能够更快地收敛到更优的策略,在面对终端数量波动、任务类型变化和网络条件动态变化时,表现出更强的鲁棒性和适应性。加权优先级调度机制的引入有效防止了资源被少数长任务垄断,提高了系统整体公平性和任务完成率,特别是在高负载场景下优势明显。
本研究得出以下核心结论:针对UAV辅助MEC在SAGSIN场景下面临的模型划分与带宽分配联合优化难题,单独使用任何一种强化学习算法均难以同时满足两项任务的核心需求。研究创新性地提出了一种混合A3C-PPO优化框架,通过场景驱动的算法分配,充分发挥了A3C在动态带宽分配中的快速适应能力和PPO在复杂DNN模型划分中的稳定泛化优势。该框架成功地将复杂的非凸联合优化问题解耦为两个可协同学习的子问题。引入的加权优先级调度机制进一步保障了资源分配的公平性。仿真实验证明,该方案能显著提升动态SAGSIN环境下的任务卸载性能。
这项研究具有重要意义。在理论层面,它为解决混合离散-连续动作空间的联合优化问题提供了一种新颖高效的混合深度强化学习框架设计思路,丰富了边缘智能领域的算法工具箱。在应用层面,所提方案能够有效缓解UAV的资源约束瓶颈,提升SAGSIN这类覆盖广、动态性强、环境复杂的集成网络中的边缘计算服务质量和资源利用效率,对推动智能交通、应急救援、海洋监测等关键领域的实时智能化应用具有重要价值。未来研究方向可包括考虑更多类型的边缘服务器(如卫星)、引入更复杂的网络模型以及探索在线自适应学习机制。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号