面向节能协同无人机部署的5G网络多智能体强化学习

《Ad Hoc Networks》:Multi-agent reinforcement learning for energy-efficient cooperative UAV deployment in 5G networks

【字体: 大 中 小 】 时间:2026年09月27日 来源:Ad Hoc Networks 5.4

编辑推荐:

   摘要:随着对无处不在的移动连接需求不断增长以及第五代(5G)网络的快速部署,迫切需要能够适应高度动态用户分布的灵活通信基础设施。在此背景下,作为空中基站(BS)运行的无人机(UAV)已成为在地面基础设施不可用、拥塞或不足的场景中扩展网络覆盖范围和容量的一个有前景的解决方案。然

  

摘要:随着对无处不在的移动连接需求不断增长以及第五代(5G)网络的快速部署,迫切需要能够适应高度动态用户分布的灵活通信基础设施。在此背景下,作为空中基站(BS)运行的无人机(UAV)已成为在地面基础设施不可用、拥塞或不足的场景中扩展网络覆盖范围和容量的一个有前景的解决方案。然而,由于用户移动性、网络动态性和能源约束,确定高效的UAV部署策略仍然是一个具有挑战性的优化问题。本文提出了一个连续状态多智能体强化学习(MARL)框架,用于基于UAV的空中BS的协同部署。与依赖基于网格的移动性抽象的传统方法不同,所提出的框架将基于力的控制动力学纳入模型以模拟UAV运动。在集中式训练和分散式执行的范式下,评估了两种代表性的MARL算法,即多智能体近端策略优化(MAPPO)和单调值函数分解(QMIX)。引入了三种独立且未加权的奖励公式,分别针对网络容量最大化、相对容量改进和节能数据传输,以分离奖励结构的影响并确保观察到的性能权衡严格归因于奖励设计。对每种配置独立应用贝叶斯超参数优化,而功能ANOVA分析表明,超参数敏感性本质上取决于算法和奖励。仿真结果表明,所提出的协同学习框架使UAV能够学习协调的部署策略,这些策略在各种用户移动性条件、增加的用户密度、间歇性的位置报告丢失以及作用力幅值变化下,始终优于非适应性基线方法。在所有评估的硬件平台上,测量的推理延迟保持在控制间隔的五分之一以下,表明在没有机载加速器的情况下,分散式执行是可行的。在评估的配置中,奖励塑造在平衡吞吐量和能耗方面起着关键作用,而MAPPO表现出最稳健的整体性能。这些发现凸显了自适应MARL在高效和节能的UAV辅助5G网络部署方面的潜力。

引言:5G无线网络强调了需要灵活的、高质量的服务(QoS)基础设施,以适应高度动态的用户分布。虽然5G能够实现显著更高的数据速率,但其对高频段的使用导致覆盖距离较短且信号衰减更大[1],使得同时为众多连接设备维持QoS变得具有挑战性。传统的蜂窝网络扩展,通常通过增加固定基站数量来实现,往往成本高昂且效率低下。因此,研究转向了移动网络范式(MNP),它提供了更大的灵活性和适应性,能够在具有密集和动态使用特征的环境中实现连接[2]。一个有前景的替代方案是部署UAV将覆盖范围扩展到地面终端(GTs)。这些平台作为飞行BS具有巨大潜力,利用其空中移动性以及对用户需求和环境条件的实时适应性。

UAV在通信中的应用已经显著发展。在使用UAV的通信方法中,蜂窝通信因其成本、性能和可扩展性而脱颖而出[3]。此外,欧盟强调了5G网络在健康、能源和安全等关键行业中的各种应用[4]。另一个关键因素是数据流量的增加,这在一定程度上是由物联网(IoT)的兴起所推动的。这些进展凸显了利用5G网络并开发优化UAV路径规划方法的必要性。

为了最大化其效率,用于通信的UAV必须对其定位做出最佳决策,并通过在不同需求点分配覆盖范围进行协作。在这种情况下,强化学习(RL),以其多智能体形式[5],一种多个智能体协作或竞争以实现目标的机器学习方法,成为解决这个问题的合适方法。RL是一种学习范式,智能体通过与环境的交互来学习从状态到动作的映射,以最大化累积的数值奖励[6]。这样,每架UAV自主地做出分布式决策来优化网络资源并增强QoS,使自主UAV在5G移动网络中的部署成为性能提升的关键机会。

我们采用两种MARL算法,即MAPPO和QMIX,作为主要基线。MAPPO最近已被证明在许多合作基准测试中达到最先进的性能,这归功于其稳定的集中式训练和分散式执行演员-评论家结构[7]。QMIX是最广泛使用的值分解方法之一[8]。它引入了单调混合网络,此后成为集中式训练的一种新颖方法。基准研究始终将QMIX作为核心基线[9]。基于这些原因,MAPPO和QMIX共同提供了用于评估合作MARL算法的代表性和广泛接受的基线。

主要贡献总结如下:

• 我们将UAV协同部署公式化为一个连续状态多智能体决策问题,其中每个智能体对阻尼惯性运动模型施加量化有界力,而不是直接命令速度、航向或位移。由此产生的状态演化保留了速度和惯性,同时限制了策略可以生成的轨迹。通过力幅值敏感性分析进一步量化了执行权限对学习行为的影响。

• 我们使用三种独立的、未加权的奖励公式将UAV部署隔离为主要决策变量,分别针对总容量(r1)、相对容量改进(r2)和节能数据传输(r3),使产生的吞吐量-碰撞-能量权衡归因于奖励公式本身,而不是手动调优的目标权重。

• 我们在集中式训练和分散式执行下提供策略梯度方法(MAPPO)和价值分解方法(QMIX)之间的受控比较。每个算法针对每种奖励和GT配置独立优化,使用贝叶斯超参数优化,而基于功能ANOVA的重要性分析表明,超参数敏感性取决于学习范式和奖励公式,支持配置特定调优以实现有意义的比较。

• 我们采用基于聚类的状态抽象,将神经网络输入维度与GT数量解耦,使相同的训练策略能够在更密集的GT分布上评估,而无需架构修改或重新训练。我们在绝对和归一化两方面评估这种扩展,显示学习策略在所有评估策略中保留其相对排名和最大比例的理论容量上限,同时建立了一个事实:一旦GT数量加倍,没有任何自适应策略保持其比例效率,我们将这种退化归因于使用固定数量的簇覆盖更多GT的几何问题,而不是学习策略的失败。

• 我们评估了学习策略在标称条件之外的操作稳健性和可部署性,报告了在间歇性位置报告丢失、两种GT移动强度以及作用力幅值变化下的性能;通过切换分析评估关联稳定性;以及在三个硬件平台上测量的每步推理延迟与控制间隔预算对比,确定在没有机载加速器的情况下,分散式执行是实时可行的。我们证明MAPPO提供最一致的整体性能,相对差异奖励r2产生最有利的吞吐量-碰撞-能量权衡,而以能量为导向的奖励r3实现较低的推进功率,但可能导致不太稳定的协调,特别是对于QMIX。

本文其余部分组织如下。第2节讨论UAV使能的无线网络和多智能体RL的最新技术。第3节描述网络设置公式化,包括移动模式、传播信道模型和评估网络QoS的性能指标。第4节引入优化问题和运行约束,并形式化多智能体马尔可夫决策过程框架。第5节介绍实验设置、使用的多智能体RL算法(MAPPO和QMIX)以及超参数优化过程。第6节通过广泛的仿真评估所提出框架的性能,在各种GT移动场景下将学习策略与非适应性基线进行比较。最后,第7节总结关键发现并概述未来研究方向。

相关工作:部署UAV作为空中BS已成为下一代5G网络的关键推动者,提供了缓解高频段信号衰减所需的灵活性[1]。早期研究主要依赖单智能体控制进行导航[10]和系统稳定性[11]。现代单智能体UAV方法,如[12],使用混合整数分数规划并包含真实的能量模型,但只考虑固定位置的地面终端。本质上……

多智能体UAV辅助网络:所考虑无线网络由N架作为空中BS运行的UAV组成,部署在边长为L米的正方形区域内,服务M个随机移动的GT,如图1所示。UAV轨迹动态调整以满足GT的流量需求,同时最小化与飞行动力学和通信操作相关的能耗。

问题公式化和决策框架:考虑一个由N个智能体组成的集合,记为Ag,作为多智能体网络中的飞行BS,其中第i个智能体的位置为qi(t)=[xi(t),yi(t),zi(t)]。这些智能体服务一个由M个分布移动GT组成的集合,记为U,位置为wj(t)=[xj(t),yj(t),zj(t)]。目标是适当确定连续时间范围t∈[0,T]上的UAV轨迹qi(t)。

为了考虑UAV有限的机载能量,我们公式化了一个节能优化问题,同时捕获……

实施方法:仿真环境参数化符合5G新空口(NR)规范[18],[41]。系统在载波频率fc=28 GHz下运行,带宽B=100 MHz,使用传输功率Pt=30 dBm、噪声功率谱密度N0=?170 dBm/Hz,并使用与通信相关的功率Pc=5 W。为了准确表征概率性LOS条件,信道模型采用路径损耗指数α?=2.3和环境特定常数,由C=10、D=0.6和κ……

实验结果:实验负载需要高计算量以确保超参数最优性和统计稳健性。工作负载在高性能计算集群上执行,并行因子为4,对应4个并行执行实例。具体而言,使用由两个节点组成的GPU分区。每个节点配备24核AMD EPYC 7443P处理器、128 GB DDR4-3200 ECC RAM、两个NVIDIA A30 GPU(24 GB HBM2,3584个CUDA核心)和1个NVLink。

结论:本研究使用多智能体强化学习调查了5G网络中UAV作为移动BS的协同部署,在连续状态和三种奖励设计下比较了MAPPO和QMIX。结果表明,在本工作评估的两种代表性MARL范式中,MAPPO提供最一致的整体性能,在大多数场景中优于QMIX和非适应性基线,相对差异奖励r2提供了最佳平衡……

CRediT作者贡献声明:Daniel Psijas:写作 - 原稿,可视化,软件,方法学,形式分析,数据整理。Karel Toledo:写作 - 审阅与编辑,验证,监督,项目管理,调查,资金获取,概念化。Javier Baladron:写作 - 审阅与编辑,验证,监督,资源,方法学,调查,概念化。

伦理声明:作者声明本研究不涉及人类或动物受试者。

利益冲突声明:作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:Karel Toledo报告由国家研究和开发局提供财务支持。Karel Toledo报告由圣地亚哥大学科学技术研究院长提供管理支持和设备、药物或供应。Daniel Psijas报告由圣地亚哥大学提供财务支持。

致谢:本工作部分由圣地亚哥大学研究、创新和创造副研究生院DICYT在Grant 062413TD下支持,部分由智利国家研究和开发局ANID FONDECYT在Grant 11261397下支持。

Daniel Psijas | Karel Toledo | Javier Baladron
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号