基于MADDPG的无人机集群分布式实时拓扑重构:一种强化学习驱动的动态网络优化方法

《IEEE Open Journal of Intelligent Transportation Systems》:Distributed Real-Time Topology Reconfiguration for UAV Swarms via MADDPG

【字体: 大 中 小 】 时间:2025年12月11日 来源:IEEE Open Journal of Intelligent Transportation Systems 5.3

编辑推荐:

  本文针对动态环境下无人机集群拓扑优化难题,提出了一种基于多智能体深度确定性策略梯度(MADDPG)的分布式拓扑重构框架。研究团队在集中训练分散执行(CTDE)范式下,通过部分可观测马尔可夫决策过程(POMDP)建模和双向兴趣博弈机制,实现了节点在局部信息约束下的分布式纳什均衡决策。仿真结果表明,该方法在收敛速度、鲁棒性、通信延迟和路径效率方面均优于MST和PSO等基准方法,重构耗时控制在毫秒级,为大规模集群组网提供了高效解决方案。

  
在应急通信、灾害救援等关键任务中,无人机集群正发挥着越来越重要的作用。然而,随着任务复杂度的提升,单个无人机已无法满足广域覆盖和高鲁棒性需求,集群协同逐渐成为主流趋势。作为支撑无人机集群协同的基础通信设施,飞行自组网(FANET)负责拓扑构建、信息转发和链路维护等关键功能,其结构合理性直接决定无人机间通信稳定性和任务执行质量。但FANET的高度动态和非平稳特性导致网络拓扑随时间快速演化,频繁的链路中断和重连对通信实时性和网络稳定性提出严峻挑战。
传统分层拓扑虽能降低通信复杂度,但其对集中控制节点的依赖会引入潜在瓶颈和安全漏洞。扁平网络结构虽具有节点平等、强韧性等优势,但缺乏有效的分层组织和连接调节策略,导致大规模网络中存在过度通信冗余、资源调度复杂和拥塞风险加剧等问题。如何在保持结构鲁棒性的同时实现实时分布式拓扑重构,已成为FANET研究的关键瓶颈。
针对这一挑战,南京航空航天大学的研究团队在《IEEE Open Journal of Intelligent Transportation Systems》上发表了一项创新研究,提出了一种基于多智能体强化学习的分布式实时拓扑重构方法。该研究通过将集中训练分散执行范式与双向兴趣博弈机制相结合,成功实现了无人机集群在动态环境下的自适应拓扑优化。
研究团队采用了几项关键技术方法:首先建立了基于部分可观测马尔可夫决策过程(POMDP)的分布式建模框架,通过距离排序的动态截断机制解决邻居节点数量波动导致的观测维度不稳定问题;其次设计了双层级过滤机制连接观测空间与动作空间,确保高动态邻居变化下的物理一致性和博弈论均衡;此外引入了载波侦听多址接入(CSDMA)协议的时隙调度机制,通过冲突图构建和图着色算法为节点分配无冲突广播时隙;最后构建了全局-局部奖励方案,平衡局部决策与全局目标,突破传统集中式奖励分配的可扩展性限制。
训练过程验证
通过分析平均奖励曲线的收敛性并结合典型拓扑演化过程,研究发现智能体在训练初期缺乏有效连接策略,拓扑呈现高度无序状态。随着训练进行,智能体通过经验回放和策略优化逐渐积累更合理的连接模式,在通信约束下减少冗余链路并缓解节点孤立现象。奖励值在约2000回合后趋于稳定,表明系统进入收敛阶段并获得稳定决策能力。
消融与敏感性分析
针对混合奖励方案中的全局权衡参数和总奖励缩放对学习过程和最终性能的影响,研究在统一训练-评估协议下进行了比较分析。当αg≈0.6~0.8且αR≈0.5~1.0时,鲁棒性和路径效率指标均接近上限,表明为全局项分配较高相对权重和足够缩放有利于形成更稳定高效的全局结构。综合考虑稳定性、效率和复杂性之间的整体权衡,最终选择(αR=0.5,αg=0.6)作为默认设置。
拓扑维护过程设计
为验证CSDMA分布式调度机制在动态环境中的适应性,研究重点评估了新节点接入过程中的通信时效性和系统稳定性。基于已稳定拓扑随机引入若干新节点,模拟"监听-决策-时隙选择-接入"完整流程。分布式竞争决策机制使新节点完成时隙选择分配后,拓扑回归稳定状态,所有节点被分配唯一广播时隙,网络中不存在未分配或冲突节点。
综合性能比较验证
与最小生成树(MST)和粒子群优化(PSO)方法的对比表明,MADDPG的推理时间始终保持在毫秒级且随节点数量增加变化不大。在50%丢包率下,MST和PSO的延迟分别达到5887.5毫秒和1080毫秒,而本研究方法延迟仅约206毫秒。拓扑指标显示,三种方法均实现100%连通性,但本研究在路径效率(0.84)方面显著优于MST(0.54)和PSO(0.64),生成的拓扑在保证连通性的同时具有更均衡的链路分布。
本研究通过强化学习与分布式通信机制的系统性整合,为动态环境下的无人机集群拓扑优化提供了创新解决方案。MADDPG驱动的拓扑重构算法在CTDE框架下实现了局部信息约束下的分布式纳什均衡决策,而CSDMA基础的时隙分配过程确保了高干扰条件下的稳定连接。仿真结果验证了该方法在收敛速度、拓扑鲁棒性、通信延迟和路径效率方面的显著优势,为大规模无人机集群通信提供了理论支持和技术路径。未来研究将聚焦于三维空间验证、半物理平台测试以及跨层联合优化策略,进一步提升系统在极端条件下的工程适用性。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号