基于多无人机的Wi-Fi网络覆盖问题强化学习解决方案模拟器

《Computer Networks》:A simulator for reinforcement learning solutions to the multi-UAV based Wi-Fi network coverage problem

【字体: 大 中 小 】 时间:2026年10月01日 来源:Computer Networks 4.7

编辑推荐:

   # 摘要 无人机(UAV)为部署无线网络提供了灵活的解决方案,特别是在服务不足或未覆盖的区域。然而,由于环境具有动态性,如何优化无人机的位置以实现最大覆盖范围或确保良好的通信质量仍然是一个挑战。传统的先验模型无法适应现实世界中的变异性,例如用户密度和障碍物的存在。 我们提

  # 摘要无人机(UAV)为部署无线网络提供了灵活的解决方案,特别是在服务不足或未覆盖的区域。然而,由于环境具有动态性,如何优化无人机的位置以实现最大覆盖范围或确保良好的通信质量仍然是一个挑战。传统的先验模型无法适应现实世界中的变异性,例如用户密度和障碍物的存在。我们提出了一种模拟器,用于训练基于强化学习(RL)的Wi-Fi网络无人机部署策略,重点在于优化用户覆盖范围或吞吐量。我们的模拟器整合了感知障碍物的信号传播、自适应物理数据速率以及Wi-Fi介质访问共享,并符合PettingZoo多智能体强化学习环境的标准接口。该模拟器已在不同场景下进行了测试,使用独立的深度Q网络(Independent Deep Q-Network, IDQN)算法部署无人机,以将用户连接到现有的网络基础设施。---# 引言无人机的日益普及为下一代无线网络(6G)开辟了新的可能性,特别是由于它们能够快速、灵活地部署通信基础设施。基于自主无人机编队构建的网络可以为用户提供网络覆盖,特别是在缺乏固定基础设施的服务不足或偏远地区。然而,它们的有效部署面临重大挑战:如何优化无人机的位置,以确保最大无线覆盖范围并向用户提供良好的服务质量,同时尽量减少使用的无人机数量,并考虑环境约束和可变用户需求?现有解决方案通常依赖于部署前定义的先验构造模型。然而,这些方法难以应对现实世界的复杂性和动态性:用户密度、流量需求和障碍物的存在(如建筑物)可能因任务不同而变化。这些因素使得难以预测最优部署条件,从而限制了构造模型的有效性。针对这些局限性,基于强化学习的方法引起了极大关注。它们能够开发自适应和去中心化的无人机放置策略,以适应复杂和动态的环境。然而,其成功依赖于现实模拟器的可用性,这些模拟器需同时整合无人机导航和无线通信的具体特性。虽然现有模拟器已相当先进,但仍存在不足:有些忽略了无线通信建模,而另一些则过度简化了无人机与用户之间的交互。此外,目前提出的大多数用于网络覆盖问题的强化学习解决方案主要使用蜂窝技术,如LTE、4G、5G或6G。在本工作中,我们考虑的是Wi-Fi技术,其最新版本提供非常高的数据速率,并使用的是免许可频段。据我们所知,文献中尚未报道过整合强化学习库、有障碍环境中的无人机导航以及Wi-Fi通信的模拟器。在本文中,我们提出了一种名为UAV-WiFi-Sim的模拟器,专门用于训练和测试基于强化学习的Wi-Fi无人机网络部署策略,目标是优化被服务用户数量或平均用户吞吐量。我们的工作基于并扩展了最初在文献中开发的模拟器,并进行了以下改进:- 我们已将模拟器完全重构为更新版本的Python(Python 3.13),并使其符合PettingZoo多智能体强化学习环境的标准接口;- 我们整合了Wi-Fi通信模型,通过纳入以下组件:(i)一个考虑潜在障碍物的信号传播模型,(ii)一个物理速率自适应机制,确保所使用的物理数据速率不是恒定的,而是根据无线电条件进行适应,(iii)一个Wi-Fi介质访问共享模型,用于估计用户吞吐量;- 我们评估了一个标准多智能体强化学习算法在我们的模拟器中各种用例场景下训练时的表现。本文的组织结构如下。在第2节中,我们描述并定义了网络覆盖问题。第3节提供了关于网络覆盖问题强化学习解决方案以及这些解决方案训练阶段所用模拟器的技术综述。然后,在第4节中,我们描述了我们开发的用于训练和测试基于强化学习的无人机导航方案的模拟器。在第5节中,我们介绍了我们用于测试模拟器的基于强化学习的无人机导航算法。第6节讨论了所选强化学习算法在不同场景下获得的结果。第7节给出了复杂度分析。第8节为结论。---# 问题陈述在本文中,我们将工作聚焦于网络覆盖应用,其中无人机编队(在下文中也称为智能体)被用作通信中继,如图1所示。因此,无人机可以将现有网络基础设施的连通性扩展到未连接的区域。无人机连接到该网络基础设施,如果无人机的位置使得它们能与未连接的用户通信,则无人机将数据包中继到和从中继自未连接的用户。无人机也可以根据需要...---# 基于无人机的网络覆盖问题关于基于无人机的网络覆盖问题的文献非常丰富(例如调查文献或其中的参考文献)。大多数提出的解决方案考虑蜂窝通信技术,如LTE或4G/5G/6G,或相当简单的通信模型(例如,使用香农容量公式),并且基于构造模型。很少有研究考察过Wi-Fi技术,尽管它提供了一个具有吸引力的替代方案,具有低...---# UAV-WiFi-Sim模拟器训练强化学习策略需要模拟器。模拟器越真实,解决方案在真实环境中做出正确决策的可能性就越大。但高度的真实性也可能显著影响强化学习策略的训练时间。必须找到真实性与速度之间的良好平衡。在本节中,我们介绍了我们设计的UAV-WiFi-Sim模拟器,用于训练基于强化学习的无人机...---# 无人机导航算法在本节中,我们详细介绍了为解决基于无人机的网络覆盖问题所采用的强化学习方法以及我们在第6节中使用的算法。然而,由于与PettingZoo的集成,该模拟器仍然保持灵活性,可以容纳其他强化学习算法。---# 仿真结果我们使用第4节中描述的UAV-WiFi-Sim模拟器来训练和测试第5.4节中描述的导航算法。与仿真和学习部分相关的具体参数见表4。---# 可扩展性讨论从计算角度来看,从2D场景过渡到3D场景对IDQN的内存和推理成本影响甚微,因为每架无人机使用的参数化动作值函数的大小由神经网络架构决定,而非由观测空间的大小决定。3D局部观测中仅因额外的输入坐标而产生微小的增加。同样,3D中较大的动作空间影响也可以忽略不计,因为输出...---# 结论在本文中,我们提出了一种模拟器,用于训练和测试基于强化学习的无人机导航方案,以解决基于无人机的网络覆盖问题。我们的模拟器基于文献中的模拟器:后者已被完全重构并扩展,加入了一个流级别访问通信模型,用于无人机与用户之间以及无人机之间的通信。所提出的模拟器已使用独立的DQN算法进行测试,以部署无人机将用户连接到现有网络...---# CRediT作者贡献声明**Lo?c Desgeorges:** 撰写——审阅与编辑,撰写——初稿,可视化,软件,方法论。**Dorian Tonnis:** 软件。**Isabelle Guérin-Lassous:** 撰写——审阅与编辑,撰写——初稿,验证,监督,方法论,获取资助。**La?titia Matignon:** 撰写——审阅与编辑,撰写——初稿,验证,监督,软件,方法论,获取资助。---# 利益冲突声明作者声明他们没有已知的竞争性经济利益或个人关系,这些利益或关系可能被认为影响了本文所报告的工作。---# 致谢本工作得到了*里昂信息学联合会(Federation Informatique de Lyon, FIL)*的支持。---Lo?c Desgeorges | Dorian Tonnis | Isabelle Guérin-Lassous | La?titia Matignon
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号