面向障碍密集环境下无线可充电传感器网络充电的具有形式化碰撞安全性的分层深度强化学习

《Electronics》:Hierarchical Deep Reinforcement Learning with Formal Collision Safety for WRSN Charging in Obstacle-Dense Environments

【字体: 大 中 小 】 时间:2026年07月16日 来源:Electronics 2.9

编辑推荐:

  在障碍密集环境中,无线可充电传感器网络(Wireless Rechargeable Sensor Networks, WRSNs)的能量补充具有挑战性。它紧密耦合了两个子问题:充电调度和轨迹规划。现有的启发式方法和端到端深度强化学习(Deep Reinforc

  
在障碍密集环境中,无线可充电传感器网络(Wireless Rechargeable Sensor Networks, WRSNs)的能量补充具有挑战性。它紧密耦合了两个子问题:充电调度和轨迹规划。现有的启发式方法和端到端深度强化学习(Deep Reinforcement Learning, DRL)方法无法在具有形式化安全保证的情况下联合解决这些任务。为了解决这一问题,研究人员提出了一种分层DRL框架,将两个子问题解耦。在高层,一个深度Q网络(Deep Q-Network, DQN)基于全局能量状态选择下一个充电目标。在低层,一个改进的A*规划器使用障碍物膨胀和Bézier平滑来生成可证明无碰撞且机械可行的轨迹。这种膨胀机制严格确保了物理安全性。研究人员的消融研究表明,禁用该机制会在每个回合引入25.20 ± 13.31次碰撞。研究人员在具有100个节点和10个障碍物的网络上评估了该框架。与端到端DDPG基线相比,该方法将节点死亡比率(Node Dead Ratio, NDR)从0.950降低到0.785,并完全消除了碰撞。此外,它将在20个随机拓扑上的中位累积转向角减少了96%,并实现了EDF启发式方法3.8倍的充电效率。最终,该框架在效率-可靠性-安全性前沿上占据了一个独特的帕累托最优点。
无线传感器网络(Wireless Sensor Networks, WSNs)是物联网(Internet of Things, IoT)的关键基础,但传感器节点受限于有限电池容量。无线可充电传感器网络(Wireless Rechargeable Sensor Networks, WRSNs)通过移动充电器(Mobile Charger, MC)提供按需能量补充。在障碍密集的实际部署环境中,充电调度和轨迹规划紧密耦合:现有启发式方法(如NJNP和EDF)依赖固定权重,缺乏对动态环境的适应性,容易陷入“空间陷阱”;端到端深度强化学习(Deep Reinforcement Learning, DRL)方法(如DDPG)虽可学习策略,但无法提供形式化碰撞安全保证。为解决这些问题,研究人员提出了一种分层DRL框架,将高层组合调度(基于Deep Q-Network, DQN)与低层几何导航(改进A* + 平滑)解耦。在100个节点、10个障碍物的网络仿真中,该框架相比端到端DDPG基线将节点死亡比率(Node Dead Ratio, NDR)从0.950降至0.785,并完全消除碰撞(0 vs. 4.80 ± 4.21次/回合);相比NJNP和EDF,框架在效率-可靠性前沿上占据帕累托最优位置,充电效率达到EDF的3.8倍。消融实验证实障碍物膨胀机制是形式化安全的来源(禁用后引入25.20 ± 13.31次碰撞/回合)。该研究成果发表于《Electronics》。

作者为开展研究用到以下主要关键技术方法:第一,分层架构,高层采用DQN基于全局能量状态选择离散目标节点,低层使用改进A*算法进行障碍物感知路径规划,两者通过状态-动作-奖励循环耦合。第二,改进A*算法引入八方向扩展模型和障碍物膨胀机制(设定安全距离safe),确保规划路径与障碍物保持最小安全间距,提供形式化无碰撞保证。第三,智能轨迹平滑模块包含两步:航点剪枝(移除视线可达的冗余节点)和二次贝塞尔曲线(Bézier)插值,在保持安全裕度的前提下将原始A*路径的中位累积转向角降低96%。第四,训练采用经验回放(Experience Replay)和目标网络(Target Network)双网络机制,配合ε-贪心探索策略,在300回合内实现策略收敛。所有评估基于随机生成的100节点静止传感器网络和轴对齐矩形障碍物,无特定样本队列。

研究结果部分包含以下子节:
- **6.2 DQN训练收敛性**:通过300回合训练轨迹分析,DQN经历三个阶段(探索、学习、收敛),最终平均奖励稳定在+276左右,评估时NDR收敛至0.785 ± 0.018,表明智能体学到了有意义的调度策略。
- **6.3 与启发式基线比较**:在10个保留拓扑上,框架与NJNP、EDF使用相同A*规划器。NJNP获得最低NDR(0.587)但充电效率低;EDF能量输送最高但NDR(0.935)和充电效率(0.31 J/m)差;框架取得中间NDR(0.785)和48%更高的充电效率(1.17 J/m),占据帕累托最优点。
- **6.4 与端到端DRL基线比较(核心结果)**:(a) 框架NDR 0.785优于DDPG的0.950,且DDPG因“最小移动”策略放弃远程节点,平均旅行距离仅270 m(框架1582 m)。(b) DDPG每次段平均4.80次碰撞,标准偏差4.21,证明概率性避障脆弱;框架在所有10个测试中零碰撞。(c) 障碍物密度M从3增至15时,DDPG碰撞单调上升(2.20→9.70),而框架始终保持零碰撞,验证形式化安全与概率学习本质区别。(d) Flat-DQN(离散动作端到端)在250回合后平均NDR仅0.193,碰撞2.20次/回合,证实联合学习调度与导航的固有困难。(e) 奖励权重敏感性分析显示,距离惩罚权重γ从0.1至2.0变化时NDR稳定在0.774–0.781,证明框架鲁棒性。
- **6.5 轨迹平滑性**:在20个随机拓扑上,平滑模块将原始A*路径的中位累积转向角降低96.64%(范围79.4%–100%),同时路径长度缩短约5%,且每个平滑点都经安全距离检查,继承无碰撞保证。
- **6.6 消融研究**:对比四种配置,仅完整框架同时实现合理NDR(0.785)、零碰撞和亚弧度转向角。移除障碍物膨胀(配置iv)立即引入25.20 ± 13.31次碰撞/回合,明确隔离安全保证的来源。
- **6.7 仿真总结**:综合上述结果,框架的分层架构提供了可重新训练的调度器、形式化碰撞安全和机械可行性,这是任何单一现有方法(启发式或端到端DRL)无法同时提供的。

结论与未来工作部分总结:本文提出了面向WRSNs障碍感知充电调度与轨迹规划的分层深度强化学习框架,核心设计原则是将组合调度(DQN)与几何导航(改进A* + 平滑)解耦。全面实验验证了三大结构性优势:第一,与DDPG基线相比,将NDR从0.950降至0.785,消除碰撞,且碰撞数在障碍密度增加时保持为零;第二,与NJNP和EDF相比,框架在效率-可靠性前沿上占据帕累托最优位置;第三,消融实验证明障碍物膨胀机制是零碰撞属性的结构来源。框架不旨在静态均匀条件下超越NJNP,而是提供可重新训练、可证明安全的分层替代方案。模型假设包括:障碍物静态已知、能量消耗均匀、单移动充电器。未来工作包括扩展至多充电器协调、在线适应非平稳能耗模式,以及集成真实自主移动平台验证轨迹平滑增益。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号