基于残差学习(Residual Learning)的黎曼运动策略(Riemannian Motion Policies, RMPs)在多无人机避障与通信感知导航中的应用
《Applied Sciences》:Residual Learning for Riemannian Motion Policies in Multi-Drone Obstacle Avoidance and Communication-Aware Navigation
编辑推荐:
摘要:自主多无人机在未知环境中的导航要求具备鲁棒障碍物规避、编队内聚性及无人机间通信维持能力。研究人员通过在RMPflow架构下采用黎曼运动策略(Riemannian Motion Policies, RMPs)——一种用于运动生成的二阶动力学框架——来解决上
摘要:自主多无人机在未知环境中的导航要求具备鲁棒障碍物规避、编队内聚性及无人机间通信维持能力。研究人员通过在RMPflow架构下采用黎曼运动策略(Riemannian Motion Policies, RMPs)——一种用于运动生成的二阶动力学框架——来解决上述挑战。研究人员设计了手工构造及基于学习的障碍物规避策略,包括基于圆形势场与基于激光雷达(LiDAR)的方法,并引入残差强化学习(Residual Reinforcement Learning)作为修正次优手工策略的新机制。为维持可靠的无人机间通信,研究人员提出一种无线链路质量策略(radio link quality policy),依据信号强度动态调节允许的最大无人机间距,区别于固定最坏情况基线。这些策略经由RMPflow组合为一个高效的反应式运动规划器,并在多种构型的二维仿真中评估。结果表明,残差学习显著改善了次优手工避障策略,在无人机编队中将碰撞率降低35.4%,单无人机场景下最高降低74.7%。值得注意的是,完全无初始避障能力的纯残差策略未能取得同等改善,凸显了有信息引导的策略初始化之重要性。自适应无线电链路策略相较于固定最大距离约束,在随机生成环境中使导航耗时缩短20%至25%,证明了通信信号感知编队控制的实用价值。
论文解读——《Residual Learning for Riemannian Motion Policies in Multi-Drone Obstacle Avoidance and Communication-Aware Navigation》(发表于Applied Sciences)
一、研究背景与意义
自主多无人机协作在民用基础设施巡检等任务中具有效率高、覆盖面广的优势,但其前提是无人机能在未知环境中同时完成目标趋近、障碍物与互碰撞规避、编队保持及通信连接维持。传统运动规划方法各有局限:经典方法如A*与快速随机树(Rapidly-exploring Random Tree, RRT)依赖已知地图;基于模型预测控制(Model Predictive Control, MPC)的方法计算开销大且需环境先验;纯反应式方法(如人工势场法、动态窗口法Dynamic Window Approach, DWA、最优互惠碰撞规避Optimal Reciprocal Collision Avoidance, ORCA)缺乏系统性多目标合成机制;端到端强化学习则从零学起训练困难且缺乏可解释性。黎曼运动策略(Riemannian Motion Policies, RMPs)及RMPflow框架提供了一种模块化、低计算代价的反应式运动生成范式,可将各子目标(如目标吸引、障碍排斥)表示为带度量张量的加速度策略并在几何一致意义上合成,适合动态未知环境,但此前RMP的残差学习增强及通信感知编队控制在多无人机场景尚未充分研究。本文旨在桥接反应式策略设计与学习型方法,在RMPflow框架下用残差强化学习优化手工避障RMP,并提出基于接收信号强度指示(Received Signal Strength Indicator, RSSI)的自适应最大间距策略以维持编队通信质量,通过二维仿真验证其有效性。
二、主要关键技术方法
研究人员在RMPflow树结构中设计目标吸引(goal attractor)、基于圆形势场的障碍物规避(circle-based obstacle avoidance RMP)、基于激光雷达的障碍物规避(LiDAR-based obstacle avoidance RMP,将每束LiDAR射线映射为一维任务空间上的排斥RMP)、机间互碰规避(inter-drone collision avoidance,复用圆形RMP将邻机视为障碍)及阻尼(damping)策略。避障部分设置两种残差强化学习变体:(1)LiDAR-based residual RMP——在手工LiDAR避障RMP输出的加速度与优先级矩阵上叠加神经网络残差校正;(2)LiDAR-based residual acceleration——仅以神经网络学残差加速度无手工RMP基元。最大间距策略含固定阈值与基于RSSI的自适应版本(根据信号余量比例增减允许最大距,超出更新区指数衰减)。强化学习采用Proximal Policy Optimisation(PPO)算法,Stable-Baselines3实现,观测空间含LiDAR测距(20束均匀分布射线)、无人机速度及手工RMP输出,奖励函数加权含目标抵达奖励、碰撞惩罚、时间惩罚、路程惩罚与加速度惩罚。仿真为二维随机圆形障碍环境,Shapely做碰撞检测,LiDAR探测范围2.5 m,离散时间步运行,以单无人机及三无人机编队分别测试1000次随机环境。
三、研究结果
3.1 学习增强的障碍物规避(Learning-Enhanced Obstacle Avoidance)
单无人机于含五个随机圆形障碍的1000个随机环境中测试。结果显示:基于圆形势场手工RMP(已知障碍中心)无碰撞但需障碍先验;LiDAR-based handcrafted RMP成功率达90.5%、碰撞率7.5%、平均抵达时间25.0 s且路径有振荡;LiDAR-based residual RMP将碰撞率降至1.9%(较手工LiDAR RMP降低74.7%),平均抵达时间缩短至20.6 s,行程缩短1.18 m,振荡减弱;仅从零学习的residual acceleration策略碰撞率高达70.9%、成功率仅26.6%,证明无良好基线的残差学习难以奏效。LiDAR-based residual RMP在编队三人场景中碰撞率较手工LiDAR RMP降低35.4%。残差网络有效消除了手工LiDAR避障策略在障碍附近的振荡并缩短行程,验证了"有信息的手工基元+残差RL微调"优于从零学习。
3.2 通信维持(Communication Maintenance)
双无人机场景设视线遮挡障碍,激活基于RSSI的自适应最大间距策略。仿真表明:当障碍遮挡导致RSSI下降时,策略动态缩小允许最大间距拉近无人机以恢复信号质量;恢复视距后逐渐放宽间距。实际间距始终被约束在动态更新的最大允许距内,RSSI被维持于设定阈值之上,验证了无线电链路质量策略可按信道条件自适应调节编队约束。
3.3 含通信维持的障碍物规避(Obstacle Avoidance with Communication Maintenance)
三无人机编队于含五随机圆障碍环境,组合LiDAR避障RMP(手工或残差)与固定或自适应最大间距策略各测1000次。结果显示:无论配固定或自适应间距,LiDAR-based residual RMP较手工LiDAR RMP分别降低编队碰撞率9.1与8.3个百分点(相对降幅约35.5%与37.9%)。自适应RSSI策略相较固定最大距使平均抵达时间缩短20.3%(配手工避障RMP)与24.7%(配残差避障RMP),且碰撞略少——因固定策略取保守最坏情况距限制过严,自适应策略按实际信号动态放宽有利提速。残差学习所得避障策略可与通信感知编队策略在RMPflow中无缝兼容并共同增效。
四、讨论与结论
讨论指出本工作属面向实机部署的基础步骤,局限含:二维仿真未含四旋翼动力学与作动器饱和、5 Hz低采样率、简化自由空间路径损耗模型未考虑多径衰落与丢包、训练未做系统超参数寻优、偶尔卡于凹形障碍(需全局规划补充)。未来方向含扩展至三维含四旋翼动力学并在真机(PX4/ArduPilot飞控,RMPflow作为offboard控制器)验证、更真实无线信道建模、大规模编队、结合全局规划(A*/RRT)克服局部极小、形式化残差+RMP组合稳定性分析及系统化奖励函数消融与PPO超参数贝叶斯优化。
结论翻译:
本研究探讨了在RMPflow框架下构造黎曼运动策略(RMPs)以实现有效多无人机运动规划。所设计的RMPs用于未知环境避障与弹性编队维持:含基于LiDAR的手工避障RMP、在其上叠加经强化学习训练的神经网络残差校正的LiDAR-based residual RMP、以及叠加于目标吸引RMP从零学习的goal attractor-based residual RMP;编队维持方面设计了固定最大间距策略与依据无线电传播条件动态调节最大允许间距的基于RSSI(radio-based maximum distance policy)策略。策略在含障碍物的不同二维仿真中与RMPflow既有目标吸引、机间互碰规避及阻尼RMP组合评估。研究表明强化学习可改善次优手工定义避障策略——编队与单无人机碰撞率分别降低35.4%与74.7%。三无人机编队实验显示:相较固定最大间距策略,基于RSSI的自适应最大间距策略提供更灵活的机间距约束,使编队穿越未知杂乱环境的导航耗时在仿真中分别缩短20%与25%(分别对应搭配LiDAR-based手工避障RMP与LiDAR-based残差避障RMP时)。