《Applied Sciences》:Enhanced Soft Actor–Critic with Dual-Path Channel Attention for UAV Autonomous Navigation in Complex Environments
编辑推荐:
在复杂未知环境中,无人机(UAV)自主导航仍面临状态特征表征不足、固定奖励引导以及关键经验样本利用效率低等问题。为解决这些问题,本研究提出了一种改进的软演员-评论家(SAC)方法,该方法集成了双路径通道注意力(DPCA)、自适应奖励反馈(ARF)和优先级经验回
在复杂未知环境中,无人机(UAV)自主导航仍面临状态特征表征不足、固定奖励引导以及关键经验样本利用效率低等问题。为解决这些问题,本研究提出了一种改进的软演员-评论家(SAC)方法,该方法集成了双路径通道注意力(DPCA)、自适应奖励反馈(ARF)和优先级经验回放(PER);该方法被命名为DPCA-ARF-PER-SAC。研究人员将所提出的DPCA模块引入演员网络,以重新校准一维导航状态特征并增强关键决策信息的表征能力。同时,ARF机制能够根据训练进度动态调整奖励权重,而PER则用于提高关键样本的利用效率。实验在两层结构中进行,包括二维(2D)SimpleAvoid场景中的模块级消融验证和三维(3D)NH_center场景中的主要性能比较。实验结果表明,该方法在2D场景中的成功率达到1.00,碰撞率为0.00。在3D场景中,成功率为0.76,碰撞率为0.24,平均回合长度为232.8步。与基线SAC相比,成功率提高了2个百分点,碰撞率降低了2个百分点,平均回合长度减少了4.3步。与双延迟深度确定性策略梯度(TD3)、SAC以及基于注意力机制增强的注意力机制SAC(AM-SAC)等代表性强化学习方法相比,所提出的DPCA-ARF-PER-SAC方法在任务完成、导航安全和路径效率方面表现出更均衡的性能。这些结果表明,DPCA-ARF-PER-SAC为复杂的3D无人机自主导航任务提供了更稳健的导航策略。
**论文解读:增强型软演员-评论家与双路径通道注意力用于复杂环境中的无人机自主导航**
**研究背景、问题与动机**
无人机(UAV)在监控侦察、遥感测绘、电力巡检、应急救援、物流运输等复杂环境任务中的应用日益广泛。随着应用场景从结构化静态环境向未知、动态、复杂的三维环境扩展,自主导航与避障技术成为保障任务安全与效率的关键。然而,传统路径规划方法(如图搜索、采样法、人工势场法等)依赖预先获取的地图与环境建模,在未知动态环境中实时性不足、鲁棒性差、泛化能力有限。因此,通过数据驱动方法提升无人机在复杂环境中的自主决策能力成为重要研究方向。
深度强化学习(DRL)为无人机自主导航提供了有前景的解决方案。其中,软演员-评论家(SAC)采用最大熵强化学习框架,在最大化期望回报的同时增强策略探索能力,适用于连续控制任务。但基于SAC的无人机自主导航仍存在三个问题:第一,状态向量包含多种信息(如目标距离、障碍风险、速度、姿态偏差等),不同维度在不同决策阶段重要性不同,若等权输入演员网络,可能导致关键导航特征表征不足;第二,固定权重的奖励函数难以在训练早期平衡目标接近与避障、飞行安全及姿态稳定性,影响收敛效率和控制质量;第三,复杂导航任务中碰撞样本、接近障碍样本及高时序差分误差样本分布不均,统一经验回放可能导致关键样本利用不充分,降低样本效率与训练稳定性。
为此,研究人员提出一种改进的SAC方法,集成双路径通道注意力(DPCA)、自适应奖励反馈(ARF)和优先级经验回放(PER),命名为DPCA-ARF-PER-SAC,旨在提升复杂环境中无人机自主导航的成功率、安全性、路径效率与训练稳定性。该论文发表在《Applied Sciences》。
**主要技术方法概述**
研究人员在保持SAC最大熵优化框架和贝尔曼更新形式不变的前提下,从三个方面增强SAC。首先,在演员网络中引入基于一维导航状态向量设计的双路径通道注意力(DPCA)模块,该模块通过直接特征路径和最大响应路径并行计算,经共享映射函数和sigmoid激活生成通道注意力权重,自适应增强关键决策特征,抑制冗余信息。其次,设计训练进度驱动的自适应奖励反馈(ARF)机制,将归一化训练进度作为变量,使奖励权重从早期侧重目标引导逐渐过渡到后期侧重安全约束与精细控制。最后,采用优先级经验回放(PER),基于时序差分误差(TD-error)为样本分配优先级,并引入重要性采样权重纠正采样偏差,提高关键样本利用效率。
**研究结果**
**2D SimpleAvoid场景消融实验**:该场景用于模块级消融分析,比较SAC、PER-SAC、ARF-SAC、ARF-PER-SAC及完整DPCA-ARF-PER-SAC。训练曲线表明,所有方法均能逐步提升成功率并降低碰撞率。完整方法最终实现接近1.00的成功率和接近0的碰撞率。50次独立测试结果显示,SAC、ARF-SAC、ARF-PER-SAC和完整方法均达到成功率1.00、碰撞率0.00;ARF-SAC平均回合长度最短(131.0步),完整方法为131.9步,接近ARF-SAC且优于基线SAC(135.8步)。PER-SAC成功率为0.94、碰撞率0.06,平均回合长度最长(149.8步),表明PER在简单场景中单独使用可能引入采样波动。典型飞行轨迹显示,完整方法产生的成功轨迹更集中,碰撞轨迹更少,飞行稳定性更好。
**3D NH_center场景主实验**:该场景用于评估复杂三维环境中的综合导航性能,比较TD3、SAC、注意力机制增强SAC(AM-SAC)及DPCA-ARF-PER-SAC。训练曲线表明,三维环境学习难度更高,波动更大。完整方法在成功率和碰撞率上表现出更均衡的改进。50次独立测试结果显示,DPCA-ARF-PER-SAC成功率为0.76,碰撞率为0.24,平均回合长度232.8步;相比基线SAC(成功率0.74,碰撞率0.26,平均回合长度237.1步),成功率提高2个百分点,碰撞率降低2个百分点,平均回合长度减少4.3步。相比TD3(成功率0.72,碰撞率0.28,平均回合长度266.7步),完整方法在路径效率上优势明显。AM-SAC成功率为0.68,碰撞率0.32,平均回合长度242.4步,未优于基线SAC,表明注意力增强单独使用在复杂三维场景中效果有限。典型飞行轨迹显示,完整方法产生的成功轨迹更集中,失败轨迹更少。
**讨论与结论**
**讨论部分总结**:研究人员指出,DPCA-ARF-PER-SAC在3D NH_center场景中相比基线SAC的改进是适度的,而非大幅提升,优势体现在多个指标(成功率、碰撞率、平均回合长度、训练稳定性、轨迹行为)的更均衡表现。由于基于AirSim的训练计算成本高,当前研究未进行多次重复训练或系统统计显著性检验,未来将引入更多随机种子、标准差、置信区间及统计检验。该方法引入了额外计算成本:DPCA模块增加轻量特征重校准操作,ARF机制计算开销极低,PER在训练过程中增加优先级计算与更新成本,但不增加推理成本。局限性包括:在简单场景下DPCA模块增益有限;ARF效果依赖奖励分量与调度参数设计;PER可能引入额外采样波动;当前方法主要针对低维状态向量的单无人机导航,对视觉导航、动态障碍环境及多无人机协同场景需进一步研究。所有实验基于AirSim仿真,迁移到真实平台时需考虑传感器噪声、风扰、执行延迟、动力学模型误差及仿真到现实差距,未来将通过域随机化、噪声注入、硬件在环仿真及真实飞行测试加以验证。
**结论部分翻译**:本文聚焦于无人机在复杂环境中的自主导航与避障,提出了一种改进的SAC方法,称为DPCA-ARF-PER-SAC。该方法集成了双路径通道注意力模块、自适应奖励反馈和优先级经验回放机制。在不改变SAC最大熵学习框架的前提下,DPCA-ARF-PER-SAC从状态特征表征、奖励权重调度和关键样本利用三个方面增强了基线算法。实验在2D SimpleAvoid场景和3D NH_center场景中进行。2D场景用于模块级消融分析,比较了SAC、PER-SAC、ARF-SAC、ARF-PER-SAC和DPCA-ARF-PER-SAC五种方法。结果表明,在相对简单的避障任务中,所提方法能够保持高成功率和低碰撞率,同时提高路径效率,说明DPCA、ARF和PER的联合使用有助于提升训练稳定性和导航效率。在3D NH_center场景中,所提方法进一步与TD3、SAC和AM-SAC进行了比较。在50次独立测试中,DPCA-ARF-PER-SAC成功率达到0.76,碰撞率0.24,平均回合长度232.8步。与基线SAC相比,成功率提高2个百分点,碰撞率降低2个百分点,平均回合长度减少4.3步。与TD3相比,该方法也表现出更高的路径效率和更均衡的导航性能。此外,在复杂3D场景中,AM-SAC并未始终优于基线SAC,表明注意力增强单独不足以在复杂环境中实现稳定的无人机导航。总体而言,所提出的DPCA-ARF-PER-SAC方法通过状态表征增强、自适应奖励引导和优先级样本利用的协同效应,在任务完成、飞行安全和路径效率之间取得了更好的平衡。未来研究将进一步探索基于视觉输入的导航、多场景迁移训练、域随机化、硬件在环仿真和真实飞行验证,以增强该方法在真实复杂环境中的泛化能力、物理可行性和鲁棒性。