基于改进的深度Q网络,为动态环境中的无人水面艇实现节能且安全的路径规划

《Ocean Engineering》:Energy-efficient and safe path planning for unmanned surface vehicles in dynamic environments using improved Deep Q-Network

【字体: 大 中 小 】 时间:2026年07月21日 来源:Ocean Engineering 6.3

编辑推荐:

  •该研究提出了一种考虑能量因素的PER–Dueling DQN框架,它结合了优先经验回放、Dueling深度Q网络架构以及一种同时兼顾航行安全与能耗的多组分奖励机制。•采用了基于Dubins曲线的轨迹平滑策略,以此提升路径的连续性及实际操作性。•与传统的基于DDQN的方法相比,所

  
  • •
    该研究提出了一种考虑能量因素的PER–Dueling DQN框架,它结合了优先经验回放、Dueling深度Q网络架构以及一种同时兼顾航行安全与能耗的多组分奖励机制。
  • •
    采用了基于Dubins曲线的轨迹平滑策略,以此提升路径的连续性及实际操作性。
  • •
    与传统的基于DDQN的方法相比,所提出的PER–Dueling DQN算法提升了无人水面艇在复杂海洋环境中的自主导航能力,同时也提高了其能源利用效率。

引言

由于具备高度的自主性、操作灵活性以及执行长时间任务的能力,无人水面艇已成为智能海事系统中最具前景的应用平台之一。它们被越来越多地应用于海洋监测、环境调查、海上救援、水文测绘以及国防作战等领域,在成本效益、安全性以及续航能力方面都具有显著优势(Z. Wang等人,2021;Wu等人,2024;Jin和Er,2022)。通过整合先进的感知、控制以及决策模块,无人水面艇能够在几乎无需人工干预的情况下在各种复杂的海洋环境中实现稳定的自主运行。然而,在存在其他船只、漂浮物或海浪干扰等移动障碍物的动态环境中进行路径规划,依然是一个亟待解决的难题,这一问题会直接影响无人水面艇运行的安全性与效率(Gou等人,2024;Z等人,2024)。
早期关于无人水面艇路径规划的研究主要聚焦于确定性环境,采用了A*、D*以及人工势场法等传统的基于搜索或启发式的算法。这类方法在静态或准静态环境中表现良好,能够以较低的计算成本生成无碰撞路径。但当应用到动态环境中时,它们往往无法适应障碍物位置的频繁变化,从而导致出现局部最小值、路径波动或是次优的导航决策(Y. Li等人,2023;Chen等人,2022)。为提升系统的实时响应能力,研究人员提出了速度障碍法以及动态窗口法,这两种方法都将障碍物规避问题转化为速度空间中的问题来处理(X. Liu等人,2024)。虽然这些方法具有较高的计算效率且适合在设备上实时运行,但由于它们依赖于简化的线性运动假设,因此在高度动态或不确定性较强的场景中,其稳定性会大打折扣,因而难以满足复杂海上作业的需求(Zhao等人,2025)。
为同时实现全局可行性与局部适应性,人们开始采用基于优化的规划方法以及预测性规划方法。模型预测控制因其能够在滚动时域内通过求解带约束的优化问题来生成动态可行的轨迹而备受关注(Zhou等人,2023;Deng等人,2023)。类似地,高斯过程运动规划以及考虑风险意识的优化方法则通过明确建模不确定性并评估碰撞概率来提升系统的鲁棒性(Yamamoto等人,2024)。尽管这些基于优化的方法在理论层面具有很大吸引力,但由于计算成本较高,往往无法满足大规模或高度动态的海洋环境中所要求的严格实时性标准(Gao等人,2023)。此外,这类方法对精确的环境模型依赖度极高,一旦障碍物的运动表现出随机性或非线性特征,其适应性就会大幅下降。随着人工智能技术的不断发展,深度强化学习逐渐被视为解决动态障碍物规避以及自主导航问题的有力工具。与传统优化框架不同,深度强化学习智能体可以通过与环境互动直接学习导航策略,从而更有效地应对不确定性以及传感器噪声带来的影响。已有不少研究证明了深度强化学习在移动机器人以及海洋导航领域的应用潜力。例如,Li等人(2024)开发了一种基于DQN的框架,用于让移动机器人在动态环境中实现高效导航;Singh和Becker(2024)提出了一种基于卷积占用预测的考虑不确定性的碰撞规避方法,该方法在环境存在不确定性时能够显著提升航行安全性;H. Liu等人(2024)则提出了动态自适应动态窗口法,该方法能够提升在结构化程度较低的场景中的实时响应能力。近年来,深度强化学习在无人水面艇领域也展现出了巨大的应用前景。Sun等人(2023)将基于深度强化学习的策略应用于港口导航,而Hu等人(2024)则将风险惩罚机制引入Q学习算法中,以此提升航行安全性。Xu等人(2023)研究了多智能体深度强化学习在协同无人水面艇集群中的应用,Liu等人(2022)则利用带有课程学习的TD3算法,实现了在较长时间跨度内的稳定训练。层次化深度强化学习架构(Zheng等人,2023)以及内在动机驱动的探索策略(Kong等人,2024)则进一步解决了在奖励信号稀疏以及任务周期较长的情况下所面临的规划难题。最近,Lou等人(2025)提出了一种基于深度确定性策略梯度法的碰撞规避框架,该框架通过融入障碍物运动预测功能,提升了无人水面艇在动态海洋环境中的航行安全性。Wang等人(2025)则开发了一种改进后的基于DDPG的多无人水面艇系统编队控制策略,并通过仿真实验与实地测试证明了该策略的有效性。除此之外,智能控制方法在信息物理系统中也得到了广泛研究。X. Wang等人(2021)研究了在间歇性拒绝服务攻击条件下的协同安全控制问题,而Liu等人(2026)则提出了一种针对遭受网络攻击时的非线性系统的低复杂度迭代学习控制框架。这些研究都凸显了在复杂且充满不确定性的环境中,智能决策与稳健控制的重要性。尽管现有研究充分展示了深度强化学习在无人水面艇应用方面的巨大潜力,但仍然存在一些局限性。目前大多数基于深度强化学习的方法主要侧重于碰撞规避、轨迹跟踪或编队控制,而对于在水流干扰作用下如何同时优化航行安全性、路径平滑度以及能源效率,相关研究还相对较少。此外,许多基于演员-评论家的算法依赖于复杂的神经网络架构,需要大量的训练样本以及精细的超参数调整,这可能限制了它们在动态海洋环境中的实际应用。再者,水流带来的流体动力学效应往往被简化或忽略,这也降低了由此产生的导航策略的实际适用性。
传统的Q学习以及DQN算法通常存在训练效率较低、Q值估计不稳定、在奖励信号稀疏的环境中收敛速度慢,以及对未知障碍物运动模式的泛化能力有限等问题(Hao等人,2023)。此外,也有研究提出将跨领域深度强化学习与神经网络模型预测控制相结合的方法,用于实现动态障碍物规避,这种方法在多种仿真环境中的路径安全性与适应性都有所提升(Wang等人,2016),但这些研究并未充分考虑水流的流体动力学效应。而在实际的海洋航行中,水流效应起着至关重要的作用,它会显著影响无人水面艇的运动状态。为弥补现有研究的不足,本文提出了一种改进型的深度Q网络算法,即PER–Dueling DQN算法,该算法融合了优先经验回放机制与Dueling网络架构。通过引入优先经验回放机制,智能体可以在训练过程中优先处理那些具有更高信息价值的状态转换,从而提升样本利用效率并加快算法收敛速度。与此同时,Dueling网络架构将Q值函数分解为状态价值函数与优势函数两个独立的估算模块,这种分解方式有助于更准确地判断各个状态的重要性,进而缓解传统DQN在价值函数估算过程中出现的稳定性问题(Zhang等人,2023;J. Li等人,2023)。
与那些主要侧重于航行安全性或运动控制的现有基于深度强化学习的方法不同,本文提出的框架在学习过程中明确纳入了考虑水流影响的能量优化机制。此外,还采用了基于Dubins曲线的轨迹平滑技术,以确保路径在运动学上的可行性与连续性,从而在真实的海洋环境中同时提升碰撞规避能力、路径平滑度以及能源利用效率。
本文的主要贡献可总结如下。
1. 本文提出了一种专为无人水面艇在存在动态障碍物的环境中的路径规划而设计的新型PER–Dueling DQN框架,该框架不仅提升了学习效率,还增强了Q值估计的稳定性。
2. 本文设计了一种改进型的奖励函数,该函数能够综合考虑安全性、路径平滑度以及能源效率等因素,从而满足海洋航行特有的需求。
3. 通过仿真实验与实地测试,本文验证了所提出方法的优异性能,相较于Dueling DQN以及基于优化的传统基准方法,它在碰撞规避率、路径质量以及收敛速度等方面都具有明显优势。
本文的结构如下:第2节介绍问题的提出背景;第3节详细阐述所提出的PER–Dueling DQN框架以及奖励函数的设计方案;第4节展示仿真结果,并分析所提方法与其它方法的性能差异;最后,第5节对全文进行总结,并指出未来研究的方向,比如考虑能量因素的路径规划以及多无人水面艇的协同导航等。

各章节要点

问题提出

本节阐述了无人水面艇在动态海洋环境中的路径规划问题,重点关注三个核心目标:确保强化学习算法能够稳定收敛、设定保障运动学可行性的约束条件,以及在水流干扰作用下实现更高效的能源优化。其最终目标是让无人水面艇能够在复杂且动态多变的环境中自主生成无碰撞且平滑的行驶路径,同时达成

基于PER–Dueling DQN的路径规划算法

第3节介绍了所提出的PER–Dueling DQN框架,其中包括奖励函数的设计、基于Dubins曲线的路径平滑技术,以及考虑水流影响的能量优化策略。

仿真实验与结果分析

本节对第3部分中介绍的PER–Dueling DQN方法进行了评估,该方法包含了Dubins曲线引导的路径平滑约束以及考虑水流影响的能量消耗模型。实验是在一个存在动态障碍物以及随时间变化的水流干扰的仿真环境中进行的。为全面评估所提方法的效果,本文选择了DDQN与TD3作为对比基准算法。所提出的方法经过了系统性的验证

结论

本文提出了一种基于PER与Dueling DQN的强化学习框架,用于实现无人水面艇在动态海洋环境中的考虑能量因素的路径规划。该框架融合了优先经验回放机制、Dueling网络架构、复合型奖励函数以及基于Dubins曲线的路径平滑策略,旨在提升学习效率、航行安全性、路径平滑度以及能源使用效率。仿真结果表明,所提出的方法具有更高的任务完成成功率,更低的

CRediT作者贡献说明

Xiaozhao Jin: 文章撰写——审阅与编辑,文章撰写——初稿撰写,方法论设计。

利益冲突声明

作者声明,他们不存在任何可能影响本文研究结果的已知财务利益冲突或个人关系。
Xiaozhao Jin|Long Wen|Namkyun Im|Xiaofei Yang|Wenhao Xu|Dening Luo|Gexiang Zhang|Hao Li|Youwei Zhao
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号