两阶段MPC引导的模仿与强化学习用于动态障碍物环境中自主水下航行器控制

《IEEE Access》:Two-Stage MPC-Guided Imitation and Reinforcement Learning for Autonomous Underwater Vehicle Control in Dynamic Obstacle Environments

【字体: 大 中 小 】 时间:2026年07月08日 来源:IEEE Access 4.2

编辑推荐:

  最近关于自主水下航行器(AUV)的研究日益关注动态和安全关键环境中的鲁棒控制。在实际水下作业中,包括对接、检查和目标接近,仅到达期望位置往往不够。航行器可能还需要以适当的角度到达,以支持安全接触、正确对齐和在流体动力扰动下的任务可行性。本文提出了一种两阶段模仿

  
最近关于自主水下航行器(AUV)的研究日益关注动态和安全关键环境中的鲁棒控制。在实际水下作业中,包括对接、检查和目标接近,仅到达期望位置往往不够。航行器可能还需要以适当的角度到达,以支持安全接触、正确对齐和在流体动力扰动下的任务可行性。本文提出了一种两阶段模仿学习(IL)和强化学习(RL)框架,用于在具有末端撞击角约束的动态障碍物环境中实现AUV控制。首先使用模型预测控制(MPC)生成专家演示。然后通过行为克隆(BC)和数据集聚合(DAgger)学习初始策略,并使用软演员-评论家(SAC)进一步优化。为了在不完全依赖奖励塑造的情况下处理撞击角约束,研究人员引入了一个撞击角感知的辅助目标,使得到达终端点构造性地满足所需撞击角。仿真结果表明,与仅使用MPC的基线相比,所提出的方法提高了目标到达成功率。
**论文解读:两阶段MPC引导的模仿与强化学习用于动态障碍物环境中自主水下航行器控制**

**研究背景与问题**
自主水下航行器(AUV)在动态且安全关键的水下环境中的控制是当前研究热点。实际水下任务(如对接、检查和目标接近)不仅要求航行器到达指定位置,还需以特定末端撞击角接近目标,以确保安全接触、正确对准和任务可行性。然而,动态障碍物、有限机动性和流体动力扰动使控制问题复杂化。现有方法中,模型预测控制(MPC)能显式处理约束,但依赖模型精度和在线优化,计算开销大;强化学习(RL)具有适应性,但早期探索成本高且不稳定。因此,研究人员提出一种结合模型引导与学习优化的框架,以提高动态障碍物环境下的控制可靠性和训练效率。论文发表在《IEEE Access》。

**主要技术方法**
研究人员采用两阶段学习框架。首先使用基于交叉熵法(CEM)的MPC生成专家演示数据,MPC预测有限时域内的状态,并引入软硬约束的代价函数及两步存活保护策略。第一阶段通过行为克隆(BC)从专家数据学习初始策略,随后应用数据集聚合(DAgger)迭代查询专家在策略访问状态下的动作,缓解分布偏移,得到鲁棒初始化。第二阶段采用软演员-评论家(SAC)进行在线强化学习微调,奖励函数包含进度项和事件项,并通过几何构造的辅助目标(距名义对接点0.1单位半径圆上一点)实现末端撞击角约束,无需直接奖励塑造。所有训练在平面仿真环境(2.0×2.0单位区域,三个随机移动圆形障碍物,AUV速度0.1/步,转向角限±90°)中进行。

**研究结果**
**Comparison Between MPC and the MIL-SAC**:通过50,000次随机评估,MPC基线平均奖励18.355,成功率98.19%;MIL-SAC平均奖励18.459,成功率99.27%,提升约1.07%,对应约500次额外成功。这表明MIL-SAC提高了末端撞击角约束下的目标到达可靠性。

**Performance Improvement of the Policy With Training Steps**:在种子1042的训练中,MIL-SAC在50,000步时成功率已达98.3%,显著高于BC-SAC(89.0%)和纯SAC(84.7%)。500,000步时,MIL-SAC达99.5%,BC-SAC为96.5%,纯SAC为93.6%。MIL-SAC始终稳定在高成功率,且奖励曲线快速收敛至较高水平,波动小,显示出更好的样本效率和训练稳定性。

**Comparison of Initialization Strategies**:在500,000次独立评估中,BC仅策略成功率97.94%,碰撞率0.76%,平均步数25.77;添加DAgger后步数降至14.89,碰撞率略降至0.73%,表明DAgger主要提升轨迹效率。纯SAC成功率96.56%,碰撞率0.29%,但探索不稳定。BC-SAC成功率98.19%,碰撞率0.29%,平均步数21.90。MIL-SAC综合最优:成功率99.31%,碰撞率0.27%,平均步数15.27。DAgger与SAC互补:DAgger改善状态分布鲁棒性和轨迹效率,SAC增强安全性和任务完成可靠性。

**Analysis of Path-Following Results**:代表性轨迹显示,学习策略能根据障碍物布局生成无碰撞路径,并在末端满足撞击角要求。障碍物最小距离始终高于碰撞边界,验证了策略的安全性和可行性。

**总结与结论**
讨论部分指出,MIL-SAC通过MPC专家引导初始化、BC和DAgger的模仿学习以及SAC的微调,在动态障碍物环境中实现了优于纯MPC和纯RL的性能。DAgger改善了状态分布鲁棒性和轨迹效率,SAC进一步提升了安全性和终端到达可靠性。轨迹分析表明策略能生成多样化的无碰撞路径。然而,当前研究基于简化平面仿真,需在更高保真度的六自由度(6-DOF)模型和真实水下条件下验证。

研究结论翻译如下:
本文提出MIL-SAC,一种两阶段MPC引导的学习框架,通过模仿学习(IL)初始化策略,并通过强化学习(RL)进行微调,用于具有末端撞击角约束的动态障碍物环境中的AUV导航。该框架首先生成带屏蔽MPC控制器的专家演示,然后通过行为克隆(BC)和数据集聚合(DAgger)学习初始策略,最后使用软演员-评论家(SAC)进行优化。为满足末端撞击角要求,研究人员引入了一个辅助目标,使得到达该目标即保证精确满足所需撞击角。因此,报告的成功率等同于精确的撞击角满足率。实验结果表明,该框架在平面仿真环境中提高了控制可靠性和训练效率。与仅MPC基线相比,MIL-SAC将成功率从98.20%提高至99.27%,平均奖励从18.355提升至18.459。在训练检查点对比中,MIL-SAC始终优于纯SAC和BC-SAC,表明更快的性能提升和更稳定的微调行为。在五种策略变体对比中,MIL-SAC实现了最佳整体权衡:成功率99.31%,碰撞率0.27%,平均轨迹长度15.27步。这表明DAgger和SAC在该框架中发挥互补作用:DAgger提升状态分布鲁棒性和轨迹效率,SAC通过基于回报的策略优化进一步增强安全性和终端到达可靠性。轨迹分析进一步显示,学习策略能在多种障碍物配置下生成无碰撞且满足终端撞击角要求的路径。未来工作将扩展至更高保真度的6-DOF AUV模型,并考虑更真实的水下扰动和感知不确定性。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号