《Frontiers in Robotics and AI》:SSS–DDQN solution-space best-first search for robust trajectory tracking of Mecanum robots under partial observability
编辑推荐:
部分可观测条件下麦克纳姆轮移动机器人的鲁棒轨迹跟踪因非线性运动耦合、噪声测量、传感器丢失和外部扰动而具有挑战性。本研究提出了一种基于SSS–DDQN解空间最佳优先搜索的控制器,用于四麦克纳姆轮移动机器人的鲁棒轨迹跟踪。所提出的框架集成了基于扩展卡尔曼滤波(EK
部分可观测条件下麦克纳姆轮移动机器人的鲁棒轨迹跟踪因非线性运动耦合、噪声测量、传感器丢失和外部扰动而具有挑战性。本研究提出了一种基于SSS–DDQN解空间最佳优先搜索的控制器,用于四麦克纳姆轮移动机器人的鲁棒轨迹跟踪。所提出的框架集成了基于扩展卡尔曼滤波(EKF)的信念状态估计、QMDP信念采样、DDQN价值评估以及带LIVE/SOLVED节点细化的SSS OPEN表搜索。EKF在噪声观测和丢失条件下估计隐藏的机器人状态,DDQN提供学习到的长期价值评估,SSS搜索利用β界剪枝、延迟MIN兄弟细化、有界OPEN表管理和二次前瞻来细化有前景的修正动作簇。该控制器使用双纽线轨迹跟踪进行评估,并与EKF信念PER-DDQN、QMDP-PER-DDQN、Alpha–Beta Minimax和AB–DDQN混合控制器进行比较。所提出的SSS–DDQN取得了最佳总体排名,RMSExy=0.01906 m,MAExy=0.016074 m,累积奖励为1843.6。与AB–DDQN混合基线相比,RMSExy降低了12.93%,MAExy降低了17.80%。多次随机试验的统计验证进一步表明,RMSExy的平均值最低,为0.01847±0.00132 m,MAExy为0.01554±0.00128 m,95%置信区间较窄。结果证实,所提出的SSS*–DDQN改善了鲁棒动作选择,并在部分可观测条件下提供了一致的跟踪性能。
论文解读
一、研究背景与问题
麦克纳姆轮移动机器人因其能够在不改变车身姿态的情况下实现纵向、横向和旋转运动,在仓储自动化、医院物流、服务机器人、工业巡检和室内导航等领域得到广泛应用。然而,由于非线性动力学、纵横向与偏航运动的耦合、轮地相互作用、执行器饱和、摩擦变化、外部扰动以及由噪声或缺失传感器数据导致的部分可观测性,精确轨迹跟踪仍然面临重大挑战。现有的有限时间、预设时间、基于观测器、自适应、鲁棒和模型预测控制等方法虽然改善了收敛性、稳定性和扰动抑制能力,但这些方法主要依赖预定义的控制律,未能在部分可观测条件下显式执行基于学习价值的未来修正动作在线搜索。此外,信念空间强化学习方法虽能处理不确定性,但未对未来的动作簇进行细化;Alpha–Beta搜索提供了对抗性前瞻,但属于深度优先搜索;基于MCTS的价值学习方法未直接针对部分可观测麦克纳姆轮跟踪中的确定性解空间最佳优先细化进行设计。因此,本研究旨在填补这一研究空白,提出一种不确定性感知的SSS*–DDQN跟踪框架。
二、研究内容与结论
研究人员提出了一种集成了EKF信念状态估计、QMDP信念采样、DDQN价值评估和SSS* OPEN表搜索的SSS–DDQN解空间最佳优先搜索控制器,用于四麦克纳姆轮移动机器人在部分可观测条件下的鲁棒轨迹跟踪。该框架通过EKF预测和创新校正维持状态一致性,利用非线性麦克纳姆机器人模型、测量残差和卡尔曼增益,校正后的信念均值和协方差用于QMDP采样、DDQN价值评估和SSS最佳优先细化。控制器采用β界剪枝、延迟MIN兄弟细化、有界OPEN表管理和二次前瞻来改善鲁棒动作选择,同时限制不必要的搜索扩展。研究使用双纽线参考轨迹评估全向跟踪性能,该轨迹需要同时进行前向、侧向和旋转运动,并包含噪声测量和偶发传感器丢失以模拟实际传感条件。实验结果表明,所提出的SSS*–DDQN控制器在RMSExy、MAExy和累积奖励等指标上均优于EKF信念PER-DDQN、QMDP-PER-DDQN、Alpha–Beta Minimax和AB–DDQN混合控制器,取得了最佳总体排名。多次随机试验的统计验证进一步证实了其一致性和优越性,且95%置信区间较窄。该研究的重要意义在于证明了将物理信息一致的信念状态估计与学习价值引导的最佳优先搜索相结合,能够有效提升部分可观测条件下移动机器人的鲁棒轨迹跟踪性能。
三、主要关键技术方法
研究人员采用了以下主要关键技术方法:其一,基于扩展卡尔曼滤波(EKF)的信念状态估计,在噪声观测和传感器丢失条件下估计隐藏机器人状态并维持信念均值和协方差;其二,QMDP信念采样方法,从信念分布中采样以支持不确定性感知的决策;其三,双深度Q网络(DDQN)价值评估,提供学习到的长期动作价值函数;其四,SSS*解空间最佳优先搜索算法,利用OPEN表管理、LIVE/SOLVED节点细化、β界剪枝、延迟MIN兄弟细化和二次前瞻等机制对修正动作簇进行最佳优先细化。仿真中采用四麦克纳姆轮机器人动力学模型,包含惯性矩阵、非线性速度耦合项和阻尼矩阵,通过Mecanum力映射机制将广义控制力分配至各轮并施加执行器饱和约束,参考轨迹为双纽线(lemniscate)轨迹。
四、研究结果
2.1 四麦克纳姆轮机器人运动学与动力学模型:建立了机器人位姿和体坐标系速度的数学模型,给出了运动学变换矩阵、动力学方程、惯性矩阵、非线性耦合项和阻尼矩阵,以及控制力到轮力的映射关系和轮速与体速度的关系,为控制器设计提供了准确的系统模型。
2.2 数值积分保真度与RK4敏感性检验:为检验欧拉积分是否影响比较结论,采用四阶龙格–库塔(RK4)方法进行数值积分敏感性验证。结果表明所有控制器在相同的数值和传感条件下评估,所报告的性能改进属于控制器层面的效果,而非欧拉离散化的伪影。
2.3 控制力、轮速与双纽线参考映射:定义了广义控制力由纵向力、横向力和偏航力矩组成,通过力映射矩阵分配到四个麦克纳姆轮并施加饱和限制,同时给出了双纽线参考轨迹及其速度的数学表达式。
3 强化学习与基线控制器:描述了强化学习框架和四种基线控制器,包括EKF信念PER-DDQN、QMDP-PER-DDQN、Alpha–Beta Minimax和AB–DDQN混合控制器,这些基线分别隔离了信念状态价值学习、信念采样、对抗搜索和DDQN引导搜索的效果。
4 所提出的SSS–DDQN框架:详细阐述了SSS–DDQN框架的组成部分,包括EKF信念估计、QMDP信念采样、DDQN价值评估和SSS* OPEN表搜索的集成方式,以及β界剪枝、延迟MIN兄弟细化、有界OPEN表管理和二次前瞻等搜索优化机制。
5 仿真结果与比较分析:在双纽线轨迹跟踪任务中对所提出的SSS–DDQN控制器与四种基线进行了系统比较。结果表明SSS–DDQN取得了最佳总体排名,RMSExy=0.01906 m,MAExy=0.016074 m,累积奖励为1843.6。与AB–DDQN混合基线相比,RMSExy降低了12.93%,MAExy降低了17.80%。多次随机试验的统计验证进一步表明,RMSExy的平均值最低,为0.01847±0.00132 m,MAExy为0.01554±0.00128 m,95%置信区间较窄,证实了所提出方法的一致性和鲁棒性。
五、讨论与结论
讨论部分指出,所提出的SSS–DDQN控制器与现有方法相比具有显著优势。与依赖预定义控制律的传统鲁棒控制方法不同,该方法显式执行学习价值引导的在线搜索;与信念空间RL方法相比,该方法能够对未来的修正动作簇进行细化;与Alpha–Beta深度优先搜索相比,SSS采用最佳优先策略,能够优先细化最有前景的解簇;与MCTS类方法相比,该方法专门针对确定性解空间最佳优先细化进行设计,并利用EKF维持物理信息一致的状态信念。该方法可被视为一种物理信息一致的信念搜索学习控制器,而非潜在模型自监督规划方法。研究结论部分确认,所提出的SSS–DDQN改善了鲁棒动作选择,并在部分可观测条件下提供了一致的跟踪性能。该框架通过EKF预测和创新校正维持状态一致性,结合QMDP信念采样、DDQN价值评估和SSS最佳优先细化,有效应对了噪声测量、传感器丢失和外部扰动等实际挑战。研究还讨论了实际局限性,包括计算复杂度和实时实现方面的考虑,并指出了未来研究方向。