《Robotics and Autonomous Systems》:SRL: Combining SLIP Model and Reinforcement Learning for agile robotic jumping
编辑推荐:
Xiaowen Hu|Linqi Ye|Yudi Zhu|Chenyue Shao|Rankun Li|Qingdu Li|Yan Peng•一种融合SLIP模型与强化学习的混合SRL框架,用于腿部机器人的跳跃控制。•通过六阶段运动调节提升跳跃的稳定性与动态性能。•相比基于SLI
Xiaowen Hu|Linqi Ye|Yudi Zhu|Chenyue Shao|Rankun Li|Qingdu Li|Yan Peng
- •
一种融合SLIP模型与强化学习的混合SRL框架,用于腿部机器人的跳跃控制。
- •
通过六阶段运动调节提升跳跃的稳定性与动态性能。
- •
相比基于SLIP的MPC及纯强化学习方法,该框架具有更高的成功率与训练效率。
- •
通过仿真及真实实验验证,具备精确的轨迹跟踪能力。
引言
随着机器人技术在各类场景中的广泛应用——从高风险救援任务到仓库物流——机器人执行复杂动作的能力,尤其是跳跃能力[1]、[2],已变得愈发重要。跳跃不仅能帮助机器人克服诸如沟壑、高台等重大障碍,还能显著提升其在非结构化地形中的移动能力与避障性能[3]、[4]、[5]、[6]。
当前的机器人跳跃控制策略大致可分为两类:一类是基于模型的方法,包括受生物启发的控制器[7]、[8]、[9]、[10]、[11]、[12]、[13]、SLIP模型[14]、[15]、[16]以及模型预测控制(MPC)[17]、[18]、[19]、[20]、[21]、[22];另一类则是基于数据的方法,主要是强化学习[23]、[24]。基于模型的方法,尤其是基于SLIP的方法,能够有效模拟能量存储与释放过程,从而实现符合物理规律的跳跃动作。不过,这类方法往往因过度简化的假设——如忽略地面摩擦力及多关节腿部的动力学特性——而难以适应现实世界中复杂的地形条件[25]、[26]、[27]。
为解决这些缺陷,基于数据的方法,如强化学习,通过让机器人与环境交互自主优化控制策略,提供了一种替代方案。强化学习在多种移动任务中展现了出色的适应性,但由于依赖试错学习,且缺乏物理先验知识,往往会导致样本利用效率低下以及策略探索不稳定。在机器人跳跃应用中,这会使得运动策略效率不高,训练成本增加,进而阻碍其实际应用。
为弥补这一缺陷,我们提出了SRL——一种融合SLIP模型与强化学习的混合控制框架,旨在同时提升控制的效率与适应性。在该框架中,SLIP模型作为前馈控制的基础,借助简化的弹簧-质量系统模型生成高效的跳跃轨迹参考。此外,我们还设计了基于强化学习的反馈模块,采用近端策略优化算法(PPO)[28]、[29]、[30]来实现修正动作,进一步提升机器人在非结构化地形中的稳定性与鲁棒性。PPO智能体会持续分析环境信息,包括机器人的姿态、速度及脚部位置,然后向基于SLIP模型的参考轨迹输出反馈修正信号。最终的控制信号则是通过加权融合机制,将SLIP模型生成的前馈指令与强化学习得到的反馈修正相结合而得到的,从而在预测效率与适应灵活性之间取得平衡。为确保动作执行的精确性,输出的控制信号还会经过比例-微分控制器进一步调整,以此控制关节扭矩,实现平稳稳定的跳跃。通过这种模型驱动与数据驱动控制的有机结合,SRL实现了高效且稳健的机器人跳跃控制,有效避免了单一方法的局限性。
我们的主要贡献如下:
- •
我们提出了SRL,这是一种融合六状态有限状态机、结构化观测值以及阶段特定奖励机制的混合控制框架,可将SLIP模型的物理先验知识与强化学习的适应性相结合。
- •
通过在双足机器人与四足机器人上的大量仿真测试,我们证明了SRL相较于各种基准方法具有更优的学习效率与稳定性。
- •
此外,我们还通过仿真到仿真以及仿真到真实的实验进一步验证了SRL的性能,其轨迹跟踪精度更高,实测双足机器人的跳跃高度可达15厘米,前进距离可达20厘米。
章节要点
相关研究
目前实现机器人跳跃的主流方法有多种。首先,受生物启发的控制方法模仿动物的跳跃动作,并结合模型预测技术来精确跟踪和优化轨迹[7]、[8]、[9]、[18]、[31]、[32]。尽管这种方法能够较好地模拟自然界的跳跃行为,但它对高精度的控制技术与传感器有较高要求,因此在处理复杂动作时存在较大挑战[10]、[11]、[12]。其次,
SRL框架结构
本研究提出了一种新的机器人跳跃控制框架SRL,如图1所示,它将SLIP模型与强化学习相结合。SRL由三个核心部分组成:(1)SLIP模型,(2)强化学习模块,(3)仿真环境。SLIP模型负责生成前馈控制信号,这些信号随后会通过逆运动学求解器转化为具体的电机控制指令。强化学习模块则通过不断分析环境信息来优化控制策略。
仿真设置
在本研究中,我们使用Unity引擎与ML-Agents工具包进行仿真与训练实验。仿真的时间步长为0.01秒,对应的控制频率为100赫兹。为加快训练速度,我们并行运行32个智能体实例,从而提升策略学习的效率。
我们选择了两种机器人来验证我们的方法:由上海达灵机器人公司研发的X02-lite双足机器人,以及由杭州优必选公司研发的Unitree Go2四足机器人。
结论
本文提出了SRL这一控制框架,它将SLIP模型与强化学习相结合,用以优化机器人的跳跃性能。SLIP模型负责生成基本的跳跃动力学特性,而强化学习则提升了机器人对不同环境的适应能力。通过在双足机器人与四足机器人上进行的固定距离与随机距离跳跃任务测试,证明了该框架的有效性。仿真结果与真实实验均显示,该框架的轨迹跟踪精度可达厘米级,平均轨迹跟踪误差仅为10厘米左右。
CRediT作者贡献说明
Xiaowen Hu:论文撰写——初稿编写、验证工作、软件开发、方法设计、实验分析、形式化分析、概念构思。 Linqi Ye:论文撰写——审稿与编辑、项目监督、资源协调、项目管理、资金筹集、概念构思。 Yudi Zhu:验证工作、软件开发、数据整理。 Chenyue Shao:软件开发、方法设计、形式化分析。 Rankun Li:实验分析、数据整理。 Qingdu Li:验证工作、项目监督、资源协调。 Yan Peng:论文撰写——审稿与编辑、项目监督、资源协调。
利益冲突声明
所有作者声明,他们不存在任何可能影响本文研究成果的已知财务利益或个人关系。