《Applied Sciences》:Teaching a Real Biped to Walk with Neuro-Evolution After Making Tests and Comparisons on Simulated 2D Walkers
Roland Szabo
编辑推荐:
本论文的目的是测试和比较不同的神经进化(Neuro-Evolution)方法,以训练一个模拟双足步行器学会行走。在此步骤之后,最佳神经进化技术被移植到一个真实双足机器人上,该机器人将自我训练行走。目标是减少真实双足机器人的摔倒次数,以避免损坏物理单元。研究人员
本论文的目的是测试和比较不同的神经进化(Neuro-Evolution)方法,以训练一个模拟双足步行器学会行走。在此步骤之后,最佳神经进化技术被移植到一个真实双足机器人上,该机器人将自我训练行走。目标是减少真实双足机器人的摔倒次数,以避免损坏物理单元。研究人员测试了以下四种神经进化方法:深度Q学习(Deep Q-Learning, DQN)、拓扑进化增强(NeuroEvolution of Augmenting Topologies, NEAT)、深度确定性策略梯度(Deep Deterministic Policy Gradients, DDPG)和增强随机搜索(Augmented Random Search, ARS)。从模拟中获得的最佳结果来自ARS方法,但在真实双足机器人上最快且最容易实现的是NEAT算法。
**论文解读:教会真实双足机器人行走——基于模拟测试与神经进化方法的比较研究**
**1. 研究背景与问题**
双足机器人行走控制是机器人领域长期存在的核心难题,其涉及动态平衡、步态规划与环境适应性等复杂问题。传统方法如模型预测控制(Model Predictive Control, MPC)和混合零动态(Hybrid Zero Dynamics, HZD)在结构化环境中表现出色,但在面对未知扰动或非平坦地形时,基于模型的方法往往难以精确建模。强化学习(Reinforcement Learning, RL)与神经进化(Neuro-Evolution)等数据驱动方法为应对这些挑战提供了新途径,它们通过试错机制优化关节角度,使机器人逐步获得自然、稳定的行走能力。然而,直接在实际机器人上进行强化学习训练会导致大量摔倒,易造成硬件损坏,因此需要先在模拟环境中进行充分测试与筛选,再将最优算法移植到真实平台。该论文正是在此背景下,通过在2D模拟步行器上比较四种神经进化算法,选择最合适的方法应用于真实双足机器人,以最小化训练过程中的摔倒次数,保护物理单元。
**2. 研究内容与主要贡献**
该研究发表于《Applied Sciences》,旨在实现从模拟到真实(sim-to-real)的行走学习迁移。研究人员首先在OpenAI Gymnasium工具包的Box2D Bipedal Walker模拟环境中训练并比较了四种神经进化方法:深度Q学习(Deep Q-Learning, DQN)、拓扑进化增强(NeuroEvolution of Augmenting Topologies, NEAT)、深度确定性策略梯度(Deep Deterministic Policy Gradients, DDPG)和增强随机搜索(Augmented Random Search, ARS)。基于模拟测试的视觉评估结果,选择表现最优且实际部署最简单的NEAT算法,移植到Lynxmotion公司生产的BRAT型真实双足机器人上,完成行走训练。该研究的关键贡献在于:通过模拟测试筛选出最合适的方法,将真实机器人的训练摔倒次数减少了至少75%,验证了模拟-真实迁移策略在双足行走学习中的有效性。
**3. 主要关键技术方法(不超过250字)**
研究人员采用以下四种神经进化算法进行对比实验:增强随机搜索(ARS)通过在参数空间中随机采样、评估并更新策略,直接优化期望奖励;深度确定性策略梯度(DDPG)结合演员-评论家架构与目标网络,处理连续动作空间;深度Q学习(DQN)基于值函数迭代更新Q表;拓扑进化增强(NEAT)则从简单网络开始,通过变异和交叉逐步增加神经元与连接,同时保护创新的“物种”机制维持多样性。模拟环境使用OpenAI Gymnasium的Box2D Bipedal Walker(24个输入、4个输出)。真实机器人平台为Lynxmotion BRAT双足机器人,搭载Raspberry Pi 3 Model B(主控制器)、MPU6050加速度计(传感器)以及SSC-32伺服控制器,由6个Hitec HS-645舵机提供6自由度运动。实验在常规PC(Intel Core i5, 16GB RAM)上进行,无特殊样本队列来源。
**4. 研究结果**
**4.1 模拟环境中的算法比较**
在模拟环境中,DDPG训练耗时6小时,而ARS仅需4小时。视觉观察表明,ARS训练的步行器步态更平衡、更自然,摔倒次数更少;DDPG训练的步行器步态质量较差。DQN未能使步行器学会有效行走,因此未在图中展示。NEAT的效果与DDPG相近,但其训练速度最快且实现简单,故被选用于真实机器人测试。
**4.2 真实机器人上的实现与训练**
NEAT算法被移植到BRAT双足机器人上。该机器人提供3个加速度计输入(Ax、Ay、Az)和6个输出(左髋、左膝、左踝、右髋、右膝、右踝)。研究人员在Raspberry Pi上运行遗传算法生成运动数据,通过RS-232串口发送至SSC-32伺服控制器,转换为PWM信号驱动6个舵机。训练在层压地板(Laminate Flooring)上进行,最终真实机器人成功学会行走,步态较为自然且平衡良好。训练中虽偶有摔倒,但硬件未受损。
**5. 讨论与结论**
**讨论总结**:研究实现了在模拟机器人和真实机器人上训练行走的目标。模拟测试表明ARS效果最佳,但DDPG和NEAT也有可用性。由于真实机器人自身平衡优于模拟机器人,且NEAT编码更简单、训练更快(即使摔倒次数略多),最终选择NEAT进行实际部署。训练环境选择层压地板(避免瓷砖边缘卡住或地毯阻力),电源采用双路设计:5V/2600mAh移动电源同时为Raspberry Pi和6个舵机供电,9V电池为SSC-32控制逻辑供电。为保护电路板,在机器人背部加装半壳防护。电源管理是移动机器人的关键挑战,通过选用低功耗Raspberry Pi 3 Model B(空闲1.4W,满载3.7W)和轻量化高容量电池,成功在自主续航与负载能力间取得平衡。
**研究结论翻译**:本论文比较并实现了四种神经进化方法:深度Q学习(DQN)、拓扑进化增强(NEAT)、深度确定性策略梯度(DDPG)和增强随机搜索(ARS)。在模拟中获得的最佳结果来自ARS方法;然而,由于实现简单且训练速度快,NEAT方法被应用于真实双足机器人。最终目标是通过模拟测试来训练真实双足机器人,最易实现的神经进化方法NEAT被移植到真实双足机器人上并成功学会行走。对于模拟双足机器人,ARS的表现优于DDPG,且训练时间更短。本论文的主要贡献在于:先在模拟双足机器人上测试行走学习,再将其迁移到真实双足机器人,通过减少摔倒次数保护了真实机器人免受损坏。若无法进行模拟,则必须在真实机器人上测试全部四种神经进化方法(ARS, DDPG, NEAT, DQN),而借助模拟得出的结论,真实机器人仅需测试NEAT方法,从而将训练期间的摔倒次数减少了至少75%。未来工作将包括训练更多模拟机器人(如MuJoCo环境中的Walker2D或Humanoid),并将神经进化行走训练扩展到带有上身的全尺寸人形机器人平台。