tendon-cable-driven humanoids via Reference-Residual Policy and Offline-Learned Tendon Mapping 中文标题 基于参考-残差策略与离线学习肌腱映射的绳驱人形机器人分层全身控制

《Biomimetics》:Hierarchical Whole-Body Control for Tendon-Cable-Driven Humanoids via Reference-Residual Policy and Offline-Learned Tendon Mapping

【字体: 大 中 小 】 时间:2026年08月27日 来源:Biomimetics 4.2

编辑推荐:

  绳驱传动可降低全尺寸人形机器人的远端肢体惯量,但其弹性、迟滞、背隙及多关节耦合会引入状态相关的关节-电机偏差。研究人员针对28自由度Droid X3提出一种分层全身跟踪框架,将高层运动学习与传动补偿分离。参考-残差策略在仿真中通过单阶段近端策略优化(PPO)训

  
绳驱传动可降低全尺寸人形机器人的远端肢体惯量,但其弹性、迟滞、背隙及多关节耦合会引入状态相关的关节-电机偏差。研究人员针对28自由度Droid X3提出一种分层全身跟踪框架,将高层运动学习与传动补偿分离。参考-残差策略在仿真中通过单阶段近端策略优化(PPO)训练,采用统一机器人空间运动表示、全局锚定跟踪奖励、分层难例采样及面向肌腱的域随机化;在12674条测试参考动作中仿真检查点完成率超90%。独立地,一个状态条件映射器通过从物理电机激励数据辨识的可微电机-关节前向模型离线训练,串联于冻结策略与底层电机控制器之间。在两台名义相同的Droid X3上开展随机重复Mapping-OFF/ON试验,每个机器人-动作块内固定冻结PPO检查点、参考轨迹、控制器设置、安全边界与冻结映射器权重,以完整试验为统计单元。OFF采用机器人固有静态标定转换期望关节位置,ON将完整策略级期望关节向量与测得对象状态送入冻结映射器直接输出完整电机位置指令。全物理试验中Mapping OFF整体动作完成率68%,Mapping ON为79%,提升11个百分点。代表性行走、深蹲与舞蹈轨迹显示ON下跟踪误差更低,单帧与局部时段仅用于可视化。
研究背景与动机
全尺寸人形机器人进入人类环境无需专门基础设施,而绳驱(tendon-cable-driven)架构将部分驱动置于肢体远端之外,引入柔顺传动以降低远端惯量。Droid X3由上海DroidUp公司开发,高约1.68 m、总质量约28 kg、浮动基座加28驱动关节,采用链-缆传动。绳弹性、滑轮摩擦、背隙、迟滞、张力变化与多关节耦合使电机到关节的映射呈状态相关非线性,叠加欠驱动浮动基座、足部接触切换与全身质心调节,使关节空间精确执行困难。现有参考动作跟踪研究多假设理想独立关节接口,未显式建模绳驱传动误差,且长程跟踪存在全局漂移、多源动作数据异构、仿真到现实差距等问题。研究人员据此聚焦“传动感知的全身跟踪”这一被忽视环节,将高层运动策略与硬件侧传动补偿解耦。
论文发表于《Biomimetics》,提出一种串联式分层架构:仿真训练参考-残差策略产出有界关节残差,物理端以独立离线训练的状态条件关节-电机映射器替代固定静态标定,从而保留统一关节空间策略接口,又将传动补偿限制在部署层。
主要关键技术方法
研究人员构建统一机器人空间动作库,将公开MoCap、视频动作、重定向机器人轨迹与自采数据经重定向、前向运动学、重采样与可行性滤波转为Droid X3配置,以躯干为全局锚点做锚点对齐变换。策略侧采用非对称Actor-Critic,Actor观测本体感受历史(5帧)、参考指令与上一动作,输出缩放残差叠加参考关节目标并经软限位裁剪;Critic训练期用特权仿真态降方差。单阶段PPO在并行MuJoCo中以50 Hz(物理步0.005 s、控制抽取4)训练,8192并行环境,奖励含全局锚点位置/姿态/速度、14个跟踪连杆相对误差、足部接触与动作正则,终止条件含锚点高度/姿态越界。自适应采样在动作级混合均匀/失败/新颖分数,段级对时间桶维护EMA难度;域随机化覆盖质量、摩擦、惯量及肌腱特有延迟、等效刚度/阻尼、映射残差、编码器偏置。物理侧另采集单电机正弦/余弦激励轨迹,同步记录电机位置/速度/电流与受影响关节编码器,辨识可微前向模型motor→joint并冻结,再以该模型反向训练映射器(输入期望关节+K步关节/电机历史,输出电机位置指令),映射器不进PPO计算图。
研究结果
平台与问题表述:明确Droid X3机械参数与绳驱引入的状态相关关节-电机误差,给出50 Hz四阶段闭环管线(参考生成→残差策略→关节目标裁剪→映射器转电机指令),OFF用固定静态标定Trqdes+or,ON用fφ(qdes,zt-K:t)。
方法细节:参考动作表示采用统一关节+关键连杆(盆骨、大腿、小腿、足、躯干、上臂、前臂、腕)世界系位姿速度,锚点对齐去除了平移垂直分量仅对齐水平与yaw;观测与残差动作中S为按关节组(腿/腰/肩/前臂/腕)由连续最大扭矩τmax、位置伺服比例kp、保守因子γ推得的残差包络Sj=γτmax,j/kp,j;肌腱映射网络以式(17)-(19)定义输入输出,式(20)定义OFF基线,式(21)多组正弦中心/周期/幅值激励,式(22)-(26)通过冻结可微前向模型Fψ以关节误差可微监督训练映射器;奖励设计以躯干锚点全局项为主,表1列权重组;自适应采样式(27)-(33)给出动作级与段级概率,存档运行α=0.1,β=0.2,ωfail=0.3,ωnov=0.2,tw=100 s,tr=300 s,kernel=1;单阶段PPO式(34)-(35)用GAE,网络MLP 1024-1024-512-256、ELU、高斯初始σ=0.5,部署串行跑在板载RK3588。
实验验证:动作库审计得94359源序列、39482115非重叠帧(219.345 h)、127091重叠窗;仿真冻结检查点测12674条参考动作完成率>90%(描述性结果,非跨源推断)。物理在Robot 1与Robot 2做随机顺序OFF/ON重复完整试验,固定PPO检查点/参考/控制器/安全界/映射器权重,统计单元为完整试验。整体完成率OFF 68% vs ON 79%(+11 pp)。图3-4与表5展示随机片段:Robot 1行走/深蹲/舞蹈关节位置MAE在ON下较OFF典型降低,躯干姿态误差亦降;Robot 2同权重ON片段可得可比数值。研究人员强调显示片段非独立重复,不替完整试验统计。
训练诊断:存档三跑A/B/C用不同动作库同采样参数,C跑最终奖励最高、采样熵最低,但不构成受控消融;图5-6仅示趋势。
结论与讨论翻译浓缩
研究人员提出面向28-DoF Droid X3的分层传动感知跟踪框架:仿真训参考-残差Actor,物理端串接独立离线状态条件映射器,静态标定作OFF基线。仿真12674条参考完成率>90%(描述性)。三训练跑中C跑奖励最高、熵最低,因动作库不同不作单因素断言。物理随机重复试验在两台名义相同Droid X3上固定检查点/映射器/参考/控制器,完整试验完成率OFF 68%、ON 79%。模块化使动作库、采样、硬件映射器可独立替换而不改高层关节接口。
范围与局限(原文直缩):动作库历史train/val/test划分与阈值脚本未留存,不支持字节级复现;映射器未覆盖长期磨损/温漂/未现张力态;物理仅室内平地参考跟踪,未评户外/载荷/接触操作/遥操作时延/NASA-TLX;RK3588的50 Hz为配置速率非实时死线基准;动作裁剪与训练惩罚不等同急停/缆断检测/跌倒保护等现场安全系统,需单独验证。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号