《Machines》:GT-TD3: A Kinematics-Aware Graph-Transformer Framework for Stable Trajectory Tracking of High-Degree-of-Freedom (DOF) Manipulators
Hanwen Miao,
Haoran Hou,
Zhaopeng Zhu,
Zheng Chao and
Rui Zhang
编辑推荐:
为解决冗余机械臂轨迹跟踪中控制器需同时建模关节局部耦合与整体运动链全局依赖的难题,研究人员开展了GT-TD3(Graph Transformer-enhanced-Twin Delayed Deep Deterministic Policy Gradient)框架的研究。该工作提出一种结合GNN与Transformer的TD3执行器架构,通过引入运动学感知注意力偏置,显著提升了7-DoF机械臂在PyBullet中的跟踪精度、训练稳定性和末端运动平滑性。这项研究为高自由度机械臂的高精度控制提供了一种结构感知的有效解决方案。
在机器人技术高速发展的今天,机械臂末端执行器的精确控制是决定任务效率和安全性的关键。尤其在海上石油钻井、核设施自动化拆装等高风险场景中,机械臂需在受限、易受扰动的空间内,以极高的轨迹精度进行操作,以防碰撞、对准错误和设备损伤。然而,实现冗余机械臂(即自由度多于任务空间维度的机械臂)的精确轨迹跟踪绝非易事。其核心挑战在于,控制器必须同时捕捉相邻关节间复杂的局部运动学耦合关系,以及跨越整个机械臂运动链的全局关节依赖。传统的控制方法(如PID、计算力矩控制)严重依赖精确的数学模型,一旦存在建模误差或外部干扰,性能便会急剧下降。虽然深度强化学习(DRL)提供了一种更灵活的自适应控制思路,但主流方法通常使用多层感知机(MLP)来构建策略网络,这种“黑箱”结构无法显式利用机械臂固有的链式拓扑结构,导致在处理高维连续控制任务时,其表示能力、学习效率和最终的控制稳定性都面临瓶颈。
为了解决这一难题,一项发表在《Machines》期刊上的研究提出了一种名为GT-TD3的创新框架。该研究由Hanwen Miao, Haoran Hou, Zhaopeng Zhu, Zheng Chao 和 Rui Zhang共同完成。他们意识到,要突破MLP的表示瓶颈,必须将机械臂的结构先验知识注入神经网络。于是,他们巧妙地将两种擅长不同关系的神经网络——图神经网络(GNN)和Transformer——融合进了经典的TD3(Twin Delayed Deep Deterministic Policy Gradient)强化学习算法中。具体来说,研究人员在TD3的执行器网络(actor)上动了大手术,而批评家网络(critic)则保持传统的双Q网络MLP结构以维持训练稳定。他们的核心思路是:不再将机械臂的状态视为一个扁平的向量,而是首先将其编码为以关节为单位的节点特征。接着,利用GNN在由机械臂串行运动链定义的图结构上进行局部消息传递,精准提取相邻关节间的耦合信息。然后,将这些经过GNN处理的特征送入Transformer编码器。这里的精妙之处在于,Transformer并非“裸奔”上阵,而是被赋予了“运动学感知注意力偏置”。这意味着,在计算自注意力时,网络会强制融入关节间的拓扑连接关系和物理距离等信息作为偏置项,从而引导模型在建模全局依赖时,必须尊重机械臂的实际运动学结构。最后,通过一个门控融合模块将局部(GNN)和全局(Transformer)特征融合,输出最终的控制动作(关节速度指令)。整个框架的设计,使得策略网络能够“知其局部,亦观其全局”,充分利用了机械臂的物理结构。
为了验证GT-TD3的有效性,研究团队在PyBullet物理仿真环境中,对一个7自由度的KUKA iiwa机械臂进行了系统的轨迹跟踪实验。在每一轮训练开始时,环境会随机采样一个可达的笛卡尔空间目标点,并生成一条从末端执行器当前位置到该点的直线参考轨迹。策略的学习目标是在固定的200个控制步长内,通过输出连续的关节速度命令,驱动末端执行器尽可能精确、平滑地跟踪这条参考轨迹。研究将GT-TD3与多个基线模型进行了对比,包括标准的MLP-TD3、纯GNN-TD3以及纯Transformer-TD3。
研究结果
- •
整体性能显著提升:实验结果表明,GT-TD3在所有评估指标上均全面超越了基线模型。它不仅实现了更高的末端执行器跟踪精度,其产生的整体轨迹偏差也更小,动作输出更为平滑。
- •
更稳定的训练与更快收敛:GT-TD3展现出更优越的训练稳定性,训练过程中的累积奖励曲线波动更小,并且能够以更快的速度收敛到高性能区域。这证明了其结构感知设计有效缓解了高维连续控制中的训练不稳定和探索效率低下问题。
- •
结构感知的有效性:通过消融实验分析,研究证实了GNN模块对于捕捉局部运动学耦合、以及结合了运动学偏置的Transformer模块对于建模全局关节依赖都是不可或缺的。二者通过门控机制的融合,实现了“1+1>2”的效果,缺一不可。
结论与意义
本研究提出的GT-TD3框架,成功地将机械臂的物理结构先验知识深度融入了深度强化学习的策略表示中。通过联合使用GNN进行局部图建模和搭载运动学感知注意力偏置的Transformer进行全局依赖捕捉,该框架为冗余机械臂的高精度、高稳定性轨迹跟踪控制问题提供了一种新颖且高效的解决方案。与传统的MLP方法或单一的GNN/Transformer架构相比,GT-TD3不仅在学习效率和最终控制性能上具有显著优势,其输出的控制指令也更加平滑,更符合实际机器人的执行需求。这项工作表明,在机器人控制领域,设计能够显式利用领域知识(如本体结构)的神经网络架构,是突破当前DRL方法瓶颈、实现更强大、更可靠智能控制的关键方向。其成果对于推动机械臂在精密装配、高危环境作业等复杂任务中的应用具有重要的理论价值与实践意义。