面向用户指定通用物体自主抓取的七自由度机械臂控制系统开发

《Frontiers in Robotics and AI》:Development of a 7-DOF robotic arm control system for autonomous grasping of user-specified general objects

【字体: 大 中 小 】 时间:2026年10月21日 来源:Frontiers in Robotics and AI 3.7

编辑推荐:

  用于辅助机器人的机械臂需要具备在非结构化环境中自主抓取各种物体,并允许用户在杂乱环境中指定目标物体的能力。本研究开发了一套基于耦合肌腱驱动七自由度(7-DOF)机械臂的自主抓取用户指定通用物体的控制系统。研究人员引入了一种基于几何学的逆运动学方法,用于生成七自

  
用于辅助机器人的机械臂需要具备在非结构化环境中自主抓取各种物体,并允许用户在杂乱环境中指定目标物体的能力。本研究开发了一套基于耦合肌腱驱动七自由度(7-DOF)机械臂的自主抓取用户指定通用物体的控制系统。研究人员引入了一种基于几何学的逆运动学方法,用于生成七自由度机械臂的抓取运动,并开发了一种基于所提出的三维混合专家UNet(3D Mixture-of-Experts UNet,3D MoE UNet)的端到端多任务模型,该模型以点云数据为输入,同时执行六自由度(6-DOF)抓取位姿估计和语义分割。在GraspNet-1Billion数据集上的评估表明,所提出的3D MoE UNet主干网络在两项任务上均较三维UNet(3D UNet)基线普遍提升,抓取位姿估计的平均精度(Average Precision,AP)最高提升5.24个百分点,语义分割的平均交并比(mean Intersection over Union,mIoU)最高提升3.42个百分点,同时在推理过程中仅需增加有限数量的激活参数。在涉及杂乱场景中10个物体的真实抓取实验中,该系统对三个已见物体均实现了100%的拾放成功率,对七个未见物体的平均成功率为52.9%。在实验过程中,所提出的模型以平均20帧每秒(Frames Per Second,FPS)的速度实时运行,且内存占用有限。这些结果表明,所提出的系统在杂乱真实环境中实现自主抓取的有效性,及其在独立辅助机器人中应用的潜力。
随着机器学习技术的快速发展,协作机器人与辅助机器人的自主性显著提升。机械臂作为执行抓取与操作任务的核心部件,在非结构化环境中需要安全地靠近人类工作,并自主感知环境、确定合适的抓取动作。已有基于深度学习的抓取位姿估计方法虽在通用物体上取得较好泛化性能,但多数研究集中于提升精度与效率,较少综合考虑冗余自由度机械臂的实际部署、杂乱场景中用户指定目标物体选择等实用性问题。为此,研究人员开展本研究,旨在开发一套面向辅助机器人的实用机械臂控制系统,将通用物体抓取位姿估计、用户指定目标物体选择与自主到达-抓取运动控制无缝集成。

研究人员采用前序研究开发的耦合肌腱驱动七自由度机械臂作为控制对象,引入基于几何学的七自由度机械臂逆运动学方法;同时提出一种端到端多任务神经网络模型,以点云数据为输入,同时进行六自由度抓取位姿估计与语义分割。所提出的三维混合专家UNet(3D MoE UNet)主干网络基于MinkUNet14架构,并在编码器最深的两个残差块中引入混合专家(Mixture of Experts,MoE)结构,通过稀疏路由仅激活部分专家,在限制推理计算成本的同时增加模型表示容量。模型在GraspNet-1Billion数据集上完成训练与评估,并集成到实体七自由度机械臂中开展真实拾放实验。

在模型性能评估中,采用GraspNet-1Billion数据集的预处理版本(Wu等提出),将88个物体按几何特征重分类为七个语义类别。以平均精度(AP)评估抓取位姿估计,以平均交并比(mIoU)评估语义分割。结果显示,3D MoE UNet主干相对于PointNet++和3D UNet主干,在两个任务上普遍取得更好性能;在RealSense数据上,抓取位姿估计AP比3D UNet基线提升1.98至2.43个百分点,在Kinect数据上seen和similar测试集分别提升5.24和2.25个百分点;语义分割在多数测试集上也取得最优结果。单任务模型与现有方法对比时,在所有测试集上均取得最佳AP。模型总参数量为24.2M,推理时仅激活前2个专家,激活参数为17.1M,比独立引入一个3D UNet语义分割模型(需额外14.7M激活参数)显著节省计算资源。消融实验表明,所采用的MoE配置在各项任务和测试集间较为均衡,负载均衡损失有效防止专家崩溃。

在真实抓取实验中,研究人员将系统集成到耦合肌腱驱动七自由度机械臂上,使用RealSense D435i相机采集深度图像并转换为点云,通过TCP通信将抓取位姿传输至控制端,用户经图形界面选择目标物体类别后执行拾放操作。实验选用10个物体,其中3个为训练已见物体,7个为未见物体。结果为三个已见物体均达到100%成功率,七个未见物体平均成功率为52.9%,总体成功率为67.0%。模型平均运行速度为20 FPS,系统内存占用为5.1 GB RAM和3.12 GB VRAM。未见物体中,透明或半透明材质因红外深度测量受干扰导致成功率较低;单自由度夹爪对复杂形状和小尺寸物体稳定抓取能力受限。

讨论部分指出,所采用的MoE架构增加了总参数和路由复杂性,需要进一步优化配置;对透明物体无法获得准确深度信息;夹爪对复杂形状或小型物体抓取稳定性不足;基于七类语义分割的目标选择无法区分同一类别内的多个实例。研究结论表明,所提出的系统在杂乱真实环境中实现了高成功率的自主抓取,并在有限计算资源下实时运行,展示了其在独立辅助机器人上的应用潜力。未来工作包括优化MoE配置、研究透明物体鲁棒点云获取方法、采用多自由度灵巧手、引入实例分割以区分同类别个体,以及开发基于语音或肌电信号的易用目标指定接口。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号