针对不同密集杂乱场景的目标导向无碰撞机器人抓取技术:利用“任务参与式师生知识蒸馏”方法

《ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING》:Target-oriented collision-free robot grasping using task-attendance teachers-student knowledge distillation for various dense-clutter scenarios

【字体: 大 中 小 】 时间:2025年12月30日 来源:ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING 11.4

编辑推荐:

  李少东|向成|杜伟|刘曦|宋华健|双峰 广西大学电气工程学院,中国南宁530004 摘要 在密集杂乱场景中,面向目标的无碰撞机器人抓取技术已取得显著进展。然而,以往的研究主要集中在物体数量增加所带来的复杂问题上。实际上,各种场景也会带来挑战,这意味着随着子任务的增多

  李少东|向成|杜伟|刘曦|宋华健|双峰
广西大学电气工程学院,中国南宁530004

摘要
在密集杂乱场景中,面向目标的无碰撞机器人抓取技术已取得显著进展。然而,以往的研究主要集中在物体数量增加所带来的复杂问题上。实际上,各种场景也会带来挑战,这意味着随着子任务的增多,技能模型不可避免地会变得臃肿。我们之前的研究提出了一种多教师蒸馏策略,有效避免了模型臃肿的问题。不幸的是,当场景中子任务较多且高度相似时,该策略在执行能力上仍存在不足。根本原因在于蒸馏后的学生在子任务识别方面的能力不足。当人类经验失效时,仅依赖传统的数据驱动方法来开发子任务分类器是过于简单的。因此,我们提出了一种无需数据集的分类器,将教师的分类能力迁移给学生。接着,我们进一步提出了一种任务参与型教师-学生知识蒸馏策略,以应对包含更多高度相似子任务的场景,从而显著提升了抓取性能。我们还利用语言指令通过大语言模型(LLM)来确定目标物体的掩码图,提高了人机合作的直观性。广泛的对比实验验证了我们框架的优势。我们测量了教师-学生蒸馏的能力以及我们框架中无需数据集分类器的价值。重要的是,我们在模糊指令、视觉遮挡和颜色冲突等情况下测试了分割策略的性能。此外,根据涉及未见物体、未见任务类型和干扰的现实世界实验,展示了出色的泛化和鲁棒性。

引言
在密集杂乱场景中的机器人抓取技术因其在工业、日常生活等领域的潜在应用而受到广泛关注。尽管通用的目标无关的拣选任务已取得显著进展,但在密集杂乱场景中的面向目标抓取仍面临碰撞问题。更糟糕的是,各种场景(如普通杂乱、等高障碍物、墙角、部分遮挡和稀疏分布)会带来更大的难题。一些面向目标的抓取研究假设目标周围存在无碰撞区域。不幸的是,这种假设在实际场景(如工作台、橱柜和货架)中并不成立。为了满足实际需求,一些研究提出了同步策略,可以同时选择推动或抓取,以在密集杂乱环境中创建有利的抓取空间。另有研究利用动作原语移动来消除目标物体上的遮挡障碍,从而更容易实现推动和抓取的同步。还有一些研究采用双臂来提高同步策略的效率。然而,这些研究始终无法获得优异的性能,因为它们难以平衡推动和抓取的优先级。因此,提出了异步策略,在单独识别目标物体后再进行抓取。尽管有研究通过开发长视野推动策略成功从密集杂乱中识别出目标物体,但难以将其泛化到包含更多物体的场景。实际上,无论是同步策略还是异步策略,以往研究的主要目标都是解决物体数量增加带来的复杂问题。然而,各种场景本身也会增加任务的复杂性,这一点往往被忽视。

在各种密集杂乱场景中的抓取属于多样化的长期任务。直接学习技能策略会导致收敛性能不佳,因为探索空间较大。因此,有研究提出了分层模块化强化学习方法,利用多个技能模型在普通杂乱、等高障碍物和墙角场景中有效实现目标物体的单独识别。然而,如果子任务增多,技能模型不可避免地会变得臃肿。图1描述了这种臃肿现象。实际上,技能模型的臃肿会导致内存和计算能力的过度消耗,在现实世界场景中甚至不可行。受到教学意图和策略蒸馏的启发,学生可以根据不同领域的教师获取各种知识,并通过知识迁移在某些领域超越相应的教师。基于此,我们之前的研究提出了一种多教师蒸馏策略(MTDS),用于面向目标的抓取任务,即使子任务增多也能有效避免模型臃肿。然而,MTDS仍存在两个限制:一是随着子任务增多,蒸馏后的学生完成抓取任务的能力会下降;二是当子任务高度相似时,学生在决策上会出错,导致抓取失败。这两个问题的根本原因在于蒸馏后的学生在子任务识别方面的能力不足。仅依赖传统的数据驱动方法来开发子任务分类器是过于简单的,因为即使基于人类经验,数据标注也会遇到困难。以墙角场景为例,危险的动作原语(如滑动)对于完成抓取是必要的,但滑动距离需要动态优化。换句话说,当目标物体靠近墙壁时,滑动可能是更好的选择,这样可以平衡成功率和安全性。不幸的是,即使基于人类经验也难以明确“靠近”的定义,具体来说,“靠近”会受到物体数量、形状、位置等因素的影响。微小的变化也可能导致动作原语的选择改变。因此,涉及滑动和推动操作的子任务高度相似,使得通过传统数据驱动方法构建分类器极具挑战性。因此,两项研究都将墙角场景视为一个任务,并采用固定的滑动方式将物体从墙角移开。然而,其中一项研究采用了保守的安全策略(即使用较短的距离),而另一项研究虽然提高了成功率,但忽略了安全性(即使用较长的距离)。

为了解决这些问题,我们提出了一种无需数据集的分类器,将教师的分类能力迁移给学生,以应对复杂的标注工作。“无需数据集”意味着模型不需要手动数据标注,而不是完全独立于所有数据。特别是对于高度相似子任务的教师任务准备,我们利用强化学习(RL)来捕获最优分类策略,而在其他情况下可以使用启发式方法。为了提高在更多子任务和高度相似子任务中的抓取性能,我们提出了一种任务参与型教师-学生知识蒸馏策略,其中“任务参与”指的是从无需数据集的分类器中整合的任务类别。值得注意的是,我们的框架仍然保持了模型数量的优势,即只需要两个模型(分类器学生和技能策略学生)就能在各种场景中实现优异的抓取性能。此外,现有研究需要预定义的目标物体,在现实世界场景中无法满足这一要求,也无法满足人类直观控制的需求。因此,我们利用语言指令在LLM的帮助下确定目标物体的掩码图,从而提高人机合作的便利性。此外,我们通过对比实验验证了所提出框架的优势,并通过消融研究进一步衡量了无需数据集分类器的价值。重要的是,我们在复杂情况下测试了分割策略的性能,并根据涉及未见物体、未见任务类型和干扰的现实世界实验展示了泛化和鲁棒性。我们的贡献总结如下:
(1) 本研究旨在解决以往研究中经常被忽视的各种密集杂乱场景带来的挑战,提出了一种有价值的机器人控制框架,有效实现了各种密集杂乱场景中的面向目标的无碰撞机器人抓取。
(2) 我们提出了一种无需数据集的分类器,将教师的分类能力迁移给学生,以应对复杂的标注工作。特别是对于高度相似的子任务,它利用RL搜索最优分类策略,完成了教师的任务准备。
(3) 通过使用无需数据集的分类器,我们提出了一种任务参与型技能策略,通过教师-学生知识蒸馏策略处理更多子任务和高度相似的子任务,防止技能模型臃肿,同时显著提升了各种密集杂乱场景中的抓取性能。
(4) 由于采用了基于高度的输入表示和随机变化策略,我们的框架可以直接应用于涉及未见物体和未见任务类型的现实世界场景,无需任何微调。重要的是,我们利用语言指令在LLM的帮助下对目标物体进行分割,提高了工程应用中人机合作的直观性。

相关工作
我们提出了一种有价值的机器人控制框架,用于解决各种密集杂乱场景中的面向目标抓取问题。与大多数抓取研究不同,我们专注于密集杂乱场景中的面向目标抓取,需要推动辅助抓取以避免碰撞。同时,我们采用教师-学生知识蒸馏策略而不是分层策略,有效处理了技能模型的臃肿问题。

基础知识
本节介绍了涉及问题表述、子任务描述和缩写定义的基础知识。我们将基于学习的教师任务准备形式化为马尔可夫决策过程(MDP),将分类器和技能策略中的学生蒸馏定义为分类问题。我们还定义了子任务并详细说明了它们的特征。此外,为了简化后续表示,我们正式定义了相关缩写。

方法
本节详细介绍了我们的框架,包括通过语言指令生成目标物体的掩码图、教师在分类器和技能策略中的任务准备,以及教师-学生知识蒸馏。

实验
为了验证我们的框架在各种密集杂乱场景中抓取目标物体的有效性,我们进行了包括仿真研究和实际部署在内的全面实验。本节旨在系统评估:1) 我们的框架在各种密集杂乱场景中抓取目标物体的优越性能;2) 教师-学生知识蒸馏的能力;3) 我们的无需数据集分类器在其中的角色。

结论
本研究重点解决各种密集杂乱场景带来的挑战,而非物体数量的增加。我们利用语言指令在LLM的帮助下对目标物体的掩码图进行分割,通过将教师的分类能力迁移给学生来开发无需数据集的分类器,并进一步提出了一种任务参与型教师-学生知识蒸馏策略,以实现CRediT中的面向目标的无碰撞机器人抓取。

作者贡献声明
李少东:方法论、资金获取、概念化;
向成:撰写——原始草稿、验证、形式分析;
杜伟:撰写——审阅与编辑、软件;
刘曦:调查、数据整理;
宋华健:撰写——审阅与编辑、监督;
双峰:监督。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号