人在回路(Human-in-the-loop)RGB语义分割技术,通过轻量级神经网络的少量样本适应(few-shot adaptation),实现对新型抓取任务的直观教学

《Computer Vision and Image Understanding》:Human-in-the-loop RGB semantic segmentation for intuitive teaching of novel grasping tasks via few-shot adaptation of lightweight neural networks

【字体: 大 中 小 】 时间:2026年01月04日 来源:Computer Vision and Image Understanding 3.5

编辑推荐:

  语义抓取与人类引导的辅助机器人自主性提升方法,提出浏览器端深度交互分割界面实现远程非专家用户指导,结合元学习与轻量级神经网络快速适应新抓取任务,并构建含82,944张场景图的GraspNet Affordance数据集验证效果。

  
Furkan Kaynar|Sudarshan Rajagopalan|Mahmoud Krichene|Eckehard Steinbach
慕尼黑工业大学,计算、信息与技术学院,媒体技术系主任,慕尼黑机器人与机器智能研究所,德国慕尼黑

摘要

辅助机器人正逐渐成为人类日常生活的一部分,然而这些机器人的认知能力仍需提升,才能在人类环境中成功运行。基于视觉的抓取系统需要确定图像中适合目标任务抓取的正确语义区域。像家庭和医疗设施这样的非结构化环境的复杂性要求机器人能够从人类指导下学习新的分割任务,并动态扩展其感知技能,以提高自主性。我们提出使用基于浏览器的深度交互式RGB分割界面来直观接收人类指导,使非专家也能远程操控机器人。此外,我们利用元学习技术,通过少量人类示范快速调整轻量级神经网络以适应特定的语义分割任务,从而实现辅助机器人上的快速、低成本的自适应学习。为了训练和评估这种少样本学习模块,我们扩展了一个大规模的通用抓取数据集,并添加了抓取区域的信息标签;同时创建了一个包含82,944张杂乱场景图像及其对应分割掩码的新数据集。对比实验表明,我们的少样本学习方法在计算成本较低的情况下实现了高精度的分割效果。使用7自由度操作器的机器人实验显示,与基线方法相比,该方法在任务导向的抓取精度和成功率上具有显著优势(高出22%至25%)。最后,用户测试证明了所提出的演示界面的易用性。因此,我们的端到端流程通过每天直观教授新的语义分割任务,促进了辅助机器人在人类环境中的实际应用。生成的抓取区域数据集可访问于:https://mediatum.ub.tum.de/1839309。

引言

辅助机器人技术可以提高老年人和残疾人的生活质量,帮助他们在家中独立自主地生活(Tr?binger等人,2021年)。在家庭环境中操作需要视觉感知来与周围环境(尤其是家庭物品)互动,以完成转移、传递或使用工具等任务。这些任务通常要求估计目标物体上的正确抓取区域。
机器人抓取技术已经发展了几十年,但在家庭物品上规划稳定的语义(即任务导向的)抓取仍然是一个未解决的挑战。这不仅需要基于感官信息(如RGB-D)估计稳定的抓取配置,还需要根据预期任务找到合适的抓取位置。由于缺乏对预期任务的认知推理,任务无关的抓取估计器无法直接使用。此外,许多现有的抓取规划器将场景中的所有可行位置都视为候选抓取点(Fang等人,2020年;Sundermeyer等人,2021年;Mousavian等人,2019年;Fang等人,2023年),这隐含了一个刚性且无损的环境假设。鉴于家庭环境的复杂性,这种假设可能导致许多事故,从而危害人或损坏环境。因此,语义抓取能力对于在人类环境中部署辅助机器人至关重要。
为了解决这一挑战,我们提出了基于任务导向的抓取估计方法,旨在根据任务语义来估计稳定的抓取方式。这通常包括估计物体上的抓取可用区域以找到合适的抓取配置(Myers等人,2015年)。然而,尽管这些方法在已学习的语义任务上表现良好,但它们无法泛化到新的抓取任务(Holomjova等人,2023年)。这在家庭环境中部署这些方法时是一个重大障碍,因为这类环境中的物体和任务种类繁多。更重要的是,根据受助者的需求,总会有新的物体和新的抓取任务出现。因此,需要能够动态修改并轻松扩展辅助机器人的技能集。
我们通过基于人类参与(HIL)的端到端流程来解决上述所有挑战:该流程利用RGB图像进行语义抓取区域分割,并通过少量示范进行少样本学习来教授新技能。人类参与的语义抓取确保机器人根据具体任务抓取正确的物体和正确的部位,而少样本学习模块则扩展了机器人的技能集,逐渐减少了后续推理对人类干预的需求。随着时间的推移,在人类监督和指导下,机器人的自主性得到了提升。
我们提出的流程通过基于深度交互式分割的直观界面,使非专家用户能够指导新的语义分割任务。这是通过服务器-客户端架构实现的,该界面专为触摸屏和移动设备设计,便于现场和远程指导机器人抓取任务,为许多实际应用打开了大门。此外,我们探索使用轻量级神经网络进行高效元学习,使少样本学习模块尽可能轻量化,从而允许移动辅助机器人快速进行机载处理。
本工作的贡献总结如下:
(1)我们提出了一个新颖的端到端框架,用于学习用户示范的新物体上的语义抓取区域。与许多方法不同,我们的框架涵盖了从直观示范到在新场景中执行任务导向抓取的所有步骤,从而允许非专家进行半自主的远程抓取。此外,通过示范学习模块,机器人的自主性逐渐提高,减少了随着时间推移对人类干预的需求。
(2)我们结合了基于近似一阶模型不可知元学习算法(Nichol和Schulman,2018年)的少样本语义抓取区域学习,并探索使用轻量级神经网络架构进行更高效的元适应,相比全尺寸神经网络更具优势。这使得移动机器人能够进行机载学习,并在抓取规划过程中快速进行少样本适应。因此,与许多现有方法不同,我们的框架能够在不依赖GPU的情况下,在CPU上高效学习和估计语义抓取区域,解决了移动辅助机器人中的资源分配问题。
(3)为了训练和评估我们的语义抓取区域估计方法,我们基于大规模的GraspNet-1Billion数据集(Fang等人,2020年)创建了一个新的抓取可用性数据集。新生成的GraspNet Affordance Dataset包含82,944张杂乱场景图像的密集抓取区域分割掩码,是同类数据集中最大的。这个新数据集可用于评估语义抓取区域估计方法。
(4)为了评估所提出的系统,我们对与基线方法相比的少样本学习性能进行了定量分析。此外,我们还进行了实际机器人实验,并通过用户示范展示了该系统在教授未见物体上的新分割任务方面的有效性。我们还进行了用户研究,以主观评估设计的用户界面工具。
本文的其余部分安排如下:第2节总结了相关文献的工作。第3节阐述了设计目标、设计选择以及我们框架各模块的方法论。第4节详细介绍了我们的GraspNet Affordance Dataset的生成过程。第5节提供了关于少样本学习模块的实验分析结果、用户研究以及实际机器人实验的详细信息。第6节总结了本文并展望了未来的工作。

章节片段

相关工作

我们的系统涉及多个与不同研究领域交叉的方面。在本节中,我们概述了相关领域的先前工作。

流程设计和方法论

在本节中,我们详细介绍了各个模块的流程设计和方法论。

GraspNet抓取区域数据集生成

在我们的初步工作中,我们提出了一个用于学习物体部分分割的可抓取区域数据集,但未包含任何抓取可用性信息(Kaynar等人,2023年)。在这项工作中,我们创建了一个包含抓取可用性掩码的数据集,用于训练和评估具有部分抓取可用性分割的语义抓取估计模块。接下来,我们首先概述了现有数据集,然后详细介绍了数据集的生成步骤。

少样本语义抓取区域估计

在本节中,我们评估了我们的高效少样本分割模块在不同设置下的学习能力,并将其与不同的基线方法进行了比较。此外,我们还研究了通过添加深度信息来提高模块性能的效果。
评估指标我们使用文献中广泛采用的平均交并比(mIoU)来评估图像分割性能。交并比(IoU)或Jaccard指数定义了...

结论与未来工作

我们提出了一个端到端框架,以便非专家远程指导和教授语义抓取任务。我们的用户界面易于使用,而高效的小样本学习模块使得移动机器人上的机载处理成为可能。机器人抓取实验的结果证明了所提出的任务导向抓取区域估计方法的成功。此外,用户主观研究显示了界面的易用性。

CRediT作者贡献声明

Furkan Kaynar:撰写 – 审稿与编辑,撰写 – 原稿,可视化,验证,软件,项目管理,方法论,形式分析,数据整理,概念化。Sudarshan Rajagopalan:方法论。Mahmoud Krichene:软件,方法论。Eckehard Steinbach:监督,项目管理,概念化。

写作过程中生成式AI和AI辅助技术的声明

在准备这项工作时,作者仅使用Google Gemini进行格式化。使用该服务后,作者根据需要审阅和编辑了内容,并对发表文章的内容负全责。没有使用任何AI服务或AI辅助技术来生成或修改任何文本或技术内容。

利益冲突声明

作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。

致谢

资助:本工作得到了Lighthouse Initiative Geriatronics by StMWi Bayern [项目X,授权号5140951]和LongLeif GaPa gGmbH [项目Y,授权号5140953]的支持。
我们感谢Amr Ibrahim在实习期间对改进图形用户界面的贡献。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号