辅助机器人技术可以提高老年人和残疾人的生活质量,帮助他们在家中独立自主地生活(Tr?binger等人,2021年)。在家庭环境中操作需要视觉感知来与周围环境(尤其是家庭物品)互动,以完成转移、传递或使用工具等任务。这些任务通常要求估计目标物体上的正确抓取区域。
机器人抓取技术已经发展了几十年,但在家庭物品上规划稳定的语义(即任务导向的)抓取仍然是一个未解决的挑战。这不仅需要基于感官信息(如RGB-D)估计稳定的抓取配置,还需要根据预期任务找到合适的抓取位置。由于缺乏对预期任务的认知推理,任务无关的抓取估计器无法直接使用。此外,许多现有的抓取规划器将场景中的所有可行位置都视为候选抓取点(Fang等人,2020年;Sundermeyer等人,2021年;Mousavian等人,2019年;Fang等人,2023年),这隐含了一个刚性且无损的环境假设。鉴于家庭环境的复杂性,这种假设可能导致许多事故,从而危害人或损坏环境。因此,语义抓取能力对于在人类环境中部署辅助机器人至关重要。
为了解决这一挑战,我们提出了基于任务导向的抓取估计方法,旨在根据任务语义来估计稳定的抓取方式。这通常包括估计物体上的抓取可用区域以找到合适的抓取配置(Myers等人,2015年)。然而,尽管这些方法在已学习的语义任务上表现良好,但它们无法泛化到新的抓取任务(Holomjova等人,2023年)。这在家庭环境中部署这些方法时是一个重大障碍,因为这类环境中的物体和任务种类繁多。更重要的是,根据受助者的需求,总会有新的物体和新的抓取任务出现。因此,需要能够动态修改并轻松扩展辅助机器人的技能集。
我们通过基于人类参与(HIL)的端到端流程来解决上述所有挑战:该流程利用RGB图像进行语义抓取区域分割,并通过少量示范进行少样本学习来教授新技能。人类参与的语义抓取确保机器人根据具体任务抓取正确的物体和正确的部位,而少样本学习模块则扩展了机器人的技能集,逐渐减少了后续推理对人类干预的需求。随着时间的推移,在人类监督和指导下,机器人的自主性得到了提升。
我们提出的流程通过基于深度交互式分割的直观界面,使非专家用户能够指导新的语义分割任务。这是通过服务器-客户端架构实现的,该界面专为触摸屏和移动设备设计,便于现场和远程指导机器人抓取任务,为许多实际应用打开了大门。此外,我们探索使用轻量级神经网络进行高效元学习,使少样本学习模块尽可能轻量化,从而允许移动辅助机器人快速进行机载处理。
本工作的贡献总结如下:
(1)我们提出了一个新颖的端到端框架,用于学习用户示范的新物体上的语义抓取区域。与许多方法不同,我们的框架涵盖了从直观示范到在新场景中执行任务导向抓取的所有步骤,从而允许非专家进行半自主的远程抓取。此外,通过示范学习模块,机器人的自主性逐渐提高,减少了随着时间推移对人类干预的需求。
(2)我们结合了基于近似一阶模型不可知元学习算法(Nichol和Schulman,2018年)的少样本语义抓取区域学习,并探索使用轻量级神经网络架构进行更高效的元适应,相比全尺寸神经网络更具优势。这使得移动机器人能够进行机载学习,并在抓取规划过程中快速进行少样本适应。因此,与许多现有方法不同,我们的框架能够在不依赖GPU的情况下,在CPU上高效学习和估计语义抓取区域,解决了移动辅助机器人中的资源分配问题。
(3)为了训练和评估我们的语义抓取区域估计方法,我们基于大规模的GraspNet-1Billion数据集(Fang等人,2020年)创建了一个新的抓取可用性数据集。新生成的GraspNet Affordance Dataset包含82,944张杂乱场景图像的密集抓取区域分割掩码,是同类数据集中最大的。这个新数据集可用于评估语义抓取区域估计方法。
(4)为了评估所提出的系统,我们对与基线方法相比的少样本学习性能进行了定量分析。此外,我们还进行了实际机器人实验,并通过用户示范展示了该系统在教授未见物体上的新分割任务方面的有效性。我们还进行了用户研究,以主观评估设计的用户界面工具。
本文的其余部分安排如下:第2节总结了相关文献的工作。第3节阐述了设计目标、设计选择以及我们框架各模块的方法论。第4节详细介绍了我们的GraspNet Affordance Dataset的生成过程。第5节提供了关于少样本学习模块的实验分析结果、用户研究以及实际机器人实验的详细信息。第6节总结了本文并展望了未来的工作。