一种混合现实辅助的人机技能转移方法,通过视觉运动基本原理实现以接触为主导的装配过程

《ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING》:A mixed reality-assisted human-to-robot skill transfer approach for contact-rich assembly via visuomotor primitives

【字体: 大 中 小 】 时间:2025年12月31日 来源:ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING 11.4

编辑推荐:

  吴豆迪|赵茜友|沈宇亮|李俊来|郑培|齐瑾|胡杰 上海交通大学机械工程学院,中国上海 **摘要** 工业装配是现代制造业的核心,但对机器人系统的可靠性和适应性提出了重大挑战。随着制造业向智能化生产转型,亟需高效的人机技能转移方法以实现相互认知。然而,当前的具身智能研

  吴豆迪|赵茜友|沈宇亮|李俊来|郑培|齐瑾|胡杰
上海交通大学机械工程学院,中国上海

**摘要**
工业装配是现代制造业的核心,但对机器人系统的可靠性和适应性提出了重大挑战。随着制造业向智能化生产转型,亟需高效的人机技能转移方法以实现相互认知。然而,当前的具身智能研究主要集中在家庭任务上,而在实际工业应用中,人类在灵巧性和长期任务方面的表现仍大多未得到探索。为了填补这一空白,我们提出了一个技能转移框架,并建立了一个包含丰富接触环节的装配基准测试系统。该系统结合了基于MR(混合现实)的数字孪生系统,用于低成本和多样化的演示;端到端的生成式视觉运动模仿学习策略,用于连续动作;以及涵盖工业启发式任务(如插销插入、齿轮啮合和拆卸)的原始技能。跨六项任务的实验显示了高成功率和强大的位置泛化能力。这项研究探索了一条新的路径,希望为未来的人机协作提供有价值的见解,并为物理智能与生成式AI的整合奠定重要基础。项目网站地址为:https://h2r-mrsta.github.io/

**引言**
在工业制造中,装配任务以丰富的接触互动为特点,通常涉及插入、固定、去毛刺和抛光等操作。这些任务要求刚性部件(如螺丝、齿轮)与柔顺元件(如皮带、线束)在复杂的接触动态和严格的对齐公差下精确协调,这比标准的拾放操作更具挑战性。传统上,装配一直被认为是对机器人而言特别困难的任务,因为在现实世界中实现人类级别的灵巧性仍然是一个未解决的关键问题。相比之下,人类在接触力方面表现出更强的反应性和适应性,使得受生物学启发的模仿学习在工业应用中具有巨大潜力。因此,高效的人机技能转移已成为推动机器人智能发展的关键挑战。尽管先前的研究已在日常任务中应用了模仿学习,但对类似工业和制造任务的研究仍处于初期阶段。特别是在当前向高混合度和低产量生产转型的背景下,依赖固定轨迹的传统方法难以满足适应制造的需求[1]。
随着具身智能和大型语言模型(LLM)的持续发展,生成式AI进一步扩展了机器人的学习、感知、控制和交互能力,为多功能、多技能机器人铺平了道路[2][3]。在此背景下,工业4.0引入了一种以人为中心的范式,强调人与机器人之间的协作,人类可以将其经验和技能传授给机器人,而机器人则通过反馈协助人类,形成双向认知互动,促进工业AI的发展。以人为中心的装配(HCA)[4]成为提升制造系统灵活性和智能性的关键途径。尽管人机协作(HRC)已受到广泛关注并取得了显著进展[5][6],但高效地传递人类技能仍是一个重大挑战。因此,迫切需要一种通用且数据效率高的机器人与人机技能转移方法。
为了准确地将人类意图传递给机器人,先前的研究采用了各种人机交互设备。然而,将人类演示转化为机器人动作仍然是一个主要挑战。常用的设备包括:(1)摄像头[7];(2)动作捕捉手套;(3)VR/AR控制器[8];以及(4)外骨骼和脑机接口[9][10]。其中,混合现实(MR)提供了一种更自然和高效的交互方式。它与数字孪生(DT)的深度集成正在推动制造业向以人为中心和智能化的方向发展,并已初步应用于工业装配的快速教学。例如,PolyU的RAIDS实验室和德国VISVR实验室的研究人员探索了结合MR的数字孪生系统进行装配指导,展示了人机交互的潜在能力[11][12][13][14]。
在行为学习方面,大规模机器人数据集[15][16]的发展推动了学习范式的重大进步。行为克隆、基础模型和扩散策略等方法在多样化任务中展示了类似人类的操作能力。值得注意的是,多模态大型语言模型(MLLM)和具身智能的出现为机器人的感知、推理和操控开辟了新途径。具身智能将AI集成到机器人身体中,实现从认知感知到物理执行的端到端解决方案,在零样本/少样本泛化和人机协作方面显示出强大潜力[17][18]。然而,当前的具身智能研究主要集中在家庭和日常生活场景中,尚未有效解决实际工业装配任务的高精度和高复杂性要求。工业环境对技能转移和部署提出了重大挑战,因为存在固有的不确定性、安全要求、刚柔耦合部件以及高力接触需求。初步的努力包括物理模拟和Sim2Real转移,例如Factory[19]为NIST[20]的基准任务构建了模拟环境,并将其集成到IsaacLab中进行策略训练和验证;还有IndustReal[21]和Forge[22]等策略,旨在通过策略转移减少现实差距。然而,由于接触动态建模的复杂性和不可避免的模拟不准确性,实际应用仍存在显著限制。很少有研究成功实现了具有紧密间隙和复杂几何形状(如螺母和螺栓)的真实世界装配。因此,实现真实世界HCA系统的技能学习仍然是向物理智能迈进的关键门槛,这需要关注在动态物理约束下的建模、推理和适应,这对于使机器人能够在工业应用中执行特定任务至关重要。

**为了填补这一空白,我们提出了H2R-MRSTA(人机混合现实装配技能转移)**,该方法利用生成式AI在工业启发式环境中实现模仿学习,并建立了一系列包含丰富接触环节的装配基准测试。如图1所示,该框架包括三个关键组成部分:
• 基于MR的演示系统,促进自然的人机交互,实现高质量和灵巧的技能传递,并支持在不同机器人形态之间的灵活迁移;
• 端到端的生成式视觉运动策略,实现高效的人机技能转移,优化在非结构化环境中的适应性;
• 包含丰富接触环节的原始技能库,利用替代的运动-力控制确保在精细装配和拆卸任务(如插销插入、齿轮啮合和螺母固定)中的安全性和精确性。

本文的其余部分结构如下:第2节回顾了相关工作并强调了关键的研究空白。第3节介绍了基于MR的数据收集系统和技能学习策略。第4节展示了实际实验,包括比较和消融案例。第5节将提出的方法与现有方法进行了比较,并探讨了未来研究的潜在方向。最后,第6节对本文进行了总结。

**从人类演示中学习**
从人类演示中学习(LfD)是一种高效且认知对齐的机器人技能获取方法,因其与人类感知的兼容性而受到越来越多的关注。其核心在于理解人类的操作方式并调整人类行为。先前的研究利用了来自人类视频[23]的交互线索、接触点[24]或抓取分割[25]来推断潜在动作。LfD的一个显著扩展是“人在回路中学习”(Human-in-the-Loop learning),它结合了人类的……

**机器人装配技能的有效转移**
机器人装配技能的有效转移至关重要地依赖于高质量的演示数据。直观的人机界面允许操作者利用他们的专业知识进行实时控制,实现人在回路中的智能操控。本研究探索了一种结合模仿学习的基于MR的远程操作框架,以实现高效的人机技能转移。如图3所示,它展示了远程操作的实际实现。

**系统配置**
- **摄像头设置**:使用双视角RGB-D系统进行演示和数据收集,机器人末端执行器上安装了手腕摄像机用于第一人称操控,前方摄像头用于整体场景感知。高质量的RGB数据支持多视角融合,以实现精确的目标定位。使用配备了NVIDIA RTX 4080 GPU的工作站确保实时性能。
- **机器人平台**:实验使用了7自由度的Flexiv Rizon机器人和Robotiq 2F-85夹持器。

**讨论**
本研究调查了基于模仿学习的策略模型在精细装配任务中的适应性和鲁棒性,旨在描述它们的特点和在现实世界场景中的潜在优势。为了系统地分析它们的能力和局限性,我们提出了以下三个关键研究问题(RQ),并利用定量实验结果和故障模式分析来指导未来的优化和部署。

**结论**
本研究专注于将工业制造与具身智能相结合,提出了一个基于MR的辅助系统和一个高效的人机技能转移框架,用于典型的装配/拆卸任务。通过真实世界任务的有效验证,以及消融和比较研究,系统地评估了任务成功率、故障模式、泛化能力和模型可解释性。结果表明,所提出的方法能够实现高效的人机技能转移。

**作者贡献声明**
吴豆迪:撰写——原始草稿、方法论、概念化;
赵茜友:验证、形式分析、概念化;
沈宇亮:数据管理;
李俊来:数据管理;
郑培:监督、资金筹集;
齐瑾:监督、资金筹集;
胡杰:资源协调、资金筹集。

**利益冲突声明**
作者声明没有已知的财务利益或个人关系可能影响本文报告的工作。

**致谢**
本研究得到了中国国家自然科学基金(项目编号52035007、52475270、U23B20102、52375254)、上海交通大学U-EASTAR智能装备技术研发 enhancement项目(25H020101658)以及与香港理工大学合作的联合博士培养计划(G-45-37-SB7F)的支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号