人机协作装配中的多模态动作识别:一种对比语义查询方法
《ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING》:Multimodal action recognition in human–robot collaborative assembly: A contrastive semantic query approach
【字体:
大
中
小
】
时间:2025年12月04日
来源:ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING 11.4
编辑推荐:
高琦 | 刘振宇 | 侯孟杰 | 萨国东 | 谭建荣
中国浙江大学CAD&CG国家重点实验室,杭州310027
摘要
随着现代制造系统对灵活性和适应性的需求不断增加,人机协作组装(HRCA)任务中智能感知和识别人类动作的研究引起了广泛关注。然而,在复杂且动态的环境中
高琦 | 刘振宇 | 侯孟杰 | 萨国东 | 谭建荣
中国浙江大学CAD&CG国家重点实验室,杭州310027
摘要
随着现代制造系统对灵活性和适应性的需求不断增加,人机协作组装(HRCA)任务中智能感知和识别人类动作的研究引起了广泛关注。然而,在复杂且动态的环境中准确识别动作仍然具有挑战性,这主要是由于多模态融合和语义理解方面的难题。为了解决这些问题,提出了一种语义对比动作识别网络(SCAR),该网络增强了组装动作的细粒度建模和区分能力。SCAR将骨骼序列的结构运动信息与从RGB图像中提取的语义和上下文特征相结合,从而提高认识场景的全面性。此外,引入了与任务相关的文本描述作为语义先验,以指导跨模态特征学习。采用对比学习策略来强化不同模态之间的语义对齐和区分性,促进任务感知表示的学习。在NTU RGB+D基准动作数据集和实际HRCA任务上的评估表明,SCAR在识别准确性方面显著优于主流方法,特别是在涉及模糊操作和语义相似的组装任务中优势更为明显。消融研究进一步验证了语义引导机制和对比学习策略在增强模态互补性和系统鲁棒性方面的有效性。
引言
人工智能、物联网(IoT)和机器人技术的持续发展正在重塑工业自动化的范式[1]。制造业正从传统的大规模标准化生产向高混合、低产量和高度定制化的操作转型。作为制造过程的关键阶段,组装面临着频繁的任务切换、产品变化大以及工作流程动态变化等挑战[2]。在这种背景下,传统的完全自动化装配线难以满足快速适应和灵活响应的需求,从而加速了HRCA系统的发展[3]。
HRCA被视为提高现代制造系统灵活性和适应性的关键途径。通过将机器人引入人类工作空间,HRCA系统能够有效结合人类的复杂推理和灵巧操作能力与机器人的精确性和重复性优势,显著提升协作效率和系统响应性[4]。目前,HRCA系统正从静态的、分离的人机工作安排向动态共享的工作空间发展[5]。这一转变需要从预先编程的轨迹和固定的时间安排转向实时的行为感知和适应性机器人响应。因此,协作机器人(协作式机器人)预计能够根据复杂和非结构化环境中的动态人类动作自主执行抓取、固定和协助组装等交互式动作,从而提高系统灵活性和操作安全性[6]。在这种情况下,准确识别人类动作和意图对于实现HRCA系统中的主动协作至关重要。为此,协作式机器人必须具备感知和解释人类行为的能力,这对于实现组装任务的情境感知、预测任务需求和自主决策至关重要——最终实现从被动反应到主动合作的范式转变[7]。
为了实现操作员动作和意图的准确识别,HRCA系统采用了多种传感策略。在早期研究中,使用了惯性测量单元(IMU)[8]和肌电图(EMG)信号[9]等生理和运动传感器。然而,这些方法部署成本较高,且性能受佩戴方式和个体差异的影响较大。此外,无法有效感知操作员与周围工具或环境之间的交互。因此,基于视觉的感知方法逐渐成为主流。从视觉输入中提取的骨骼数据因其对背景噪声和光照变化的相对鲁棒性而被广泛用于动作建模。图卷积网络(GCN)的变体,如ST-GCN [10],被应用于建模骨骼关节的空间拓扑及其时间动态。通过引入精细的时空图结构、多级注意力机制和多尺度特征融合技术,这些模型的表达能力得到了进一步提升[11]。然而,由于许多组装动作之间的高度相似性,仅编码人体关节空间坐标和运动轨迹的骨骼数据往往不足以捕捉操作员与组装对象之间的交互关系。因此,区分细粒度动作(如“旋转油盖”与“拧紧螺丝”仍然具有挑战性。为了解决这些限制,人们越来越多地探索多模态融合方法,将RGB图像、深度图和骨骼数据结合起来。通过利用每种模态在表示空间结构、环境背景和身体运动方面的互补优势,可以显著提高复杂组装场景中动作识别的鲁棒性和表示能力。
尽管现有方法取得了进展,但当前HRCA系统中的动作识别仍面临两个关键挑战:(1) 骨骼数据的表示能力有限,限制了模型的进一步改进。大多数现有方法试图通过增加模型复杂性来提取更精细的时空特征,但当骨骼数据中的信息量有限时,性能提升往往会达到饱和状态。当模型复杂度超过某个阈值时,可能会发生过拟合或对噪声的敏感性增加,从而降低泛化能力。此外,过于复杂的模型会增加训练难度,并需要更大规模的数据集才能有效学习。(2) 多模态融合机制通常缺乏有效的语义建模和模态间协调。许多现有方法采用简单的特征拼接或早期融合策略,将异构模态合并后输入到统一分类器中。最终,决策仍然基于独热标签。这种流程忽略了任务语义与感知模态之间的内在结构关系,导致在面对任务变化或数据稀缺时适应性不足。此外,文本模态往往没有系统地集成到融合框架中,语义引导的潜力没有得到充分利用。
为了解决复杂组装场景中的多模态动作理解挑战,提出了一种基于语义引导的多模态对比融合框架。该框架旨在利用多种模态的核心特征来增强细粒度动作识别和任务泛化能力,而无需依赖任何单一模态内的复杂结构。所提出的方法引入了一种语义对比查询机制,以实现显式的跨模态交互并提高整体识别性能。首先,使用特定模态的骨干模型根据各自的表示特性从每个输入源中提取核心特征。改进的ST-GCN用于捕捉骨骼序列中的人体动作结构信息;ResNet用于从RGB视频帧中提取上下文特征;预训练的BERT基础模型用于从任务相关文本描述中获取语义嵌入。随后,实现了一种语义对比融合机制,将骨骼和视觉特征融合并作为查询来检索和与文本语义对齐。这种设计促进了跨模态的显式交互,实现了语义一致的识别。通过在标准动作识别数据集和实际HRCA任务上的实验评估,证明了该框架在识别准确性方面优于几种先进的基于骨骼的模型,尤其是在细粒度动作场景中。进一步的消融研究验证了环境语义融合和对比查询机制的有效性。本研究的主要贡献如下:
(1) 提出了一种语义增强的多模态框架,将文本描述与基于骨骼和图像的动作特征相结合,以改善上下文建模和跨模态互补性。
(2) 引入了一种对比特征解耦机制,通过正负动作对来捕捉细粒度差异,提高了语义相似动作的区分能力。
(3) 在实际的HRCA案例中的广泛实验表明,所提出的方法优于主流方法,验证了其泛化能力和在工业场景中的应用性。
本文的其余部分安排如下:第2节回顾了与我们工作相关的最新研究。第3节详细介绍了所提出的语义对比多模态动作识别框架。第4节提供了在公开数据集和设计的HRCA案例上的实验。最后,第5节总结了本文并讨论了未来的工作。
相关工作
HRCA系统期望通过人类运动感知和意图理解来推动机器人的积极和灵活协作。动作识别问题已在多个维度上进行了探索,这些努力催生了基于生物信号、RGB视频和骨骼序列的三种主要识别范式,这些范式进一步发展为多模态融合和语义增强建模。本节提供了对这些范式的全面回顾。
语义对比多模态动作识别
本研究提出了一种用于主动人机协作组装的语义增强多模态动作理解框架。骨骼序列由于其稳定的结构和对抗背景噪声的不敏感性,在捕捉人体运动模式方面表现出色。然而,仅凭骨骼数据缺乏对操作对象和环境背景的意识,无法捕捉相似动作之间的语义差异。为了解决这一限制,引入了RGB图像……
实验与讨论
本节通过一系列实验验证了所提出方法的有效性。首先在广泛使用的NTU RGB+D [43]基准数据集上评估了该方法的性能,与其最先进方法进行比较,以评估其通用识别能力。接下来,我们介绍了一个工业齿轮减速器装配的案例研究,详细说明了数据收集原理、程序和实施方法,为进一步分析提供了基础。
结论
在本文中,我们提出了用于HRCA场景中组装动作识别的SCAR框架,将骨骼序列、RGB图像和任务描述文本整合到一个统一的语义框架中。双向注意力池化策略实现了跨模态融合,轻量级适配器有效地将预训练的文本编码器适应目标领域。对比学习进一步加强了跨模态语义对齐并提高了区分性表示能力。
作者贡献声明
高琦:撰写 – 审稿与编辑、验证、监督、方法论、概念化。
刘振宇:撰写 – 审稿与编辑、监督、概念化。
侯孟杰:撰写 – 原稿撰写、验证、软件实现。
萨国东:撰写 – 审稿与编辑、监督、概念化。
谭建荣:监督、资源获取、资金争取。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号