《Engineering Applications of Artificial Intelligence》:Artificial Intelligence-enhanced fine-grained anomaly detection for human-robot collaborative assembly
编辑推荐:
•一种面向人-机器人协作装配(HRCA)闭环缺陷检测的视觉智能框架。•KP-TransUNet 实现分割与关键点检测的联合任务。•基于 IoU-掩膜匹配与改进 YOLO11 的装配错误识别方法。•卫星盒装配验证的检测准确率达 97.30%。引言工业5.0的到来凸显了以人为核心
- •
一种面向人-机器人协作装配(HRCA)闭环缺陷检测的视觉智能框架。
- •
KP-TransUNet 实现分割与关键点检测的联合任务。
- •
基于 IoU-掩膜匹配与改进 YOLO11 的装配错误识别方法。
- •
卫星盒装配验证的检测准确率达 97.30%。
引言
工业5.0的到来凸显了以人为核心的制造范式转变,其中传统人工装配正日益演变为人与机器人协作装配(HRCA)(Briken 等,2023;Fournier 等,2024)。在这一转变中,人类操作员在柔性决策和灵巧操作方面仍居于核心地位,而机器人系统则提供精度、力量和重复性。这种协作模式建立在一个强大的协同效应之上:利用人类操作员无与伦比的认知灵活性和问题解决能力,同时结合机器人系统的精度、力量和耐力。然而,在装配过程中,人类操作员是不确定性变异的主要来源。这些错误主要表现为部件缺失和细微的装配偏差,构成了高风险制造环境中产品质量和产量低下的重要瓶颈。检测这些异常的难题源于许多工业环境中固有的视觉模糊性。部件与其基体在颜色、纹理和几何形状上的高度相似性造成了低对比度条件,使细微缺陷——如轻微的位移、旋转偏差或错误的部件替换——难以被发现。这一问题已广泛被认为是高精度工业视觉检测中的关键瓶颈(Bai 等,2024;Cheng 等,2024)。传统的质量保证方法不适合此任务,因其依赖人工检查,容易受到疲劳导致的不准确性影响(Govaerts 等,2023;Ren 等,2023;Yung 等,2020),加之缺乏实时在线验证的能力。这种诊断空白使初始错误沿着装配线传播,导致复合缺陷和严重的成本攀升。
对此,当前研究遵循两条不同的技术路线,各自对应装配生命周期中的不同阶段,但未能提供集成解决方案。第一条路线侧重于通过增强现实(AR)引导系统进行错误预防(Geng 等,2024)。AR 将空间配准的数字指令——标注精确部件位置和安装顺序——直接投射到操作员的视野中,将抽象的工作流程转化为直观的 spatial 任务(Fang 等,2025)。这些系统可采用情境感知策略部署,以降低错误并基于任务复杂度调整指令(Bock 等,2024)。与预防方法互补,第二条路线侧重于使用基于视觉的检验进行事后错误检测(Mazzetto 等,2020;Weiher 等,2023)。虽然该方法在受控条件下能够可靠地识别缺失紧固件等重大偏差,但在处理低对比度场景和视角变化时面临固有限制(Gao 等,2024;Jingchun 等,2024)。模板匹配框架进一步显示出对低对比度条件和视角依赖特征变化的鲁棒性有限,限制了其在不同产品变体间的泛化能力(Spratling,2020)。深度学习的出现显著增强了鲁棒性(Yang 等,2023),但在此领域的应用主要集中于事后检测,仅限于终端检验。这使得在线、逐步纠正反馈的关键窗口未被解决,未能充分利用 HRCA 的协作特性。
为弥合这一差距,本文提出了一种新颖的 AI 驱动视觉智能架构,用于细粒度异常检测。我们的框架建立了一个协同流水线,无缝集成感知、识别和状态判别,以提供稳健的在线质量保证。本研究的主要贡献有三点:
- 1)
提出了一种面向 HRCA 在线质量验证的步进触发式视觉智能框架。与传统的引导式或事后检验方法不同,所提框架建立了一个闭环工作流程,将装配步骤完成、视觉感知、几何配准、部件识别、装配状态判别、操作员纠正和复检联系在一起。正常状态释放后续装配任务,而异常状态则触发可解释的缺陷反馈和纠正措施。
- 2)
开发了一个面向低对比度装配场景的任务导向感知与定位模块,通过耦合 KP-TransUNet 与改进 YOLO11(Redmon 等,2016)实现。KP-TransUNet 提供亚像素级关键点和部件掩膜,用于透视配准和几何表示,而改进 YOLO11 执行部件和螺钉的类别感知定位。该设计为后续的装配状态判别提供了互补的几何和语义信息。
- 3)
开发了一种基于 IoU-掩膜匹配的状态判别方法,用于部件级细粒度异常检测。通过结合框级语义匹配与掩膜级几何偏差分析,所提方法能够区分正常装配、部件缺失、类型错误、位置偏移、角度偏差以及复合偏移-偏差缺陷,从而产生可解释的部件级装配状态反馈。
本文其余部分结构如下:第2节回顾了 HRCA 的相关工作,并分析了当前装配质量验证范式的分类与局限性。在此基础上,第3节提出了面向 HRCA 的视觉智能检测架构。随后,第4节详细阐述了实现该架构的关键方法。为验证所提方法的有效性,第5节详细描述了案例研究。最后,第6节给出了结论和 Future Work。
章节摘要
相关工作
本节回顾了 HRCA 系统的演进和质量验证范式的技术谱系,并阐述了逐步、单元级验证的迫切需求。
面向 HRCA 的视觉智能异常检测架构
面向 HRCA 的视觉智能异常检测架构如图1所示。与独立的终端检验单元不同,所提架构嵌入在步进触发的协作装配工作流中。在该工作流中,人类操作员执行柔性装配和纠正操作,而机器人支持部件抓取和定位。每个装配步骤完成后,采集一张 RGB 图像以及对应的步进专用装配模板。
细粒度检测的关键方法
在第3节阐述的面向 HRCA 的视觉智能检测架构基础上,本节详细阐述了为实现在线、单元级质量验证而开发的三项关键创新。
案例研究
为在工业环境中实证验证所提方法的有效性,本节对 HRCA 场景进行了全面的案例研究。所有实验均在 Python 3.9 和 PyTorch 2.7.1 环境下进行,并使用 CUDA 加速。主要框架评估和运行时基准测试在一台配备 NVIDIA GeForce RTX 4090 GPU 的工作站上完成。
结论与 Future Work
本研究提出了一种新颖的 AI 驱动视觉智能框架,以应对 HRCA 中在线、细粒度异常检测的关键挑战。我们认为,当前将质量保证分裂为不验证的引导和事后检验的做法,在实时质量控制方面造成了显著差距。我们提出的端到端流水线通过将多任务 KP-TransUNet 与低对比度条件下的稳健几何配准相结合,系统性地弥合了这一差距。
CRediT 作者贡献声明
Chao Zhang:原稿撰写、方法论、资金获取、形式分析、概念化。Jinqiang Li:原稿撰写、方法论、调查。Zihan Yuan:审阅与编辑、验证、数据整理。Guanghui Zhou:审阅与编辑、监督、资源、项目管理。Dongxu Ma:审阅与编辑、调查。Jingjing Li:原稿撰写、调查。Zenghui Wang:原稿撰写、调查。Dan
利益冲突声明
作者声明不存在可能影响本文所报告工作的已知竞争性经济利益或个人关系。
致谢
本研究得到国家自然科学基金(资助编号:52541501、52375511、52475534)的资助。
Chao Zhang|Jinqiang Li|Zihan Yuan|Guanghui Zhou|Dongxu Ma|Jingjing Li|Zenghui Wang|Dan Zhao