一种轻量级的物体检测方法,用于多种插销-孔装配任务中的精确抓取

《ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING》:A lightweight object detection approach for precision gripping in multiple peg-in-hole assembly tasks

【字体: 大 中 小 】 时间:2025年12月22日 来源:ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING 11.4

编辑推荐:

  焦建军|李宗刚|夏光清|王国平|陈印娟|高瑞兵 中国兰州交通大学机械工程学院,兰州730070 摘要 在制造业中使用操作器自动化产品组装仍然具有挑战性。这主要是因为在部件组装之前的检测和抓取仍然严重依赖于手动操作和传统的教学方法,导致整体的自动化水平较低。检测和抓取的主要难点在

  焦建军|李宗刚|夏光清|王国平|陈印娟|高瑞兵
中国兰州交通大学机械工程学院,兰州730070

摘要
在制造业中使用操作器自动化产品组装仍然具有挑战性。这主要是因为在部件组装之前的检测和抓取仍然严重依赖于手动操作和传统的教学方法,导致整体的自动化水平较低。检测和抓取的主要难点在于精确识别旋转角度以及对精度、实时性能和稳定性的复杂要求。本文提出了一种改进的轻量级模型IDPC-YOLOv8,用于多销孔工件的检测和抓取,以应对这些挑战。所提出的方法集成了自适应图像预处理,在不同的光照条件下提高视觉清晰度,并采用了一种高效的网络架构,该架构同时利用全局和局部特征来提高检测精度和计算效率。此外,引入了一种考虑旋转的检测策略,以实现对象方向的准确预测。此外,网络优化方案进一步减少了模型参数,使系统适合实时部署。实验结果表明,IDPC-YOLOv8模型的准确率达到97.8%,检测速度为126.59 FPS,分别比原始的YOLOv8-OBB模型提高了4%和8.3%。与几种先进的旋转检测模型相比,IDPC-YOLOv8展示了更强的集成和泛化能力。通过使用AUBO-i5操作器在现实世界实验中实现的优异抓取成功率进一步验证了所提出方法的有效性。

引言
随着智能制造的快速发展、数据可用性的增加以及操作器自主技术的进步[1][2],传统制造业正在经历重大创新和转型[3]。这些变化产生了对产品个性化和定制化的日益增长的需求[4]。因此,在离散制造和装配行业中,从高产量、低品种的生产模式向低产量、高品种的生产模式转变的趋势明显[5]。这种转变要求公司的生产线具备高度的灵活性和自主性,以及先进的自动化技术来保持市场竞争力[6]。在这些进步中,自主识别和抓取技术在智能制造系统中至关重要,因为它们是产品最终组装和成形的主要前提[7][8]。计算机硬件和人工智能算法(尤其是深度学习[9][10])的持续进步使机器能够理解、感知和执行复杂的工业任务。值得注意的是,已经开发了几种基于深度学习的抓取检测方法,特别是在自主抓取的背景下[11][12][13]。这些方法通常使用RGB或深度图像作为输入,采用深度卷积神经网络提取图像特征,并基于这些特征进行分类和回归以确定最终的抓取位置。基于YOLO的模型(如YOLOv7、YOLOv9和YOLOv8-OBB)在对象检测和机器人抓取任务中展示了显著的潜力。然而,它们在精确旋转角度检测和复杂工业场景中的鲁棒性仍然有限[14]。例如,YOLOv7和YOLOv9通常使用水平边界框检测方法,这使得难以准确识别目标的特定方向——这在精密多孔组装任务中尤为明显。此外,现有的旋转边界框模型(如YOLOv8-OBB)能够检测对象旋转角度,但在识别密集排列的对象时经常出现角度回归边界效应或稳定性不足的问题。这些限制会显著影响检测精度和装配过程的总体可靠性。特别是在制造生产线上,操作器不仅需要识别抓取位置,还需要识别和分类要抓取的对象[15]。目前大多数基于深度学习的抓取检测方法仅专注于检测抓取位置。尽管使用公共数据集可以实现高抓取成功率,但操作器无法识别检测到的对象类别或准确确定其位置[16]。此外,在工业环境中处理复杂或堆叠工件场景的抓取任务时,当前方法通过预测抓取置信度或直接回归来选择抓取位置,而没有考虑工件之间的相关性。这种疏忽可能导致上层工件掉落造成的损坏[17]。因此,必须设计一种能够同时执行目标检测和快速抓取的神经网络,以便在制造生产线上自主抓取工件。

然而,在实际的抓取过程中,各种因素(如光照变化、背景反射、模糊和噪声)会干扰抓取算法的检测精度。这些因素给实现所需的精度、实时性能和抓取检测的稳定性带来了重大挑战[18][19][20]。此外,大多数检测方法使用水平边界框来识别局部对象。相比之下,在抓取检测中应用了具有角度信息的定向边界框(OBB),以准确表示抓取位置。这些角度的精确预测带来了额外的挑战[21]。本研究的目的是提高先进YOLOv8n算法在制造生产环境中的装配线自主识别和准确抓取任务中的性能。引入了照明自适应变换器(IAT)来缓解模糊、反射和光照变化等问题,否则可能导致检测和定位不准确。此外,在主干网络中使用了通用高效层聚合网络(GELAN)和可编程梯度信息(PGI)架构,以减少采样过程中造成的信息损失。这些改进提高了网络抓取对象的精度和计算效率,同时加快了模型推理的速度和整体性能。此外,网络中的C2f组件被一种新的架构Cross Stage Partial Network-Partialconv(CSPPC)所替换,这显著减少了模型参数的数量并降低了网络的重量,而不影响检测精度。最后,引入了密集编码标记(DCL)来解决OBB中的角度边界问题,这是由长边定义方法引起的。这种改进进一步提高了边界框定位的精度。更具体地说,改进后的YOLOv8网络在检测和抓取过程中实现了高精度、稳定性和快速定位。实验结果表明,所提出的方法在精度和推理速度方面都表现出色。本研究的主要贡献总结如下:
(1) 设计了一种新的IAT模块,其中集成了边界反转注意力(BRA)机制。该模块利用BRA有效解决了IAT网络中频繁卷积操作导致的空间和细节信息丢失问题。它增强了图像边缘区域的区分能力,从而有效地提高了网络提取前的图像信息。
(2) 为了避免采样过程中的信息丢失,减少计算复杂性并降低推理时间,设计了一个结合GELAN和PGI架构的双主干网络。该架构确保了提取过程中的有效信息保留。同时,CSPPC取代了网络架构中的原始C2f模块,减少了大约200万个模型参数,而不影响模型精度。同时,它减少了计算负载并提高了推理速度,使其适合在移动设备或硬件规格较低的设备上部署。
(3) 在检测头中添加了一个解耦的角度预测头,以实现定向框架的准确识别,消除了OBB检测头中固有的角度边界问题,并实现了连续、精确的定位。此外,使用DCL进一步提高了边界框定位的精度。此外,根据抓取任务中实际工件的大小,对检测头进行了剪枝,仅保留了P4层输出结构。这进一步减少了网络参数和计算量,而不影响精度。

本文的其余部分组织如下:第2节进行了文献回顾,以确定研究方向的正确性。第3节描述了本研究采用的方法论。第4节详细介绍了操作器模型的制定以及用于检测抓取问题的整体架构。第5节展示了改进的IDPC-YOLOv8算法性能的验证。第6节展示了实验结果,突出了所提出方法的优越性。第7节详细讨论了所提出方法的优点、应用场景和局限性。最后,第8节提供了结论。

相关工作
本节回顾了目标识别检测和操作器吸盘抓取理论方面的相关研究,特别关注深度学习模型。

材料和数据
为了评估所提出方法在现实世界制造场景中的有效性,我们设计了基于多种销孔组装任务的代表性实验。本节介绍了实验设置、测试对象以及选择特定组装配置的合理性,以强调精确预装配抓取对齐的关键重要性。本研究的主要焦点是典型生产中多轴孔工件的检测和抓取。

IDPC-YOLOv8网络结构
当前的组装检测和抓取过程面临几个挑战,包括需要实时操作、更少的模型参数和更高的检测速度。为了解决这些问题,我们提出了一种基于改进的YOLOv8n模型的轻量级孔板检测和抓取方法。所提出的方法包含了四个主要改进和优化领域。首先,为了解决相机获取的图像中的模糊、噪声和饱和问题,我们引入了...

实验过程和分析
在这项研究中,实验分为两个主要部分:检测和抓取算法的性能评估,以及涉及孔板的抓取和组装实验。在算法性能评估实验中,评估了改进的轻量级IDPC-YOLOv8的识别和检测能力。随后,在自然环境中进行的抓取和组装实验验证了该方法是否可以实现准确、实时的...

实验设备
为了评估所提出的检测-抓取方法的有效性和设计的抓取策略的优势,使用6轴协作操作器AUBO-i5构建了一个实验装置。该装置演示了如图1所示的三销孔组装的泛化能力。实验平台包括AUBO-i5 6轴协作操作器、相关的控制盒(型号AUBO-CB-M,支持以太网、Modbus-RTU/TCP和Profinet)...

讨论
在制造组装过程中,确保抓取和识别的速度、精度和稳定性是一个主要挑战。在这项研究中,提出了一种基于IDPC-YOLOv8的超轻量级检测和抓取方法,并成功应用于多种销孔工件的组装任务。实验结果表明,所提出的方法表现出色,平均精度(AP)、精度(P)和...

结论
本研究提出了一种基于新开发的IDPC-YOLOv8框架的轻量级物体检测和考虑旋转的抓取方法,解决了多销孔组装任务中自动检测和精确抓取的技术挑战。主要贡献包括集成IAT以提高视觉效果,设计边界反转注意力机制以增强边缘稳定性,构建双主干架构以改进特征提取...

CRediT作者贡献声明
焦建军:撰写——原始草案,方法论。
李宗刚:撰写——审阅与编辑,监督,项目管理,资金获取,概念化。
夏光清:软件,资金获取。
王国平:监督。
陈印娟:验证,软件。
高瑞兵:软件,方法论。

利益冲突声明
作者声明他们没有已知的利益冲突或个人关系可能会影响本文报告的工作。本文不涉及任何非财务利益。

致谢
本工作主要得到了中国国家自然科学基金(项目编号61663020)、甘肃省教育厅工业支持计划(项目编号2022CYZC-33)、甘肃省科技厅重大联合基金(项目编号25JRRA1157)、甘肃省科技厅科技重大项目(项目编号24ZDGA014)以及国家重点实验室开放基金的支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号