基于WeldKP-Net与边缘分析的线性钢构件焊接关键点识别与定位
《Expert Systems with Applications》:Identification and positioning of welding keypoints for linear steel components based on WeldKP-Net and edge analysis
【字体:
大
中
小
】
时间:2026年07月17日
来源:Expert Systems with Applications 9.4
编辑推荐:
玄空|林志飞|唐浩|易金鑫•本文提出了一种轻量级的WeldKP-Net,用于空间结构复杂的部件的多关键点识别。•该两阶段框架能有效降低2D标注误差在3D空间中的放大效应。•即便在存在锈蚀、反光以及无规则噪声的恶劣环境中,仍能实现可靠的检测。引言焊接作为钢结构的主要连接方式,直接影
玄空|林志飞|唐浩|易金鑫•本文提出了一种轻量级的WeldKP-Net,用于空间结构复杂的部件的多关键点识别。•该两阶段框架能有效降低2D标注误差在3D空间中的放大效应。•即便在存在锈蚀、反光以及无规则噪声的恶劣环境中,仍能实现可靠的检测。引言焊接作为钢结构的主要连接方式,直接影响结构的制造质量以及其性能与安全性。在现代制造业中,工件正从简单的平面结构逐渐发展为高度复杂的设计,比如增材制造中的铝/钢双金属自由形构件(Huang等人,2026年),以及需要优化机械性能的先进奥氏体钢(Yuan等人,2025年)。这种结构和材料复杂性的提升,对自动化焊接系统的适应能力和精度提出了更严格的要求。目前,手工焊接存在效率低、工作环境恶劣以及劳动力老龄化等问题,导致熟练焊工持续短缺。随着自动化和机器人技术的快速发展,焊接机器人已广泛应用于各类工业领域。早期的焊接机器人主要依靠示教回放和离线编程技术来确定不同工件的具体焊接路径和参数。这种模式适用于大量生产一致性高的工件,但难以满足空间结构复杂工件的实时操作需求(Li等人,2017年)。要克服这些空间限制,不仅需要高度灵活的机器人平台(Qi等人,2024年),还需要具备自适应的环境感知能力。因此,研究人员为提升焊接机器人的智能性和适应性,引入了多种传感技术,包括基于接触式的坐标测量机(CMM)(Cho等人,2005年),以及非接触式传感器,如电弧传感器(Le等人,2017年)、声学传感器(Ren等人,2021年)和视觉传感器(Wang等人,2024年,Chang等人,2012年,Xu等人,2023年,Luo等人,2024年)。其中,视觉传感器具有非接触操作、信息丰富且精度高等优点,使得基于视觉的系统在智能焊接应用中具备更高的通用性和适应性。因此,视觉感知技术已被广泛应用于焊前定位、焊缝检测(Yi等人,2026年)、焊缝跟踪(Rout等人,2019年,Xu等人,2012年)以及焊接缺陷检测(Yang等人,2021年,Kim等人,2022年,Dung等人,2019年)等领域。在基于视觉的智能焊接技术中(Wang等人,2020年,Lee和Han,2024年),精确识别焊接关键点,包括起始点和结束点,对于实现精细的工艺控制至关重要。准确定位起始点可确保电弧启动和预热在正确位置进行,从而避免对基材造成损伤。同样,精确检测结束点则能保证诸如电弧终止和熔坑填充等关键收尾操作的顺利进行,防止出现末端裂纹。因此,准确识别焊接关键点直接关系到焊接质量、工艺稳定性以及自动化效率,是实现高精度智能焊接的核心技术要素。根据视觉传感器对光源的依赖程度,关键点识别与定位方法可分为被动视觉技术和主动视觉技术(Xu和Wang,2021年)。被动视觉技术依靠提取边缘和角点等几何特征来定位焊缝。以往的研究采用了多种图像处理算法,包括哈里斯角点检测(Kong等人,2007年,Wei等人,2010年)、坎尼边缘检测(Kiddee等人,2014年)以及霍夫变换(Wei等人,2012年,Dinham和Fang,2014年),用以确定焊接关键点。然而,这些被动方法容易受到环境干扰的影响,比如光照变化和表面锈蚀,而且往往计算复杂度较高,对相机视角有严格要求,限制了其在实时应用中的可靠性。为提升焊接过程中关键点定位的可靠性和效率,研究人员探索了多种基于主动视觉的识别方法。Shah等人(Shah等人,2018年)在工作台上方增设了绿色辅助光源以辅助图像采集。在对图像进行预处理并去除噪声后,提取出边缘区域点,再通过计算焊缝边缘的最大值、最小值和平均值等参数来确定不同类型焊缝的关键点位置。不过,噪声干扰和光照不均等问题会降低局部阈值分割的效果,进而影响关键点识别的准确性。激光视觉传感器则利用激光投影仪在工件表面投射特定图案(Yu等人,2024年,Zou等人,2022年,Lei等人,2020年,Zhang等人,2013年),通过分析激光线条的形态变化和特征差异来识别焊接关键点。Zhang等人(Zhang等人,2018年)利用激光视觉传感器扫描目标表面,获取三维点云数据用于重建,同时结合基于KD树的背景建模和RANSAC算法来确定角焊的起始点。Fan等人(Fan等人,2018年)设计了一种集成窄带光学滤光片和LED的激光视觉传感器。他们使用RANSAC算法对焊缝和激光条纹进行拟合,以两条拟合线的交点作为焊接关键点,再通过分析Z轴坐标的变化来定位焊点起始位置。Ma等人(Ma等人,2021年)通过图像预处理提取感兴趣区域,分析不同类型焊缝对应的激光条纹形状变化,以此识别焊接关键点。Liu等人(Liu等人,2023年)则利用交叉条纹图案提取技术识别工件边缘点,再结合平行激光条纹来实现焊接关键点的识别。尽管这些方法提升了关键点检测的准确性,但它们通常依赖于预先编程好的工件扫描路径,这限制了其实时性能和应用效率。为满足智能焊接系统日益增长的实时性要求,研究人员越来越多地采用基于深度学习和计算机视觉的方法来实现高效自动化的关键点提取(Yang等人,2021年)。早期的模板匹配方法(Chen等人,2006年,Wang等人,2016年)是通过将拍摄的图像与预定义的模板进行比对,选择相似度最高的区域作为后续处理的识别结果,从而确定焊点起始位置。然而,这类方法的准确性极易受图像亮度、大小、视角和噪声等因素的影响,而且模板获取和匹配处理过程繁琐且效率低下。随着深度学习技术的不断进步,人们提出了多种改进策略(Wang等人,2025年,Xia等人,2025年),以弥补传统方法的不足。Li等人(Li等人,2023年)提出了一种经过注意力增强的YOLOv5网络,该网络利用深度相机数据确定工件中心的空间坐标,从而引导激光传感器对准中心区域。不过,这种方法仍存在模型参数过多的问题,且后续的起始点和结束点识别仍依赖于激光扫描。Ye等人(Ye等人,2024年)开发了WIPL-Net,这是一种用于焊点起始点定位的网络,它通过通道注意力和增强型特征融合来获取关键点坐标。Ma等人(Ma等人,2024年)推出了WeldNet,可用于自动分类焊缝类型并提取起始点,为机器人提供引导。虽然这种方法提高了识别效率,但它将边界框的几何中心视为关键点,这本质上限制了像素级的精度,且严重依赖人工标注的质量。而Li等人(Li和Zheng,2023年)提出的将YOLOv3与激光视觉相结合的两阶段方法虽然能实现高精度识别,但由于需要切换传感器并移动机器人,导致操作效率较低。综上所述,目前针对复杂三维部件的焊接关键点识别研究仍面临若干重大挑战。首先,现有研究大多集中在平面或简单结构上的焊接关键点识别,针对空间结构复杂部件的多关键点识别研究较少,这阻碍了该技术在工业领域的广泛应用。其次,深度学习方法的识别精度会受到整体像素级偏差的影响,而这些偏差既源于人工标注的局限性,也源于网络模型的回归偏差。在3D空间映射过程中,由于几何敏感性,这些初始的2D偏差会被大幅放大,进而严重影响后续焊接轨迹规划的精度和稳定性。最后,在复杂的工业环境中,工件表面的反光、锈蚀和氧化现象,以及工作区域内存在无关工具或部件,都使得现有方法难以在这些恶劣条件下实现可靠准确的关键点检测。为解决上述问题,本研究提出了一种专为线性钢构件设计的兩阶段关键点定位方法。本研究的主要贡献如下:1)为满足高效多关键点识别的需求,本研究开发了一种轻量级网络WeldKP-Net,用于具有多条线性焊缝的部件的焊接关键点识别。该网络能够快速实现像素级多关键点的初步识别,并且在复杂的工业环境中展现出较强的适应性。2)本研究还设计了一种精确的焊接关键点定位方法。该方法以WeldKP-Net得到的初步识别结果为依据,结合多种图像处理算法,有效提升了在工件表面反光、锈蚀和氧化等复杂噪声干扰下的关键点定位精度。本文的后续结构如下:第2节介绍焊接测试平台及关键点识别框架;第3节至第5节详细阐述所提出的两阶段关键点识别方法;第6节通过实验验证该方法的有效性与实用性;第7节总结研究内容并探讨未来研究方向。章节节选系统配置与方法框架本节详细描述了智能焊接系统的实验平台,并介绍了针对具有多条焊缝的线性钢构件的关键点识别框架。数据采集与增强为在具有多条焊缝的复杂焊接场景下高效识别关键点,构建多样且高质量的训练数据集至关重要。最初,研究人员使用配备3D结构光相机的6自由度协作机器人来拍摄焊接工件的多视角图像。为确保模型能够在复杂的工业环境中泛化,随后采用了系统化的数据增强策略,其中包括空间上的精细定位。焊接关键点的精细定位由于人工标注的固有局限性和深度学习模型的回归偏差,这种初步识别网络输出的坐标存在一定误差。为进一步提升定位精度,本研究提出了一种基于多阶段图像处理的关键词点细化方法。该方法能有效抑制由光照反射和材料纹理引起的复杂噪声干扰,实现关键点位置的精准校正。三维坐标转换为使焊接机器人实现精确的自主引导,需将图像处理得到的关键点的二维像素坐标转换为机器人作业空间内的三维物理坐标。本节介绍了一种基于3D结构光相机获取焊接关键点空间坐标的方法。最初,3D相机拍摄待焊接工件的图像,同时获取相应的……实验验证为验证所提出的焊接关键点定位方法在复杂工业环境中的准确性与可靠性,研究人员对三种不同类型的工件进行了测试。本节主要内容包括实验设置、WeldKP-Net网络性能的对比分析,以及关键点提取精度的验证。结论本研究通过提出一种将深度学习网络与边缘分析相结合的两阶段协同识别方法,解决了在复杂工业场景下精确识别线性钢构件焊接关键点的技术难题。通过系统的实验验证,得出以下主要结论:(1) 本研究提出了一种轻量级的神经网络WeldKP-Net,用于焊接关键点的初步识别,该方法实现了高效……利益冲突声明作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。致谢本研究得到了国家自然科学基金(项目编号52578362)、岳麓山工业创新中心项目(项目编号2025YCII0116)以及湖南省研究生科学研究创新项目(项目编号CX20250606)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号