基于被动双目视觉的多特征LLE-SVR在线检测焊接偏移方法

《Optics & Laser Technology》:Multi-feature LLE-SVR online detection of weld offset based on passive binocular

【字体: 大 中 小 】 时间:2026年01月02日 来源:Optics & Laser Technology 4.6

编辑推荐:

  本文提出基于多特征融合与机器学习的实时视觉焊缝偏移检测框架,通过混合Canny-Sobel算法提取熔池轮廓并建立深度与流动特征描述,结合LLE-SVR模型实现多道冷金属过渡焊接中高精度偏移检测(误差0.0541mm,降低30%-65%)。

  
国家极端环境光电子动态测试技术与仪器重点实验室,南京理工大学,南京210094,中国

摘要

在多道次冷金属转移(CMT)焊接和电弧增材制造(WAAM)过程中,累积的热变形会导致沉积路径与预定轨迹产生显著偏差,严重影响几何精度,并对实时机器人控制构成重大挑战。本文提出了一种基于视觉的实时焊接偏移估计框架,该框架采用多特征融合和机器学习技术。开发了一种混合Canny-Sobel算法,从被动捕获的双目图像中提取熔池轮廓。经过极线校正后,对左右视图进行轮廓点匹配。然后将相应的3D信息提取为两个紧凑的一维特征描述符:一个深度特征用于编码表面倾斜和不对称性,另一个流动特征用于表征平面内的形态动态。这种紧凑的表示方法能够捕捉熔池的基本3D状态。建立了一个集成回归模型,结合了局部线性嵌入(LLE)进行降维和支持向量回归(SVR)。实验结果表明,特征融合的准确率为0.0541毫米,与仅使用深度或流动特征相比,误差分别减少了30%和65%。所提出的方法证明了将原始3D传感数据提取为更高阶特征能够实现准确高效的偏移检测,为工业焊接和增材制造应用中的实时监测提供了可行的解决方案。

引言

工业4.0的兴起加速了智能制造的采用,其中机器人焊接发挥了关键作用。机器人焊接是智能制造的重要组成部分,已成为提高生产效率和焊接质量的关键因素[1]。由于冷金属转移(CMT)焊接技术的优势,如低热输入和异常稳定的电弧特性,它已被应用于汽车工业、航空航天工业和造船工业等多个领域[[2], [3], [4], [5]]。
CMT焊接是在电信号周期控制下的间歇性送丝和液滴形成过程。除了简单的焊接外,这一过程也是电弧增材制造(WAAM)多层沉积的基石。在多道次焊接和WAAM中,一个关键问题出现了:实际沉积路径与预编程轨迹发生偏差。这种偏差主要是由于连续沉积过程中的累积热变形引起的,导致工件严重变形[6]。在WAAM中,这个问题尤为严重,因为涉及大量层次,即使每层的微小误差也会累积,导致最终组件的几何精度严重失真。因此,使机器人系统能够自主感知并实时纠正这种偏差是智能焊接和增材制造中的关键研究挑战[7]。在本研究中,焊接偏移被定义为实际沉积焊缝中心线与预定义编程轨迹之间的横向偏差,该偏差垂直于焊接行进方向测量。它以毫米为单位的欧几里得距离表示,即焊缝中心线与理想路径上对应点之间的距离。
实时焊接过程监测主要通过视觉、声学和电压传感技术实现,其中视觉传感成为焊接质量评估的主要方式。这是由于其非接触操作、高精度、丰富的信息容量和强大的抗干扰能力[[8], [9], [10]]。视觉传感器根据是否需要辅助照明分为主动式和被动式系统。被动式视觉系统利用环境和电弧光,由于成本效益高、操作简单以及实时成像性能好而受到重视[[11], [12], [13]]。例如,结合850纳米高通滤光片和660纳米带通滤光片的多光谱被动成像系统已被证明可以捕获高清晰度的熔池图像,并具有增强的信噪比[14]。双摄像头配置进一步实现了对前后焊缝的同时监测,通过深度学习增强的图像处理实现了96.35%的准确率[15]。还开发了先进的三光束视觉架构,能够在单个成像帧内获取多方向熔池数据[16]。
传统的焊接状态控制策略依赖于简化的1D或2D熔池表面特征。然而,这些方法对于多道次焊接场景来说是不够的,因为在这些场景中,累积的热应力、微观结构演变和复杂的流体动力学需要全面的三维熔池表征。熔池分析的3D重建技术大致分为结构光投影、基于阴影的形状恢复(SFS)和双目立体视觉方法[17]。结合偏振3D重建和线性激光成像的结构光系统通过激光条纹坐标分析实现了0.25毫米的定位精度[18],但其工业应用受到设备复杂性和严格校准要求的限制。基于单目SFS的方法实现了被动3D表面重建,但存在计算强度和环境敏感性的问题[19]。最近在被动立体视觉方面的进展包括带有金字塔立体匹配网络的双棱镜增强系统,实现了99.7%的穿透检测精度[20],以及优化了双目配置,减少了电弧干扰,表面重建误差小于6.0%[21]。虽然被动3D重建在成本效益和适应性方面优于主动方法,但其性能仍易受环境光变化和图像噪声的影响。
支持向量回归(SVR)由于其在高维空间处理和泛化能力方面的出色表现而被广泛用于焊接质量检测[[22], [23], [24], [25]]。比较研究表明,当与网格搜索优化结合使用时,SVR在检测背面焊缝宽度方面能够达到与多层感知器网络相当的准确率[26]。该算法在多种焊接应用中也表现出有效性,包括检测接头的抗拉强度[27]和建模不同金属焊接中的残余应力[28]。最近的扩展包括参数驱动的激光焊接质量检测模型,其性能优于人工神经网络和高斯过程回归器[29]。尽管取得了这些进展,但SVR在多道次焊接中的动态焊接偏移检测应用仍较少探索,特别是在需要融合时空熔池特征的场景中。
因此,为了检测CMT多道次焊接中的焊接偏移,本文提出了一种基于被动双目视觉的多特征LLE-SVR焊接偏移检测方法。主要贡献包括:(1)用于稳健边缘检测的混合Canny-Sobel算法;(2)来自被动双目视觉的深度和流动特征的新颖融合;(3)用于多道次焊接偏移检测的优化LLE-SVR模型。第2节介绍了被动双目视觉系统和实验设置。第3节描述了所提出的方法,包括特征提取、降维和LLE-SVR检测模型。第4节展示了实验结果和分析。第5节总结了本文并讨论了未来的研究方向。

部分摘录

被动双目系统

本研究中建立的双目立体视觉系统使用左右摄像头同时从不同角度拍摄的两张图像,基于视差原理恢复原始熔池边缘的3D几何信息。图1是该实验的双目立体系统示意图。如图1(b)所示,两个CMOS摄像头的光学中心之间的距离是基线距离T,摄像头坐标系的原点位于

方法论

本章提出的方法论框架的主要目标是开发一个实时焊接偏移检测模型。这种方法基于这样一个原则:熔池的动态三维形态和流动行为是其周围热机械条件的高度敏感指标。

实验设置和数据收集

SVR是一种典型的机器学习回归算法。输入是一维深度信息和质心流动特征,输出变量是多道次焊接的动态焊接偏移。为了全面评估测试结果,选择平均绝对误差(MAE)作为检测性能的评估指标。
提取的熔池图像在基准时间相对于焊接偏移的变化尺度精确到小数点后三位

结论

本研究提出了一种基于视觉的高精度检测多道次CMT焊接中焊缝偏移的新框架。该方法基于特征工程策略,将原始立体数据转换为紧凑的、物理上有根据的描述符。主要贡献有四点:首先,开发了一种混合Canny-Sobel算法,在具有挑战性的电弧焊接条件下稳健地提取熔池轮廓。其次,开发了一维深度分布特征

CRediT作者贡献声明

Peng Gao:撰写 – 审稿与编辑,撰写 – 原始草稿,软件,方法论,数据管理,概念化。Yue Deng:撰写 – 原始草稿,软件,方法论,形式分析,数据管理,概念化。Swee Leong Sing:撰写 – 审稿与编辑,监督,方法论,数据管理,概念化。Jing Han:撰写 – 审稿与编辑,项目管理,方法论,资金获取,概念化。Lianfa Bai:撰写 – 审稿与编辑,项目

利益冲突声明

作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

致谢

本工作得到了国家自然科学基金(编号:U23A20283, 62271263, 62427803)、江苏省自然科学基金(编号:BK20232038)以及江苏省重点研发计划(编号:BE2022391)的支持。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号