HRDMap:一种高效且稳健的密集激光条纹中心提取方法
《Optics & Laser Technology》:HRDMap: An efficient and robust method for dense laser stripes center extraction
【字体:
大
中
小
】
时间:2026年01月01日
来源:Optics & Laser Technology 4.6
编辑推荐:
本文提出基于水平相对距离图(HRDMap)的深度学习方法,通过单次卷积神经网络推理生成HRDMap并高效解码,解决密集激光条纹测量中的噪声和条纹干扰问题,实验验证其高精度与稳定性。
任占正|杨天|赖俊林|陈晨|刘飞
重庆大学先进装备机械传动国家重点实验室,中国重庆40044
摘要
激光条纹中心提取的准确性在决定密集激光条纹(DLS)系统三维(3-D)测量的精度方面起着决定性作用。准确性受到噪声干扰和被测表面反射特性的显著影响。激光条纹与计算效率之间的相互作用引入了额外的挑战。为了解决这些问题,本文提出了一种新的表示方法——水平相对距离图(HRDMap),该方法能够捕捉条纹强度剖面中的结构规律,并隐式传达与条纹中心定位相关的信息。这种基于物理原理的编码方式将提取任务转化为一个稳健的图像到图像的问题,确保效率和准确性都不受条纹数量的影响。我们证明了该图可以通过卷积神经网络(CNN)一次性生成,然后高效解码以获得亚像素中心。仿真和实验验证了所提出的基于HRDMap的方法的稳健性和准确性。
引言
激光三维(3-D)测量是一种高精度且稳定的非接触式测量技术,已在工业检测[1,2]、智能制造[3,4]和机器人技术[5]等多个领域得到应用。密集激光条纹(DLS)系统是最先进的激光3-D测量系统之一[6]。它由一个发射密集激光条纹的激光器和立体相机组成,具有高效和全场特性等优势[7,8]。测量原理涉及从图像中提取条纹的中心线,并通过匹配左右图像中对应的条纹中心线进行三角测量以实现3-D重建,如图1所示。因此,条纹中心提取的准确性是影响3-D测量精度的关键因素[9]。然而,在实际应用中,DLS系统经常处于非理想的测量条件下。激光条纹图像可能会受到噪声[10]的干扰,例如被测表面的反射特性、环境光和散射噪声,这些因素会破坏条纹的强度分布,使得准确提取条纹中心线变得困难。
为了提高激光条纹中心提取的准确性和稳定性,已经提出了许多方法。最广泛使用和研究的方法是基于激光条纹高斯强度分布模型的斯泰格方法[11]。该方法利用赫斯矩阵计算激光条纹的法线,然后确定沿该法线的强度分布的一阶零交叉点(FOZCP),并将其视为条纹中心。许多研究致力于提高斯泰格方法的效率、准确性和稳定性。李等人[12]将斯泰格算法分解为不同的弱耦合模块,并在FPGA上实现了高效的条纹中心提取方案。叶等人[13]优化了感兴趣区域(ROI)的提取,并采用了可分离的卷积技术来计算赫斯矩阵,实现了GPU和CPU之间的高度协作的双层异构并行计算模式。齐等人[14]从统计角度分析了卷积核大小对提取精度的影响。李等人[15]和鲍等人[16]通过准确估计条纹宽度为核大小选择提供了依据。孙等人[17]采用多尺度各向异性高斯核进行图像梯度计算,在噪声和非理想条件下显著提高了准确性和稳定性。还有一些其他方法采用非高斯峰值检测,如极值法、灰度重心法和几何中心法。然而,这些方法需要高质量的激光图像,并且稳定性有限[18]。对于DLS系统,杨等人[19]提出了一种改进的FIR滤波器非高斯峰值检测方法。该方法使用自适应大小的2D线性滤波器计算一阶导数,并将FOZCP插值作为条纹中心,实现了在DLS中的稳健和高精度提取。近年来,深度学习越来越多地应用于光学信息处理,如结构光中的相位解包[20]、计算光学中的全息图生成[21]和波前传感器中的质心定位[22]。然而,深度学习技术在激光条纹中心线提取方面的潜力仍有待进一步探索。大多数应用将深度学习用于分割激光条纹区域,从而抑制环境光、伪光和镜面反射等噪声——这些都是传统方法难以解决的挑战[[23], [24], [25]]。此外,许多研究在不同应用场景下进行了探索,如非均匀散射表面[26]、半透明光学元件[27]和高亮度金属表面[28]。但这些方法仍然是两阶段过程,仍然依赖于传统方法进行中心线提取。
最近的研究直接将深度学习应用于条纹中心线提取。考虑到输入图像是一个密集矩阵,而条纹中心分布稀疏,现有研究中的主流方法是将此任务表述为坐标回归问题,网络被训练来预测条纹中心的空间位置。例如,黄等人[29]从图像中分割出包含单个激光条纹的矩形区域,然后使用卷积神经网络(CNN)输出该区域每行的中心点。但是,提取矩形区域的方法限制了激光条纹的方向。尚等人[18]提出了LaserNet,它由一个激光区域检测子网络和一个位置优化子网络组成,前者用于确定潜在的条纹区域,后者利用这些区域的局部图像来获得精确的中心位置。这些基于回归的方法的推理过程可以看作是特征编码,然后通过线性层进行解码,然而,这些网络中的线性层可能会影响平移等变性和空间泛化能力[30]。此外,这些方法所需的推理次数取决于图像中条纹的数量,可能会带来效率问题。虽然现有方法完全基于回归,但也可以从表示的角度重新解释这一任务。条纹中心线提取与多关键点定位任务具有相似性,例如人体姿态估计,其中基于热图的方法被广泛使用[31]。基于热图的方法在关键点的高斯概率分布图(热图)上进行学习。由于关键点分布密集,这种方法不适合条纹中心提取,因为会导致热图重叠和解码模糊。然而,其计算2D输出的设计理念很有启发性:它使网络完全基于卷积,无需线性层,从而更注重局部信息,提供更强的空间泛化和准确性[32]。
上述算法主要是为单条激光条纹或多条间距较大的激光条纹设计的。对于DLS来说,其特征是条纹间距小且条纹数量多,条纹中心提取面临新的挑战。首先,由于条纹间距小,条纹之间的相互干扰会导致每个条纹的理论强度分布偏离高斯分布[19],从而影响高斯峰值检测方法的准确性。其次,条纹数量多导致条纹中心密度高,当方法需要针对每个中心点使用复杂算法时,效率会受到影响。
为了解决DLS中中心线提取的挑战,我们提出了一种基于水平相对距离图(HRDMap)的新颖中间表示方法。这种表示方法将多条纹中心提取的复杂任务转化为一个更易处理的密集到密集的图像回归问题。HRDMap以一种对条纹间干扰和噪声具有鲁棒性的方式编码条纹中心位置。关键的是,它允许通过一次高效推理过程提取图像中的所有条纹中心,然后进行简单的解码步骤,从而显著减少计算复杂性对条纹数量的依赖。为了生成HRDMap,我们使用了卷积神经网络(CNN)。选择U-Net架构[26]作为主干架构,因为它已被证明能够保持空间分辨率并提取多尺度特征[27,28]。本文的其余部分组织如下:第2节介绍了HRDMap的修改方法以及如何解码以获得条纹中心,并展示了改进的U-Net。第3节提出了关于网络改进的消融研究,通过仿真检验了条纹间距和噪声对不同方法性能的影响,并进行了多项实验来评估各种方法的准确性和稳定性。最后,第4节给出了结论和总结。
方法概述
提出的方法
为了有效应对DLS中复杂环境和非理想光条纹分布的测量场景,深度学习凭借其强大的非线性拟合能力,为条纹中心提取提供了一种有效的方法。我们提出了一种基于HRDMap的方法,使用CNN计算HRDMap,然后解码以获得条纹中心。HRDMap捕获了
系统设置
我们使用49条激光条纹和双目系统建立了DLS立体系统,如图7所示。该系统包括一个多条激光条纹和两个彩色相机。激光器设置为以大约45°的角度向水平方向发射激光线。仿真和实验是在配备Intel Core i9-7920X CPU、NVIDIA TITAN RTX GPU、CUDA 11.7、Pytorch 1.13.0和Python 3.7的系统上进行的。DLS立体系统的参数见表2。
在
结论
本文提出了一种基于深度学习的方法,用于从密集激光条纹图像中提取中心线,利用所提出的HRDMap。通过利用HRDMap,该方法能够通过一次网络推理和最少的后续处理高效确定图像中的所有中心点。HRDMap捕获了激光条纹的光强度分布模式,并以一种便于编码和解码的方式编码条纹中心。仿真结果
作者贡献声明
任占正:写作——审阅与编辑,撰写——原始草案,方法论,概念化。杨天:写作——审阅与编辑,可视化,验证,数据管理。赖俊林:监督,软件。陈晨:形式分析。刘飞:资源,项目管理,资金获取。
利益冲突声明
作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
致谢
本文得到了中国国家重点研发计划(编号:2024YFB3409800)的支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号