iLSPR:一种基于学习的场景点云配准方法,用于智能制造业中机器人的空间感知

《ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING》:iLSPR: A Learning-based Scene Point-cloud Registration method for robotic spatial awareness in intelligent manufacturing

【字体: 大 中 小 】 时间:2025年12月22日 来源:ROBOTICS AND COMPUTER-INTEGRATED MANUFACTURING 11.4

编辑推荐:

  万宇森 | 陈旭 华盛顿大学机械工程系,美国华盛顿州西雅图市东北斯蒂文斯大道3900号,邮编98195 **摘要** 智能制造的一个关键能力是机器人系统能够理解空间操作环境——即机器人能够精确识别和估计工业场景中物体的空间位置和方向。现有的场景重建方法是为一般设置设

  万宇森 | 陈旭
华盛顿大学机械工程系,美国华盛顿州西雅图市东北斯蒂文斯大道3900号,邮编98195

**摘要**
智能制造的一个关键能力是机器人系统能够理解空间操作环境——即机器人能够精确识别和估计工业场景中物体的空间位置和方向。现有的场景重建方法是为一般设置设计的,这些设置对物体的精度要求较低且数据充足。然而,制造业对物体的精度要求很高,并且数据量有限。为了解决这些挑战和限制,我们提出了一种基于学习的场景点云配准框架(iLSPR),用于自动工业场景重建。该框架利用点云表示,并整合了三项关键创新:(1)多特征鲁棒点匹配网络(MF-RPMN),它从原始数据和物体的深度特征中学习以准确对齐点云;(2)基于几何原语的数据生成(GPDG)方法,用于高效合成数据生成;(3)工业目标物体的数字模型库。在操作过程中,视觉传感器捕获场景中的点云,iLSPR方法使用预训练有GPDG生成数据的MF-RPMN来配准场景中的高保真物体模型。我们在IsaacSim中引入了一个工业场景物体点云配准(ISOPR)数据集以评估性能。实验结果表明,iLSPR在准确性和鲁棒性方面显著优于现有方法。我们还在真实的机器人制造系统中验证了该方法,证明了其对工业场景的可靠数字重建能力。

**1. 引言**
随着工业5.0的兴起和向智能制造的转型,机器人操作臂在现代工业生产中变得不可或缺,预计到2030年,工业机器人市场的复合年增长率将达到11.4% [1][2]。机器人操作臂可以执行各种任务,如精密装配、喷漆和质量检测,显示出更高的灵活性、通用性和制造效率 [1][3][4][5]。标准的工业机器人制造系统由目标工件、操作平台和一个或多个机器人操作臂组成。在操作过程中,机械臂与末端执行器协调,对连接到操作平台的目标工件执行指定过程。从机器人操作臂的角度来看,完成上述任务从根本上依赖于实时运动规划,这需要精确了解目标工件的几何形状、位置和方向,以便生成准确的轨迹并进行任务调整。在工业实践中,人类操作员通常使用预定义的任务和固定的物体位置来构建制造场景,这成为机器人运动规划的基础。这种方法受到人工干预和刚性硬件配置要求的限制。

**下载:**下载高分辨率图片(458KB)
**下载:**下载全尺寸图片

**图1.** 所提出的iLSPR方法用于精密工业场景重建和机器人制造的概述。机器人制造系统由机器人操作臂、工件(物体)、平台和RGB-D相机组成。在工作过程中,RGB-D相机捕获场景的原始点云,然后通过预定义的边界框从其中分割出物体的部分点云。接下来,iLSPR选择并在场景中配准物体的真实模型。然后重建场景,可作为机器人制造系统的空间指南。

为机器人制造系统配备更先进的主动空间感知能力的核心是基于视觉的工业场景重建概念。这种场景重建对于自动驾驶车辆感知 [6]、跨领域机器人场景理解 [7] 和室内空间映射 [8] 等领域非常重要。在这些领域,研究人员提出了各种自动场景重建方法,这些方法可以根据视觉传感器(RGB相机、深度相机、LiDAR等)捕获的空间信息动态推断场景中物体的几何和姿态信息,并在数字环境中重建高保真的虚拟场景。这些方法基于神经辐射场 [9] 和3D高斯散布 [10] 等算法开发,主要针对室内环境、民用建筑和道路场景。然而,由于一般场景和工业场景之间存在显著差异,以前用于一般场景重建的方法难以有效转移到精确的工业应用中。主要差异在于两个方面:数据收集的难度和场景重建的主要目标。对于第一个方面,一般场景重建数据集(如ScanNet [11] 和UrbanScan3D [12])分别包含250万个视图和128,000张图像。在工业场景中收集这些数据受到领域专业知识和生产线保密协议的限制。在许多混合生产、低产量的制造环境中,收集如此大量的数据可能是不可行的或成本过高。对于第二个方面,一般场景具有更大的结构复杂性,而工业场景中物体的几何复杂性更高。因此,一般场景重建方法侧重于整体场景重建,而忽视了目标物体的精确重建 [13];而在工业场景中,重建工作必须优先考虑目标物体的姿态估计和几何尺寸。因此,一般场景重建方法在工业环境中可能显示出 insufficient 的几何分辨率和局部几何不准确性。

为了解决上述挑战,我们提出了一种基于学习的场景点云配准框架(iLSPR),用于自动工业场景重建,包括多特征鲁棒点匹配网络(MF-RPMN)、基于几何原语的数据生成(GPDG)方法和目标物体的数字模型库。整个工作流程如图1所示。由于工业场景和一般场景之间存在显著差异,所提出的iLSPR方法主要关注目标工件的精确重建,而不是整体场景。我们以点云作为数据结构来构建这一流程,利用其易于获取、灵活的集成能力和高保真度。使用预定义的边界框从整个场景的点云中分割出物体点云,所提出的MF-RPMN基于多特征融合模块和鲁棒点匹配(RPM)算法来匹配物体点云和数字模型库中的点云。与仅依赖深度特征不同,所提出的MF-RPMN同时利用点云的原始输入和深度特征来估计刚性变换,这大大减少了数据依赖性,提高了对不同形状的泛化能力,并增强了 对测量噪声和变化点密度的鲁棒性。此外,该方法还可以选择物体的真实(GT)点云并估计其在场景中的位置和方向。因此,GT点云也被注册到场景中。数字模型库存储了每个生产线特定产品的真实CAD模型,这些模型也用于训练所提出的MF-RPMN。对于MF-RPMN的预训练,提出了一种GPDG方法,通过随机组合几何原语的点云来生成合成零件点云,从而绕过了繁琐的数据收集过程。iLSPR的结果、重建的场景和目标的几何信息对于各种下游任务(如质量检测、喷漆和表面抛光)非常有用。

**为了验证所提出方法的有效性和优越性,我们在NVIDIA Isaac Sim模拟器上进行了仿真实验。我们在Isaac Sim中构建了一个机器人制造场景,收集机械零件的CAD模型,并捕获场景的点云以构建工业场景物体点云配准(ISOPR)数据集。ISOPR数据集包含67种常见工件模型在工业场景中的2000个部分点云,以及它们的GT位置和方向。**实验结果表明,与现有方法和基线方法相比,所提出的方法在位置和方向估计方面具有更高的准确性,基准测试得分中的平移平均绝对误差(MAE-t)为0.004,旋转平均绝对误差(MAE-r)为0.297(例如比RPMNet好20.0%和25.2%)。此外,我们还构建了一个硬件原型并在真实世界中实施了所提出的iLSPR方法。实验结果表明,所提出的方法能够准确选择并将真实点云注册到场景中,有效地实现了精确的场景重建。**

**我们的主要贡献总结如下:**
(1)我们开发了一种基于点云的场景重建方法,适用于智能制造环境,可以消除对大规模数据集的依赖和推理结果的形式错误。
(2)我们通过结合多特征引导网络 [14] 和鲁棒点匹配算法 [15] 的特征,建立了一个多特征鲁棒点匹配网络,其点云匹配准确性和鲁棒性高于其他点云配准方法(例如比RPMNet好20.0%)。
(3)我们创建了一种基于几何原语的数据生成方法,可以从几个几何原语生成合成零件点云,用于预训练MF-RPMN。
(4)我们在各种环境中进行了广泛实验,包括重建精度测试和应用评估。精度实验表明,所提出的方法优于现有方法,而应用测试证明了其在重建工业场景方面的有效性。

**本文的其余部分组织如下。第2节描述了背景和相关工作。第3节介绍了所提出的iLSPR方法。第4节介绍了ISOPR数据集的实验。第5节介绍了实际应用实验。第6节总结了本文并讨论了未来的工作。**

**2. 先前的工作**
**2.1. 场景重建**
一般场景重建旨在从一组RGB图像和RGBD图像重建场景的3D表示,如点云、体素和网格,这些在同时定位与映射(SLAM)中得到了广泛应用。传统方法包含三个主要步骤:(1)估计每张图像的相机姿态;(2)根据相机的姿态从每张图像重建场景的空间结构表示;(3)整合多个空间结构表示以创建全局3D表示并完成表面重建。现有的方法,如结构从头到尾(SfM)和多视图立体(MVS),已经在该领域取得了显著进展,包括Open Multiple View Geometry库(OpenMVG)[16] 和COLMAP [17]。

**随着深度学习的发展,基于神经辐射场(NeRF)[9] 的端到端场景重建方法已成为主流,可以直接从输入中推断场景表示。NeRF将场景表示为连续的体积密度和颜色场,并通过使用可微分渲染器实现高质量的细节。基于NeRF的Hi-Map将场景表示为分层特征网格,并从RGB输入中实现高保真的场景重建 [18]。一种基于多层感知器的方法,Implicity Mapping and Positioning(IMAP),可以从RGB-D相机实现实时场景重建 [19]。对于点云输入,Point-SLAM将NeRF场景表示的特征锚定在以数据驱动方式生成的点云中 [20]。**

由于NeRF需要大量的计算资源,研究人员引入了3D高斯散布(3DGS)[21],通过利用数百万个3D高斯模型实现了更高的渲染速度和效率。GS-SLAM通过使用自适应的3D高斯扩展策略将3DGS引入场景重建,通过粗略到精细的策略微调相机姿态 [21]。Gaussian-SLAM提出了一种基于3DGS的增量3D场景重建方法,适用于RGB-D相机,并通过引入优化的相机跟踪在重建微小物体方面表现出色 [22]。另一方面,Gaussian-SLAM使用单个RGBD相机和3D高斯分布实现实时渲染,并通过将场景划分为子图 [23]。**

**虽然这些方法在多个领域表现出色,但几个挑战阻碍了它们在精确工业应用中的采用。首先,大多数方法需要在大型标注数据集上进行训练,这既耗时又需要专业知识,而且在工业场景中收集这些数据可能不符合要求。此外,这些方法侧重于整体场景重建,而忽视了目标物体的精确重建。**

**2.2. 点云匹配**
点云匹配旨在通过找到两个点云之间的刚性变换来匹配它们。一个常见的方法是找到需要匹配的点云之间的对应点对,并使用奇异值分解来估计刚性变换。迭代最近点(Iterative Closest Point)是一种基于此理念的最具代表性的方法,它包含基于遍历的最近点搜索来找到两个点云中点之间的对应关系,以及一种迭代方法来解决刚性变换问题[24]。深度最近点(Deep Closest Point)扩展了这种方法,并利用深度学习提取特征以搜索对应的点对[25]。在此基础上,深度最佳伙伴(Deep Best Buddies)提出了一种准确寻找最近点的算法[26]。多特征引导网络(Multi-Features Guide Network)结合了一个关键点选择模块来识别点云之间的重叠区域,并利用形状特征和空间坐标来计算最终的匹配矩阵,从而提高了匹配精度[14]。在许多情况下,很难找到严格的点对点对应关系。因此,鲁棒点匹配(Robust Point Matching)方法使用一个软匹配矩阵来替代刚性匹配矩阵[15]。在鲁棒点匹配中,点的对应坐标是几个对应点的加权平均值。鲁棒点匹配网络(Robust Point Matching Network)扩展了这种方法,并使用深度学习模型来预测退火参数并估计软匹配矩阵[27]。此外,一些研究人员使用深度学习模型直接估计刚性变换,而不是预测匹配矩阵。PointNetLK[28]利用PointNet[29]作为骨干来提取全局特征,并结合Lucas-Kanade(LK)算法来估计刚性变换。后续的工作通过PointNetLK-revisited[30]进一步提高了泛化性能。同时,其他研究人员还探索了将基于学习和基于对应关系的方法结合起来。图匹配共识网络(Graph Matching Consensus Network)引入了一个变换鲁棒点变换器模块来适应性地提取结构关系的局部特征,并结合分层图形建模架构来编码每个点的描述[31]。为了找到可靠的重叠表示,RORNet使用双分支结构结合了基于相似性和基于得分的重叠估计方法的优点,这些方法对噪声更加鲁棒[32]。上述方法在标准化数据集(如ModelNet40[33])上表现出色,其中点云来自真实的CAD模型。然而,在工业场景中应用这些方法时面临挑战,因为实际上需要将这些传感器捕获的部分点云与CAD模型中的GT点云对齐。

3. 提出的基于学习的场景点配准方法
如上所述,提出的基于学习的场景点配准框架(iLSPR)用于自动工业场景重建,包括一个多特征鲁棒点匹配网络(MF-RPMN)、基于几何原语的数据生成(GPDG)和目标对象的数字模型库。图2解释了提出的iLSPR方法的总体工作流程。首先,视觉传感器捕获整个场景的原始点云,包括目标对象和周围环境。其次,使用预定义的边界框将对象点云与整个场景的点云分开,因为在工厂环境中,背景(非操作区域)和前景(操作区域)通常可以清晰区分,并且工件通常位于预定义的操作区域内。然后,训练有素的MF-RPMN逐个将部分点云与数字模型库中的完整点云进行粗略匹配。如果粗略匹配成功,则整个点云被选为目标对象的真实点云。接下来,MF-RPMN精确匹配部分点云和真实(GT)点云,并输出GT点云与部分点云之间的变换,从而可以获得目标对象在场景中的位置和方向。 thereby,我们将GT点云注册在场景中,并在数字空间中重建整个场景,为机械臂的后续操作提供空间认知。

3.1 MF-RPMN模型
图3展示了所提出的MF-RPMN的结构。为了匹配部分点云和潜在的GT点云,MF-RPMN借鉴了多特征引导网络[14]和鲁棒点匹配网络[27]的成果,包括一个关键点选择模块、一个特征提取模块和一个多特征变换检测模块。关键点选择模块可以处理现实世界环境中变化的点云密度,多特征变换检测器可以提高矩阵估计的鲁棒性。总体而言,工作流程通过匹配检测到的点云和GT点云来输出目标对象在场景中的估计位置和方向。

3.1.1 问题构建和主要解决方案结构
我们的目标是估计观测到的点云(源点云)X={xi∈R3|i=1,2,…,I}与潜在GT点云(参考点云)Y={yj∈R3|j=1,2,…,J}之间的刚性变换{R,t},其中R∈SO(3)是旋转矩阵,t∈R3是平移向量。

源点云可以通过可逆操作RX+t与参考点云对齐。因为这两组点云来自不同的方法(具体来说是深度相机和CAD模型),我们的目标是实现两者之间的整体对齐,而不是点与点之间的一一对应。因此,我们定义了一个软匹配矩阵M={mij∈{0,1}|i=1,2,…,I,j=1,2,…,J}来表示点对应的分配。mij值越高,xi和yj之间的匹配程度就越大。

点匹配方法的数学目标是找到最佳刚性变换{R,t}和M,以最小化对应关系之间的匹配误差,如方程(1)所示:(1) argmin_R,t,M ∑j=1_J ∑i=1_I mij‖Rxi+t?yj‖2?α,其中?i, ∑i=1_I mij=1,且?j, ∑j=1_J mij=1;α是一个异常值参数,用于控制被拒绝为异常值的对应关系的数量。传统方法首先估计匹配矩阵M,然后根据估计的匹配矩阵通过奇异值分解(SVD)计算刚性变换。鲁棒点步进(RPM)算法通过以下方式初始化软匹配矩阵Ms:(2) mij=e^(-β)‖Rxi+t?yj‖2?α,其中β是控制匹配“柔软度”的参数,α是手动选择的。由于上述指数函数在β→∞时收敛到0或1,RPM算法在每次迭代中手动增加β时使用梯度?∑j=1_J ∑i=1_I mij‖Rxi+t?yj‖2?α?Ms逐步更新匹配矩阵Ms。

尽管之前有过尝试,但在存在复杂点云特征、数据有限和高精度要求的情况下,如何将α、β、M、R和t作为一个整体获得仍然不清楚。MF-RPMN采用了RPM框架并结合深度学习进行模型学习。为了估计输入X和Y之间的刚性变换{R,t},我们采用了一个迭代细化过程(图3)。每次迭代的输入是源点云X和参考点云Y,输出是刚性变换{Rk,tk}。首先,输入X将通过Xk=Rk?1X+tk?1进行变换,其中{Rk?1,tk?1}是上一次迭代的输出。然后,Xk和Y被输入到特征提取模块(3.1.2)中以提取深度特征FXk和FYk、异常值参数α和退火参数β。由于Xk和Y只是部分重叠,我们使用关键点选择模块来评分并选择X和Y的关键点,分别表示为X?k和Y?k,以及相应的特征FX?k和FY?k。接下来,使用选定的X?k、Y?k、FX?k和FY?k以及估计的α和β在多特征变换检测模块(3.1.3)中估计软匹配矩阵MSk。这里,“多特征”是指我们同时使用深度特征和原始坐标来计算软匹配矩阵MSk——与仅关注原始坐标的传统方法不同。通过学习深度特征并引入基于特征的点云匹配,所提出的MF-RPMN显著提高了对异构形状的适应性和对原始数据异常值的鲁棒性。最后,X?k、Y?k和MSk用于计算当前迭代的刚性变换{Rk,tk},这将是当前迭代的输出,也会在下一次迭代中使用。

在第一次迭代时,直接从X和Y获得刚性变换{R1,t1}。直观上,通过{R1,t1}变换后的X2比X更接近Y,从而可以更准确地计算匹配矩阵MS2和刚性变换{R2,t2]。然后,{R2,t2}用于下一次迭代以获得更精细的刚性变换{R3,t3}。这种精细化过程会迭代进行。这些模块的详细信息将在下一小节中介绍。

3.1.2 特征提取模块
对于特征提取,我们利用最近邻搜索来提取局部特征,然后通过深度学习模型提取深度特征。对于Xk中的每个点xik,我们搜索l个(例如本工作中的64个)最近邻点来构建点集N(xik)。对于N(xik)中的每个xck,通过方程(3)构建原始特征向量fi,ck:(3) fik,ck = xik, Δxi,ck, PPF(xik,xck),其中Δxi,ck = xck?xik,点对特征(PPF)[34]定义为PPF(xik,xck) = ∠nik, Δxi,ck, ∠nck, Δxi,ck, ∠nik,nck, ‖Δxi,ck‖2,其中nik和nck是点xik和xck的法线方向。在计算过程中,将Nxik中每个xck的所有fi,ck堆叠起来得到xik的原始特征fik∈Rn×10,将所有fik堆叠起来得到xik的原始特征fXk∈Ri×n×10。然后,我们使用特征提取卷积神经网络(CNN)gθ来提取输入原始特征的深度特征:FXk=gθfXk。同样的方法也应用于Y来获得FYk。

在获得深度特征后,我们使用关键点选择CNN从FXk和FYk中计算X和Y中每个点的得分。然后,得分最高的点分别被选为关键点X?k和Y?k,相应的特征分别为FX?k和FY?k。同时,我们使用参数估计CNN来估计异常值参数α和退火计划β。这里,Xk和Yk被合并成一个J+K,3矩阵作为输入,输出是α和β的值。图4显示了所有CNN的结构。对于本文中的数据,特征提取CNN包含三个2D卷积层、一个Maxpooling层和两个1D卷积层;关键点选择CNN使用三个1D卷积层;参数估计CNN包含四个1D卷积层、一个Maxpooling层和三个全连接层。

上述过程提供了深度特征FX?k和FY?k以及参数α和β的值。这些值随后用于估计软匹配矩阵,这在下一小节中介绍。

3.1.3 多特征变换检测器
为了计算软匹配矩阵,我们同时利用特征距离和坐标距离。在特征距离矩阵MFk中,我们通过欧几里得距离获得每个矩阵元素mij:(4) mij=‖Fxik?Fyjk‖2,其中xi∈X?k和yj∈Y?k。在坐标距离矩阵Mck中,类似地我们通过(5)获得每个元素mij:(5) mij=‖xi?yj‖2,其中xi∈X?k和yj∈Y?k。然后,多特征距离矩阵Mmk可以通过MFk和Mck的加权平均得到,如方程(6)所示:(6) Mmk=MFk+λMck,其中λ是一个参数,用于平衡MF和Mc的值。例如,对于本文中的对象,我们设置λ=0.0001,并可以根据实验结果减少或增加,以便更多地关注深度特征或原始坐标数据。

接下来,可以通过逐元素指数运算获得软匹配矩阵MSk:(7) MSk=e^(-β)Mmk?α。与方程(2)相比,我们使用学习到的多特征距离Mmk来替代空间距离‖Rxi+t?yj‖2,这样可以利用深度特征的相似性来提高性能。MSk中每个元素mij的值反映了X?k中的xi与Y?k中的yj之间的对应关系。因此,我们可以通过MSk的加权平均计算X?k中每个点xi的对应坐标y?i:(8) y?i=1/∑i=1_N mij ∑i=1_I mij?yi,其中yj∈Y?k和mij∈MSk。在获得相应的坐标后,我们使用SVD来计算刚性变换[24]。我们构建两个矩阵X?=x1T,x2T,…,xnT∈R3×n和Y?=y?1T,y?2T,…,y?nT∈R3×n来计算H=X?Y?T。在SVD H=UΣVT之后,可以通过Rk=VUT和tk=1/n∑j=1n y?i?1/n∑i=1n Rkxi得到输出{Rk,tk}。3.1.4. 损失函数为了训练模型,我们基于鲁棒点匹配网络[27]和多特征引导网络[14]的工作,设计了包含三个部分的损失函数:关键点选择损失、预测损失和软匹配损失。主要的损失函数是预测损失,它通过计算使用{Rgt,tgt}和{Rpred,tpred}变换的点云之间的平均距离来衡量GT变换和预测变换之间的差异。数值上,可以表示为:(9)Lpred=1/N∑n=1N‖Rpredxn+tpred?Rgtxn+tgt‖2其中xn∈X。至于关键点选择模块,由于缺乏关键点的注释,我们遵循文献[35]中的方法进行训练:(10)Lkeypoint=1/N∑i=1N si?∑j=1Nmij log(mij2)其中s(i)是点xi的显著性分数,∑j=1Nmij log(mij)是匹配矩阵中元素的熵。这个损失函数背后的原理是关键点倾向于有更严格的匹配,这导致熵值更低。此外,为了鼓励模型关注更广泛的点,我们利用软匹配矩阵损失来使模型将更多点标记为内点:(11)Lmatrix=?1/n∑i=1n∑j=1n mij?1/n∑j=1n∑i=1n mij其中mij∈Ms。因此,总的损失函数是上述三种损失的加权平均值:(12)Lall=Lpred+γkLkeypoint+γmLmatrix其中γk和γm是超参数,用于平衡各种损失的价值。根据实验结果和文献[27],我们通常设置γk=0.01和γm=0.001。3.2. 模型训练和基于几何原语的数据生成方法在应用之前,我们需要在来自GPDG方法的合成点云上预训练所提出的MF-RPMN,并在数字模型库中的CAD模型的真实点云上进行微调。下载:下载高分辨率图像(528KB)下载:下载全尺寸图像图5. 所提出的GPDG方法的数据生成过程。GPDG使用一组几何原语生成合成零件点云,这些原语基于工程设计原则,即机械部件通常是通过CAD操作(如布尔并集、减法和交集)应用于几何原语(如棱镜、金字塔、圆柱体、圆锥体和球体)来构建的。更具体地说,如图6所示,GPDG中使用的几何原语包括:三角形、四边形、五边形、六边形、七边形和八边形棱镜和金字塔,以及圆柱体、圆锥体和球体。在工业应用中,这些几何原语是通常由参数化建模(具有例如长度、半径和角度的数值)定义的基础形状,并作为构建复杂机械部件的构建块。所提出的GPDG包括以下关键步骤:(i) 随机选择4~8个可再现的几何原语;(ii) 对每个选定的模型应用一个随机缩放变换,范围在[0.5,2]之间;(iii) 从修改后的模型中提取高真度点云,点数等于1024;(iv) 对于每个点云,随机选择一个核心点并保留其周围的256个最近点;(v) 对分段点云应用任意的刚性变换(旋转和平移);(vi) 将分段和变换后的点云合并成一个点云;(vii) 对最终点云进行下采样,点数等于1024;(viii) 向最终点云添加高斯噪声(标准差为0.01,最大值为0.05)。通过这种方式,构建了一个合成工件点云。该过程如图5所示。与收集CAD模型和构建训练数据集相比,这种方法可以高效地生成大量合成工件点云。真实的零件点云来自数字模型库中的CAD模型,该库存储了每条生产线的工件GT模型。图6显示了一些CAD模型的示例。接下来,将点云归一化到-1.0,1.0的范围,并估计点的法向量。在训练过程中,整个点云作为源点云X。对于每个源点云,通过最近点采样获得一个部分点云X′,并通过随机生成的刚性变换{Rgt,tgt}进行变换,以获得参考点云Y=RgtX′+tgt。每个用于模型训练的样本包括源点云X和相应的参考点云Y以及GT变换{Rgt,tgt}。下载:下载高分辨率图像(365KB)下载:下载全尺寸图像图6。(a) 示例几何原语,包括旋转体、棱镜等。(b) 数字模型库中的示例CAD模型,涉及外壳、连接器、支撑件等。4. 仿真验证在本节中,我们通过多个实验评估所提出的方法iLSPR。首先,我们介绍了一个工业场景对象点云配准(ISOPR)数据集。然后,我们使用第3.2节描述的方法训练MF-RPMN。随后,我们对ISOPR进行广泛评估,以验证iLSPR与其他点云配准方法的表现。此外,我们在ModelNet40 [33]上进行了消融研究,以检验MF-RPMN的贡献。4.1. 工业场景对象点云配准数据集虽然有大型数据集(ModelNet40 [33]、ABC [36]等)用于基准测试,但它们缺乏真实深度相机采样的仿真,使得以往文献中的实验公式不适用于此。为了解决这个问题,我们使用NVIDIA Isaac Sim构建了ISOPR数据集,NVIDIA Isaac Sim是在NVIDIA Omniverse框架上开发的机器人仿真平台。ISOPR利用Isaac Sim的能力来实现物理上准确的虚拟环境,用于机器人开发、测试和AI模型训练,它可以仿真深度相机并生成真实感的点云。图7显示了ISOPR数据集的数据收集过程。机器人制造场景包括一个Universal Robot Arm UR10、一个半封闭的矩形平台、固定在平台上的深度相机以及工件(对象)。在ISOPR中,深度相机的分辨率为640 × 480像素,水平视场为30°。工件是从数字模型库中选取的,并从互联网上获取的。图6显示了一些示例工件,包括各种连接器、支撑件和外壳。数据收集包括以下关键步骤:(i) 将数字模型库中的工件随机放置在-0.2m,0.2m范围内;(ii) 将工件随机旋转-45.0°,45.0°;(iii) 用深度相机捕获整个场景的点云;(iv) 通过预定义的边界框对点云进行分割,以获得工件的点云;(v) 通过体素化对点云进行下采样,每个样本的分辨率从{50,100,200,500,1000,2000}中选择,以使点数超过1024,同时尽可能保持接近,因为之前的工作是基于大约1024个点的点云开发的。最终,我们获得了2000个用于测试的样本。数字模型库和ISOPR数据集已在GitHub仓库中发布(https://github.com/macs-lab/iLSPR-inspection)。下载:下载高分辨率图像(368KB)下载:下载全尺寸图像图7. IsaacSim中ISOPR数据集的数据收集过程。下载:下载高分辨率图像(377KB)下载:下载全尺寸图像图8. ISOPR数据集中的工件分割部分点云。4.2. 实验公式我们基于Python编写所有代码,并在NVIDIA RTX 4090 GPU和Intel 14900 K CPU上运行所有实验,CPU频率为6.0 GHz,操作系统为Ubuntu 22.04。我们使用Adam优化器,学习率为0.001。模型在合成零件点云上预训练200个周期,然后在真实零件点云上微调500个周期, batch大小为16。这个实验包括三个步骤:预训练、训练和评估。在预训练步骤中,我们使用包含20,000个使用GPDG方法生成的样本的合成数据集。每个样本包含一个具有1024个点的合成零件的点云,坐标归一化到-1.0,1.0的范围。随后估计每个点的法向量。在训练步骤中,我们使用包含从数字模型库中的CAD模型捕获的10,000个样本的真实数据集。数字模型库用于存储收集的67个CAD模型。在评估步骤中,我们使用在IsaacSim模拟器中收集的ISOPR数据集。为了证明所提出方法的优越性,我们将其与手工制作的点云配准方法(包括ICP [24]、Small_GICP [37])和基于学习的点云配准方法(包括TEASER [38]、PointNetLK [28]、PointNetLK-revisited [30]、RPMNet [27]、MFGNet [14]、MCLNet [39]和RORNet [32])进行比较。所有基于学习的方法都在真实零件点上进行了训练,并根据文献和开源代码中的公式在工业场景数据集上进行了评估。为了评估配准结果,我们采用了既考虑几何形状又常用的指标。对于旋转,我们使用旋转矩阵之间的角度距离(AD)、欧拉角的后均方根误差(RMSE-r)和欧拉角的平均绝对误差(MAE-r)作为旋转的指标。对于平移,我们计算平移向量的RMSE和MAE,分别标记为RMSE-t和MAE-t。在这些指标中,RMSE-r、MAE-r、RMSE-t和MAE-t在点云配准的文献[27]、[32]、[39]中经常使用;选择AD是因为它在机器人领域更为熟悉。预测旋转矩阵Rpred和GT旋转矩阵Rgt之间的AD定义为:(13)AD=arccos(Trace(RpredTRgt)^(-1/2),这是一个表示旋转预测误差的角度(以度为单位)。为了计算RMSE-r和MAE-r,我们将Rpred和Rgt转换为以“zyx”顺序的欧拉角,即Θpred?euler(Rpred)=(θ1,θ2,θ3)和Θgt?euler(Rgt)=(θ?1,θ?2,θ?3)。然后,我们通过RMSE-r=‖Θpred?Θ?gt‖^(1/2)和MAE-r=‖Θpred?Θ?gt‖^(1/3)来计算角度误差。对于预测平移向量tpred=(t1,t2,t3)和GT平移向量tpred=(t?1,t2,t?3)之间的RMSE-t和MAE-t,可以通过RMSE-r=‖tgt?t?gt‖^(1/2)和MAE-r=‖tpred?t?gt‖^(1/3)来计算。由于所有点云都归一化到[-1,1]的范围,因此这里的平移误差(RMSE-t和MAE-t)不表示绝对值,而是由目标对象的大小缩放的相对值,没有单位。这些指标的值越低,预测结果与真实结果之间的差异就越小,表明性能越好。计算每个单独样本的指标后,通过对所有样本的平均值得到整个数据集的最终结果。4.3. 实验结果表1显示了在ISOPR数据集上的实验结果。iLSPR在所有评估指标中都实现了更高的配准精度。这些结果表明,平均旋转预测误差低于0.7 AD度,平移误差低于目标对象最大尺寸的0.2%。因此,所提出的方法可以以显著的低误差匹配检测到的点云和GT点云。图9展示了几个匹配结果的示例。下载:下载高分辨率图像(774KB)下载:下载全尺寸图像图9. iLSPR的匹配结果示例,包括外壳、连接器、支撑件等。左侧列显示配准前的点云,右侧列显示对齐后的点云。对于现有的方法,RPMNet在目标应用中实现了最佳的匹配精度,旋转的AD = 0.857,RMSE-r = 0.536,MAE-r = 0.397,位置的RMSE-t = 0.007,MAE-t = 0.005,其次是TEASER++和MCLNet,分别位于第二和第三位。与现有方法相比,iLSPR展示了更高的配准精度和更低的匹配误差,并且在ISOPR数据集上的表现优于其他方法。总体而言,基于学习的方法(RPMnet、MCLNet等)相比传统方法(ICP和Small_GICP)表现更佳。表1. iLSPR和现有方法在ISOPR数据集上的实验结果。粗体字体表示所提出的方法。红色字体突出显示了每个指标中的最佳结果。此外,我们仅在没有预训练的情况下在真实数据上训练iLSPR,以展示MF-RPMN和GPDG的效率。如表1的最后两行所示,没有预训练的iLSPR也在ISOPR数据集上取得了有竞争力的结果,超过了现有方法,并验证了MF-RPMN的有效性。另外,通过比较有无预训练的iLSPR的结果,观察到该方法在预训练后表现出更好的性能,这验证了所提出的GPDG方法的有效性。如表1所示,表现最好的方法iLSPR和RPMNet都使用了RPM算法,该算法优先考虑全局概率对应关系而不是精确的点对点匹配。在ISOPR数据集中,由于传感器噪声和领域差异,深度传感器捕获的部分点云与从CAD模型生成的GT点云具有不同的分布,这使得精确的点级对齐变得困难。RPM框架通过软 correspondence和优化全局一致性来解决这个问题,从而使两种方法在数据条件不完美的情况下仍能保持强大的性能。此外,每种方法的平均计算时间列在表1中。目前,计算速度最快的方法是MCLNet,每帧仅需0.011秒。所提出的方法需要0.014秒,虽然比MCLNet和RPMNet慢,但比其他所有方法都要快。这表明,与现有技术相比,所提出的方法在计算效率上仍然具有竞争力。实际上,现有的深度相机以10-60 FPS(即每帧0.016秒-0.1秒)的速度捕获场景点云。因此,iLSPR可以满足实际应用的快速需求。

4.4. 消融实验
为了验证核心模块MF-RPMN的效率,我们还在一个通用的点云配准数据集ModelNet40 [33] 上进行了实验,该数据集被广泛使用,并包含来自40个类别的12,311个样本。训练集包含9,843个样本,测试集包含2,468个样本。源点云和参考点云的分割是按照第3.1节中介绍的方法进行的。所有方法都在前20个类别的样本上进行训练,并根据文献中的设置对其他类别进行测试。在训练过程中,按照之前的工作[14],[27]中的方法向点云中添加高斯噪声。表2显示了消融实验的结果。尽管在完全不同且更通用的数据集上进行训练,所提出的MF-RPMN仍然在现有方法中表现出了竞争力。对于旋转任务,所提出的方法优于大多数其他方法,除了MCLNet,MCLNet的RMSE-r为2.311,MAE-r为0.807,是当前最好的方法。对于平移任务,所提出的iLSPR也表现出色,并且与其他方法相当。由于整体位置误差很小,因此微小的差异不会显著影响整体匹配效果。因此,所提出的方法在通用数据集ModelNet40上表现出令人满意的性能,并取得了与最先进点云配准算法相当的综合指标。实验结果验证了MF-RPMN的优越性和必要性。

表2. 在ModelNet40数据集上的消融实验结果。“?”表示文献中未给出该值。粗体字表示所提出的方法。红色字体突出显示了最佳结果。

方法 RMSE-r (°) MAE-r (°) RMSE-t MAE-t
ICP [24] 34.27 25.63 0.29 40.250
FGR [40] 8.72 1.86 0.017 0.005
PointNetLK [28] 19.94 9.08 0.057 0.032
PointNetLK-revisited [30] 3.35 0–0.031–
RPMNet [27] 2.85 71.06 20.021 0.009
MFGNet [14] 3.56 1.52 0.019 0.008
MCLNet [39] RORNet [32] 3.05 61.81 10.015 0.012
MF-RPMN 2.71 90.95 10.020 0.008

4.5. 讨论
在本节中,我们在Isaac Sim模拟器中构建了一个机器人制造场景,并收集了ISOPR数据集,以验证我们提出的iLSPR方法的有效性。实验结果表明,iLSPR方法在注册场景中物体的GT点云时,在位置和旋转精度方面都达到了最先进的水平。此外,在ModelNet40数据集上进行的消融研究证明了关键模块MF-RPMN的通用性和广泛的应用性,其精度也达到了最先进水平。

5. 实际应用
这项研究最初来源于一个机器人制造项目,该项目包含一个机器人操作臂和一个感知系统。我们将iLSPR集成到感知系统中,以重建制造场景并为机器人操作臂提供空间意识。实验表明,iLSPR能够准确地将GT点云注册到实际场景中。

5.1. 目标应用的背景
该项目旨在开发一个自动化的机器人制造系统,该系统利用机器人臂执行多种制造任务(如表面缺陷检测、部件组装等),目前重点是表面缺陷检测。如图10所示,系统包括目标工件、平台、光源、机器人臂和感知系统。感知系统包含一个框架、深度相机和所提出的iLSPR方法。核心工作流程包括:(1)目标工件的姿态估计和制造场景重建;(2)基于重建的场景生成下游任务轨迹;(3)机器人控制。本研究特别解决了与场景重建和工件定位相关的主要挑战,并为机器人臂提供了空间意识,从而实现了后续的路径规划。机器人臂既是研究的起点,也是应用背景:感知系统使机器人臂能够精确识别和估计制造场景中工件的空间位置和方向,而机器人平台则需要我们开发的空间意识解决方案。

5.2. 实验设计
虽然我们的研究起源于机器人臂,但它不依赖于特定的机器人臂模型,也不涉及机器人操作。因此,在这个实验中,我们仅评估了物体定位的准确性,没有包括机器人臂的使用。
我们使用Intel RealSense D405深度相机作为视觉传感器。这款轻量级的立体相机具有7-50厘米的理想测量范围和87°×58°的视场角,可以生成深度和RGB帧。深度和RGB帧的分辨率为848×480,帧率为30 FPS,深度精度在50厘米时为±2%。
如图10所示,我们将深度相机安装在一个固定在光学台上的定制铝制结构上。目标对象包括从第4节构建的数字模型库中选取的3D打印模型。深度相机通过USB 3.0连接到笔记本电脑。为了保持真实环境,我们保留了工作空间中的背景杂乱(光源和机器人臂),而不是创建一个人工清洁的测试环境。
在软件方面,我们使用Python包pyrealsense2处理所有点云和来自深度相机API的数据,以及Intel RealSense Viewer v2.54.2。然后,在相同的计算基础设施上预训练、训练并实现MF-RPMN(配备了RTX4090 GPU、6.0 GHz Intel 14900K CPU和Ubuntu 22.04系统)。
实验程序包括以下步骤:首先,我们将对象随机放置在深度相机下方,然后捕获场景的同步深度RGB帧。接下来,使用相机的内参将深度帧映射到RGB帧,以计算场景的点云。之后,我们应用预定义的边界框将检测到的对象点云从场景中分离出来。

5.3. 实验结果
表3显示了在实际数据上的实验结果。与其他方法相比,iLSPR在所有指标上都表现出更好的性能。实验结果表明,平均旋转预测误差低于2.7度,平移误差不到目标对象最大尺寸的1.4%。因此,iLSPR可以以较低的误差将GT模型注册到场景中。图12展示了几个成功的注册结果示例。

与ISOPR数据集上的实验结果相比,所有方法的配准精度都有所下降,而iLSPR的性能下降最小。实验结果表明,所提出的方法在从模拟环境过渡到实际环境时表现出更好的鲁棒性。与RPMNet相比,关键点选择模块和多特征变换检测器增强了iLSPR的鲁棒性。
就计算时间而言,基于学习的方法(如RPMNet、iLSPR和MCLNet)的计算时间与ISOPR数据集上的计算时间相同,而TEASER++的计算时间则慢得多。因为基于学习的方法的计算速度主要取决于点的数量和神经网络架构,而不是点云的内容,这些因素对传统方法的收敛时间有很大影响。

5.4. 场景重建结果可视化
图11展示了详细的实际场景重建过程。在这里,我们将一个壳体随机放置在深度相机下方。由于物体的物理尺寸较大,深度相机只能捕捉到其顶部表面的点云,而无法捕捉到其他表面。此外,由于深度相机的噪声,即使根据GT模型预期应该是平面的表面,在场景点云中也出现了不平整的情况,导致点云不完整且粗糙。

为了测试工作流的性能边界,图13展示了几个不成功的示例。失败的主要原因是D405深度相机在实际环境中捕获的点云中存在过多的噪声。这种噪声会导致捕获的点云在大小和形状上与GT模型显著偏离。如图13所示,虽然GT模型保持了完美的直角表面交点,但噪声点云显示出扭曲的几何形状。同样,GT模型中应该是球形的物体在捕获的数据中显示为不规则的形状。这些几何差异超出了注册算法的容忍阈值,导致注册失败。

图12展示了一些成功的场景重建示例。左列显示了场景的RGM图像,右列显示了重建后的场景。在将GT点云注册到场景后,我们得到了一个完整的对象点云,其中没有之前的错误。值得注意的是,注册后的GT点云并没有完全覆盖所有空白区域,因为物体遮挡了相机的视野,导致空间间隙大于物体的实际尺寸。这种注册过程有效地用完整的GT数据补充了不完整的对象点云,为下游任务提供了更高精度的场景。图12还展示了涉及壳体、支撑件和连接器的其他成功重建示例。
为了测试工作流的性能极限,图13展示了一些不成功的示例。失败的主要原因是D405深度相机在实际环境中捕获的点云中存在过多的噪声。这些噪声引入了显著的几何畸变,导致捕获的点云在大小和形状上与GT模型有很大偏差。如图13所示,虽然GT模型保持了完美的直角表面交点,但噪声点云显示出扭曲的几何形状。同样,GT模型中应该是球形的物体在捕获的数据中显示为不规则形状。这些几何差异超出了注册算法的容忍阈值,导致注册失败。

由于D405是立体深度相机,它通过比较两个单独RGB相机捕获的两个RGB帧来计算深度图。因此,在工业场景中常见的实心颜色物体给D405在准确计算物体与相机之间的距离带来了挑战,导致捕获的点云中噪声过多。我们发现手动为物体添加纹理可以有效减少噪声,但在工业生产环境中实现这一点比较困难。其他类型的深度相机(例如基于结构光的深度相机)和点云去噪方法有望解决这个问题。

6. 结论和未来工作
我们开发了一种场景点注册方法,以实现适用于工业空间感知的自动场景重建。所提出的方法称为iLSPR,包括三个关键组件:多特征鲁棒点匹配网络(MF-RPMN)、基于几何原语的数据生成(GPDG)方法和目标对象的数字模型库。iLSPR自主识别场景中物体的真实(GT)模型,并通过利用MF-RPMN将检测到的点云与数字库中的相应GT模型进行匹配来估计其姿态——位置和方向。此外,GPDG从几何原语合成训练数据以预训练MF-RPMN,即使在有限的实际数据下也能提高其有效性。与现有的通用场景重建方法相比,iLSPR从原始数据和深度特征中学习,消除了对大规模数据集的需求,同时实现了高精度的对象级重建——使其特别适用于对准确性和效率要求很高的工业应用。
为了评估所提出的iLSPR方法,我们使用Isaac Sim模拟器构建了ISOPR数据集并进行了广泛的实验。结果表明,与传统方法相比,iLSPR的匹配误差显著降低。对于旋转估计,iLSPR的RMSE-r为0.403,MAE-r为0.297,优于RPMNet的RMSE-r 0.536和MAE-r 0.397。在对ModelNet40数据集进行的消融研究中,进一步凸显了MF-RPMN的竞争力,其匹配误差低于大多数基线模型。此外,我们通过在原型机器人制造系统中实现iLSPR来验证其在实际应用中的有效性,该系统成功完成了高精度的点云配准和精确的场景重建。展望未来,有几个有前景的研究方向:首先,尽管在训练过程中已经加入了高斯噪声,但处理来自深度相机的更复杂、更真实的噪声特性可能会进一步提高MF-RPMN的鲁棒性;其次,利用基于学习的点云分割方法(如OneFormer3D [41])来替代预定义的边界框,将显著增强我们方法的灵活性;第三,可以通过模拟到现实的迁移学习来缓解该方法在实际应用中的性能下降问题。

CRediT作者贡献声明:
Yusen Wan:撰写 – 审查与编辑、撰写 – 原稿、可视化、软件实现、方法论设计、数据分析、概念化、形式化分析。
Xu Chen:撰写 – 审查与编辑、数据分析、监督、概念化与分析、项目管理。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号