《Scientific Reports》:An instance-aware segmentation and optical flow based DVI-SLAM for dynamic environments
编辑推荐:
同时定位与地图构建(Simultaneous Localisation and Mapping, SLAM)是无标记增强现实(Augmented Reality, AR)系统的基础构建模块。然而,大多数传统SLAM系统在非结构化环境中的动态物体影响下,在实时环
同时定位与地图构建(Simultaneous Localisation and Mapping, SLAM)是无标记增强现实(Augmented Reality, AR)系统的基础构建模块。然而,大多数传统SLAM系统在非结构化环境中的动态物体影响下,在实时环境中表现出较差的性能。研究人员提出了一种称为DVI-SLAM的新型动态视觉惯性SLAM(Dynamic Visual Inertial SLAM)系统,以应对复杂城市场景中存在的动态内容带来的挑战。该系统利用实例感知分割和光流方法,能够检测并在跟踪过程中排除主动移动的物体。除了从姿态估计过程中排除移动物体的特征外,该系统还能检测、跟踪并生成周围环境的静态地图。这有助于开发一个鲁棒的AR系统或移动机器人系统,以有效处理复杂的户外城市场景。所提出的DVI-SLAM框架在TUM RGB-D和TUM-VI数据集以及真实世界环境中进行了测试。结果表明,与ORB-SLAM3相比,在TUM-VI数据集的单目惯性和双目惯性序列上,绝对轨迹误差(Absolute Trajectory Error, ATE)的均方根误差(Root Mean Square Error, RMSE)分别提高了24.80%和32.34%。同样,在实时环境的实时单目和RGB-D惯性序列上,分别实现了高达64.89%和73.75%的改进。此外,对于包含大量动态内容的序列,如TUM-RGBD动态数据集,ATE RMSE的改进高达99.4%。结果表明,与最先进的ORB-SLAM3方法相比,DVI-SLAM显著提高了绝对轨迹误差精度。广泛的实验评估表明,DVI-SLAM在静态和动态场景中均表现鲁棒,在静态和低动态场景中保持有竞争力的性能,同时在高度动态环境中实现了显著改进。
**论文解读:基于实例感知分割与光流的动态环境DVI-SLAM系统**
**研究背景与问题**
增强现实(Augmented Reality, AR)系统的核心要求是实现虚拟内容与物理环境的精确配准,以提供稳定和沉浸式的用户体验。这一配准过程高度依赖于对用户头部或AR设备摄像头的六自由度(6-Degrees-of-Freedom, 6-DoF)姿态的精确估计。当前的无标记AR系统主要依赖于同时定位与地图构建(Simultaneous Localisation and Mapping, SLAM)算法来实时连续估计相机姿态并增量式重建周围环境的表示。
SLAM框架通过在先前构建的地图中定位当前帧来执行姿态估计,这通常通过特征提取以及传入图像帧与存储的关键帧或地图点之间的匹配来实现。因此,姿态估计的鲁棒性和精度高度依赖于特征对应关系的质量和几何一致性。然而,动态物体(如移动的行人或车辆)的存在引入了非静态的特征观测,这违反了大多数SLAM算法所基于的静态世界假设。与动态实体相关的特征可能被错误地纳入数据关联过程,导致跨帧的不一致对应关系。因此,这些动态特征可能被误认为是有效的跟踪测量值,从而导致错误的姿态更新。这降低了定位精度,增加了估计的不确定性,并可能导致重建地图的漂移。在AR应用中,这种漂移表现为虚拟内容的错位,虚拟物体似乎随着动态场景元素移动,而不是锚定在静态环境中。同样,在移动机器人领域,重建的地图可能错误地沿着动态物体的轨迹演化,而不是反映机器人的真实运动。
近年来,SLAM和基于深度学习的语义感知物体分割领域取得了显著进展。作为一个先进的研究领域,已经开发了许多视觉惯性SLAM系统,实现了厘米级的定位精度,并能够实时创建大规模三维地图。最先进的视觉惯性SLAM技术在室内场景中可以实现令人印象深刻的跟踪和定位结果。然而,这些方法依赖于特定的假设,例如静态环境、平滑的相机运动以及高效的场景几何或纹理以实现可靠的跟踪。由于静态世界假设,上述标准SLAM系统的精度在高度动态环境中会大大降低,以至于结果可能变得完全不可靠。尽管最近提出了几种SLAM系统(如DS-SLAM、Detect-SLAM、MaskFusion、Dynamic-SLAM、SEG-SLAM、DI-SLAM和NGD-SLAM)来有效处理动态场景内容,但这些方法严重依赖语义分割技术来检测和移除动态物体,并且几何验证有限。语义分割中的错误分类或有噪的光流估计可能导致特征错误地拒绝或保留,直接影响姿态估计精度。
因此,在动态场景中实现鲁棒的跟踪和地图构建性能仍然是一个未解决的挑战。本研究旨在解决动态物体对SLAM系统性能的负面影响问题,特别是在复杂城市场景中,动态内容会导致特征误匹配、姿态估计漂移和地图不一致,从而影响AR和机器人应用的可靠性。
**研究内容与结论**
本研究提出了一种名为DVI-SLAM的新型动态视觉惯性SLAM系统,以应对动态环境中的挑战。该系统以最先进的ORB-SLAM3为基础框架,并进行了关键扩展。主要贡献包括:提出了一种新的视觉惯性系统构建方法,通过集成最新的网格运动统计(Grid-based Motion Statistics, GMS)特征匹配算法来提升ORB-SLAM3在动态环境中的跟踪系统性能;系统采用Mask R-CNN(Region-based Convolutional Neural Network)语义感知物体分割来检测帧内的动态物体,并将其与光流方法相结合以精确识别非静态内容场景;此外,利用特征点选择器来消除当前场景中的动态物体。研究结论表明,所提出的DVI-SLAM系统在动态环境中相比ORB-SLAM3在绝对轨迹误差精度上实现了显著提升,在TUM-VI数据集的单目惯性和双目惯性序列上,ATE RMSE改进分别高达24.80%和32.34%,在真实环境序列上改进高达64.89%(单目)和73.75%(RGB-D惯性),在高度动态的TUM-RGBD动态数据集上改进高达99.4%。这证明了DVI-SLAM能够有效减少动态物体对姿态估计的负面影响,在保持静态和低动态场景竞争性能的同时,在高度动态环境中提供显著更优的鲁棒性和准确性。该研究成果发表在《Scientific Reports》期刊上。
**关键技术方法**
研究人员为开展研究采用了几个关键技术方法。首先,以ORB-SLAM3作为基础SLAM框架,该系统支持单目、双目和RGB-D相机,并集成了视觉惯性功能。其次,引入了网格运动统计(GMS)特征匹配算法,替代传统的暴力匹配,以提高在复杂场景中特征匹配的鲁棒性和准确性,通过网格统计模型过滤错误匹配。第三,采用了基于Mask R-CNN的实例感知语义分割模型,该模型在微软COCO(Common Objects in Context)数据集上训练,能够对输入图像进行像素级分割,识别出80个类别中的潜在可移动物体(如人、车辆等),并为每个检测到的物体生成二进制掩码。第四,集成了基于稀疏光流的运动分析,具体使用Lucas-Kanade(LK)算法来跟踪特征点在连续帧间的运动,并结合单应性(Homography)估计来补偿相机自身运动,通过计算帧间差异来识别独立运动的区域。最后,设计了一个动态关键点检测与剔除策略,该策略结合了语义分割结果和光流运动分析,通过设定阈值(如动态点占物体掩码内点的比例超过50%)来综合判断物体是否真正在运动,并将判定为动态的物体内的所有特征点从后续姿态估计中剔除。实验评估使用了TUM RGB-D数据集、TUM-VI数据集以及研究人员在真实大学校园环境中采集的包含室内外场景的实时数据集。
**研究结果**
* **系统设计与概述**:DVI-SLAM系统在ORB-SLAM3骨架上新增了动态内容检测等模块。系统包含跟踪、动态内容检测、局部建图、闭环检测、地图融合和全局光束法平差(Bundle Adjustment, BA)六个模块。传感器输入同时由跟踪线程和语义分割线程处理。跟踪线程首先提取GMS特征并进行粗略运动一致性评估,然后等待动态内容检测模块提供带有像素级语义标签的图像。接收到结果后,剔除被识别为动态物体内部及之前标记为潜在异常值的GMS特征点,最后利用剩余的稳定特征点计算变换矩阵。
* **特征匹配增强**:集成GMS特征匹配算法以增强原始ORB-SLAM3。GMS利用暴力匹配(Brute Force, BF)获得初始匹配对,然后通过网格运动统计模型滤除错误匹配,即使在复杂场景下也能产生鲁棒的正确匹配。
* **基于Mask R-CNN的物体分割**:使用Mask R-CNN模型进行像素级实例感知语义分割,检测动态物体。该网络在COCO数据集上训练,研究人员从中选择了20个可能在实时场景中移动的物体类别。对于每个输入帧,网络输出一个维度为x × y × l的矩阵,其中l是检测到的物体数量,并为每个物体生成一个二进制掩码。位于这些掩码区域内的特征点被视为不可靠,需进一步通过运动一致性验证。
* **动态关键点检测**:
* **光流估计**:采用Kanade-Lucas-Tomasi(KLT)特征跟踪器(或称Good Features to Track, GFTT)方法在当前帧检测稀疏特征点,然后使用Lucas-Kanade(LK)稀疏光流算法跟踪这些特征点到后续帧,计算其位移。
* **单应性估计与运动区域提取**:计算连续帧之间的单应性矩阵以建模相机运动。通过将前一帧和后一帧根据估计的单应性变换到当前帧的坐标系,然后分别与当前帧做绝对差,再对两个差分图进行逻辑或操作,得到强调运动特征的区域D
t。
* **动态物体分类**:一个物体被分类为动态需满足两个条件之一:1) 其语义标签属于预定义的高移动性类别(如人、动物),则直接视为动态;2) 其语义标签属于可移动类别(如椅子、汽车等),则仅当该物体掩码内被光流方法判定为动态的点数N
D(O)超过阈值(如50%)时才被视为动态。
* **异常值剔除**:结合语义分割结果和运动特征检测,建立了一个两层的语义知识框架。如果一个分割出的物体被分类为正在移动,则其轮廓内的所有关键点都被归类为异常值并丢弃。如果检测到人或车辆,则使用运动特征检测结果判断其是否运动,静态则直接用于姿态预测,动态则先剔除其轮廓内的所有GMS特征点。
* **实验评估结果**:
* **在TUM数据集上的评估**:在TUM RGB-D数据集的高动态序列(如行走序列)上,DVI-SLAM相比ORB-SLAM3实现了显著性能提升,ATE RMSE和标准差(Standard Deviation, SD)的改进最高分别达到99.01%和98.18%。在低动态序列(如坐姿序列)上,由于ORB-SLAM3本身表现良好,改进有限。ATE曲线图直观显示DVI-SLAM的误差显著降低。
* **在TUM视觉惯性数据集上的评估**:在TUM-VI数据集的户外序列上,对于单目惯性配置,DVI-SLAM在ATE RMSE和SD上的改进最高分别达到24.80%和43.62%;对于双目惯性配置,改进最高分别达到32.34%和48.74%。
* **在真实世界条件下的评估**:使用ZED相机在真实大学校园的室内外场景中采集数据并进行测试。在单目配置下,户外序列的ATE RMSE和SD改进最高分别达到64.89%和83.12%。在RGB-D惯性配置下,改进最高分别达到73.75%和91.07%。室内序列由于动态内容较少,改进相对较小。
* **运行时间分析**:在指定的CPU-GPU硬件配置上,DVI-SLAM的平均帧率为31 FPS(Frames Per Second),平均每帧处理时间为0.0324秒,而ORB-SLAM3为0.01352秒,时间比约为2.39。额外的计算成本主要来自动态内容处理模块,但换来了在高度动态环境中鲁棒性和精度的大幅提升。语义分割模块是计算最密集的部分,但可以通过嵌入式AI平台和模型优化技术实现部署。
**讨论与结论总结**
讨论部分指出,尽管DVI-SLAM在动态环境中表现出改进的精度,但仍存在一些局限性。首先,系统在低光照条件下面临挑战,因为光照不足会影响可靠的特征提取和匹配。其次,运动模糊会显著影响性能。在AR应用中,相机在户外移动时可能由于身体的突然运动而快速移动,这种快速且不可预测的相机旋转可能引入严重的运动模糊,从而降低光流估计和特征跟踪的质量,可能导致在高度动态情况下暂时丢失跟踪或系统突然失效。
在当前实现中,研究人员使用Mask R-CNN进行实例分割,这提供了精确的物体掩码,但引入了相对较高的计算开销。因此,未来一个有价值的研究方向是结合更轻量、更快的分割网络,在不牺牲准确性的情况下开发一个更高效、完全实时的DVI-SLAM版本。
研究人员总结的研究结论是:在这项工作中,研究人员提出了一种实时动态视觉惯性SLAM(DVI-SLAM)系统,该系统可以减少动态物体对姿态估计的影响。首先,应用光流方法来检测场景中的动态内容。之后,采用Mask R-CNN语义分割方法来检测动态内容的精确异常值。然后,将GMS特征应用于场景中剩余的静态内容。这有助于鲁棒地识别动态点。所提出系统针对动态移动内容的性能使用TUM RGB视觉惯性数据集中具有挑战性的动态序列进行了评估。此外,该系统在复杂的实时情况下进行了测试,以评估其实用性。结果表明,与ORB-SLAM3相比,DVI-SLAM在ATE的均方根误差方面显示出显著改进。此外,所提出的系统在各种实时复杂场景中提供了更鲁棒的结果,例如更低的ATE值,证明了其对实时应用的适应性。