六自由度姿态估计结合高效的三维高斯散点表示技术,用于视觉重新定位

《IEEE/ASME Transactions on Mechatronics》:Six-DoF Pose Estimation With Efficient 3-D Gaussian Splatting Representation for Visual Relocalization

【字体: 大 中 小 】 时间:2026年01月06日 来源:IEEE/ASME Transactions on Mechatronics 7.3

编辑推荐:

  自主系统依赖移动机器人实现探索、导航等任务,传统地图存在映射慢、内存高、可视化差的问题。本文提出基于显式3D高斯溅射(3DGS)地图的视觉-only六自由度(6DoF)姿态估计方法,通过反向传播分析3DGS参数(均值、协方差、颜色)与相机姿态的梯度关系,构建优化流程,实现低内存、快速映射和实时渲染,实验表明其效果优于基线方法。

  

摘要:

自主系统在全球范围内被越来越多地用于探索、导航、检测和自动场景感知。作为自主系统的核心载体,移动机器人需要一个基于地图的高效重新定位组件来实现实际应用。由于传统地图绘制速度慢、占用内存大且可视化效果差,3D高斯散射(3DGS)辐射场映射方法有效地解决了这些问题,并在视觉重新定位方面展现了巨大潜力。基于此,本文提出了一种仅依赖视觉信息的六自由度(6DoF)姿态估计方法,该方法基于显式的3DGS地图表示。我们的方法使机器人能够通过红绿蓝图像和预训练好的3DGS地图进行重新定位。我们深入研究了6DoF姿态与3DGS参数(包括位置均值、协方差和颜色)之间的关系,从而构建了一个从3DGS地图反向传播分析梯度的6DoF姿态优化流程。此外,我们的方法适用于各种场景的视觉重新定位,不受参数设置的限制。在实验中,我们在真实世界的室内和室外环境中进行了测试,结果显示该方法具有更快的映射速度、更低的内存消耗,并且与各种视觉重新定位基线方法相比具有相当的准确性。

引言

视觉重新定位是机器人技术和自主系统中的一个关键且基本问题,它是实现下游高级任务的基础[1]、[2]、[3]。在机器人技术中,六自由度(6DoF)姿态是衡量定位性能的常用指标。因此,如何估计6DoF姿态是一个重要问题。重新定位的姿态估计核心在于场景表示和相应的观测模型。换句话说,构建合适的地图和定义正确的观测模型是两个关键的研究方向。基于稀疏点云地图的结构化定位方法在准确性方面表现优异,但需要大量内存和较长的映射时间,且无法合成新的视图[4]。最近,神经辐射场(NeRF)[5]因其紧凑的表示方式和逼真的视图合成能力而受到研究人员的关注,适用于人机交互。以往的研究也开发了基于NeRF的重新定位地图[6],显著降低了内存消耗。然而,多层感知器(MLP)的使用限制了NeRF在现实应用中的灵活性。特别是在构建用于重新定位的NeRF地图时,我们希望地图能够灵活扩展以适应不同场景,即像点云或体素地图那样进行操作,而不受MLP容量的限制。虽然有研究尝试使用不同大小的MLP或其他方法来缓解这一问题[7],但在NeRF中似乎没有有效的方法。然而,3D高斯散射(3DGS)表示方法从根本上避免了这一问题。3DGS使用显式点来表示辐射场(RF),具有极高的灵活性。换句话说,3DGS地图理论上可以适应不同场景,且无需MLP。此外,与结构化地图相比,3DGS地图可以用较少的图像在几分钟内完成训练,并实现独特的实时渲染速度和更低的内存消耗。对于自主系统而言,快速的映射速度尤为重要,因为它直接影响定位、规划和控制等子系统的性能。因此,映射速度极大地影响了整个自主系统的响应速度。对于资源有限的自主系统来说,较小的地图尺寸也很重要,因为它可以减少内存占用。因此,在3DGS表示中实现快速映射速度和保持较小的地图尺寸是非常有意义和重要的。然而,基于3DGS的视觉重新定位仍是一项具有挑战性的任务。主要原因是目前6DoF姿态与3DGS之间的观测模型构建进展非常有限。最初的3DGS论文[8]仅提供了一个渲染模型,即3DGS参数的梯度计算方法,但无法直接应用于视觉重新定位问题,因为缺乏与可微分相机姿态的联系。为了填补这一空白,我们提出了一个扩展的可微分模型来估计相机姿态(见图1)。与原始的3DGS相比,我们的新方法实现了独特的可微分6DoF姿态估计,适用于视觉重新定位。

相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号