
-
生物通官微
陪你抓住生命科技
跳动的脉搏
六自由度姿态估计结合高效的三维高斯散点表示技术,用于视觉重新定位
《IEEE/ASME Transactions on Mechatronics》:Six-DoF Pose Estimation With Efficient 3-D Gaussian Splatting Representation for Visual Relocalization
【字体: 大 中 小 】 时间:2026年01月06日 来源:IEEE/ASME Transactions on Mechatronics 7.3
编辑推荐:
自主系统依赖移动机器人实现探索、导航等任务,传统地图存在映射慢、内存高、可视化差的问题。本文提出基于显式3D高斯溅射(3DGS)地图的视觉-only六自由度(6DoF)姿态估计方法,通过反向传播分析3DGS参数(均值、协方差、颜色)与相机姿态的梯度关系,构建优化流程,实现低内存、快速映射和实时渲染,实验表明其效果优于基线方法。
视觉重新定位是机器人技术和自主系统中的一个关键且基本问题,它是实现下游高级任务的基础[1]、[2]、[3]。在机器人技术中,六自由度(6DoF)姿态是衡量定位性能的常用指标。因此,如何估计6DoF姿态是一个重要问题。重新定位的姿态估计核心在于场景表示和相应的观测模型。换句话说,构建合适的地图和定义正确的观测模型是两个关键的研究方向。基于稀疏点云地图的结构化定位方法在准确性方面表现优异,但需要大量内存和较长的映射时间,且无法合成新的视图[4]。最近,神经辐射场(NeRF)[5]因其紧凑的表示方式和逼真的视图合成能力而受到研究人员的关注,适用于人机交互。以往的研究也开发了基于NeRF的重新定位地图[6],显著降低了内存消耗。然而,多层感知器(MLP)的使用限制了NeRF在现实应用中的灵活性。特别是在构建用于重新定位的NeRF地图时,我们希望地图能够灵活扩展以适应不同场景,即像点云或体素地图那样进行操作,而不受MLP容量的限制。虽然有研究尝试使用不同大小的MLP或其他方法来缓解这一问题[7],但在NeRF中似乎没有有效的方法。然而,3D高斯散射(3DGS)表示方法从根本上避免了这一问题。3DGS使用显式点来表示辐射场(RF),具有极高的灵活性。换句话说,3DGS地图理论上可以适应不同场景,且无需MLP。此外,与结构化地图相比,3DGS地图可以用较少的图像在几分钟内完成训练,并实现独特的实时渲染速度和更低的内存消耗。对于自主系统而言,快速的映射速度尤为重要,因为它直接影响定位、规划和控制等子系统的性能。因此,映射速度极大地影响了整个自主系统的响应速度。对于资源有限的自主系统来说,较小的地图尺寸也很重要,因为它可以减少内存占用。因此,在3DGS表示中实现快速映射速度和保持较小的地图尺寸是非常有意义和重要的。然而,基于3DGS的视觉重新定位仍是一项具有挑战性的任务。主要原因是目前6DoF姿态与3DGS之间的观测模型构建进展非常有限。最初的3DGS论文[8]仅提供了一个渲染模型,即3DGS参数的梯度计算方法,但无法直接应用于视觉重新定位问题,因为缺乏与可微分相机姿态的联系。为了填补这一空白,我们提出了一个扩展的可微分模型来估计相机姿态(见图1)。与原始的3DGS相比,我们的新方法实现了独特的可微分6DoF姿态估计,适用于视觉重新定位。