基于Mamba2状态空间序列建模的智能车辆高效视觉-惯性自身运动估计

《ADVANCED ENGINEERING INFORMATICS》:Efficient visual–inertial ego-motion estimation for intelligent vehicles via Mamba2 state-space sequence modeling

【字体: 大 中 小 】 时间:2026年09月26日 来源:ADVANCED ENGINEERING INFORMATICS 11.5

编辑推荐:

   •首个采用RPMG旋转学习的Mamba2传感器融合方案用于车辆自运动估计 •堆叠式Mamba2层以低于Transformer的成本融合相机-IMU令牌 •流形感知的旋转优化在复杂动态条件下稳定姿态估计 •在所有测试序列上以基线模型一半的规模实现了最低的APE旋转/平移误差

  

•首个采用RPMG旋转学习的Mamba2传感器融合方案用于车辆自运动估计
•堆叠式Mamba2层以低于Transformer的成本融合相机-IMU令牌
•流形感知的旋转优化在复杂动态条件下稳定姿态估计
•在所有测试序列上以基线模型一半的规模实现了最低的APE旋转/平移误差

引言

智能车辆的精确自运动估计需要持续融合具有根本不同时间特性和采样率的异构传感器信号[1]。基于相机的光流提供低频几何运动约束,空间细节丰富,但对光照变化、运动模糊和场景纹理敏感[2]。惯性测量单元则提供高频率的加速度和角速度信号,适合捕捉快速动态事件,但随时间推移容易产生无界积分误差。因此,融合这些互补模态是一个非平凡的、基于车辆动力学流形的多速率信号处理问题[3]、[4]:估计器必须持续调和冲突的时间尺度,并在实际驾驶中遇到的非平稳工况下保持估计运动状态的几何一致性[5]、[6]。在严格的车载计算预算约束下满足这些要求——其中推理延迟和内存占用是一阶约束——进一步增加了实际部署的挑战性[7]。这些需求取决于估计结果的使用方。估计器产生的运动状态是下游车辆控制层的输入,而智能车辆控制文献将准确且持续可用的位姿视为前提:自主地面车辆的路径跟踪已在切换触发和传感器攻击条件下被建模[8],横向运动辅助已实现自适应驾驶员风格[9],路径跟踪已扩展到不可靠的车路通信链路[10]。这些控制器都预设了自运动估计器所提供的状态,且都运行在同一嵌入式平台上、受同一延迟预算约束,因此该估计器的精度和计算成本是车辆本身的属性,而不仅仅是感知模块的属性。

当前的视觉-惯性位姿估计方法可大致归为两条路线。传统方法基于几何约束、标定以及滤波或优化,通常需要精心设计的特征跟踪、运动模型和广泛的参数调优[11]、[12]、[13]、[14]。虽然有效,但其性能可能对场景纹理、运动模糊和传感器噪声较为敏感,当工况偏离设计假设时,系统可能变得脆弱[15]。相比之下,基于学习的方法通过端到端优化表示和融合,减少了对人工设计组件的依赖,实现了跨多样环境的数据驱动自适应。

在学习范式下,时序融合是核心,因为视觉-惯性位姿估计依赖于对互补线索在时间上的整合而非单帧观测[16]、[17]。早期的端到端设计通常采用循环骨干网络,如循环神经网络(RNN)、长短期记忆(LSTM)网络或门控循环单元(GRU)来顺序聚合视觉和惯性特征[18]、[19]。虽然这些模型支持流式处理和线性时间推理,但它们在长程依赖方面的容量有限,且可能难以应对非平稳车辆动力学以及相机和IMU异构采样特性。近年来,Transformer式融合因其表达性的全局上下文建模和灵活的跨模态交互而备受关注,能够更好地利用长程运动线索[20]。然而,自注意力机制的计算和内存成本随令牌长度呈二次增长,使序列长度和令牌分辨率的扩展变得昂贵[20]。对于长轨迹、高频率IMU窗口或细粒度视觉令牌化,这一开销成为实际瓶颈,增加了训练和推理成本,最终限制了在嵌入式车辆平台上的实时部署。这些局限性引发了一个更广泛的问题:能否在保留长程建模和跨模态表达能力的同时,避免限制实时视觉-惯性推理的二次开销?

状态空间序列模型(SSM)的最新进展提供了一个有吸引力的替代方案,结合了循环结构与高效的序列处理[21]。与基于注意力的模型相比,SSM可以在保持长程时间依赖建模能力的同时,实现近线性的时间和内存复杂度。早期的结构化SSM(如S4)依赖于显式参数化和长核卷积,往往引入额外的设计选择和实施复杂性,增加了实际学习流程中的敏感性[21]。选择性SSM如Mamba通过输入依赖的状态更新和扫描计算缓解了一些问题[22]。在此基础上,Mamba2进一步强化了状态空间公式化与实现效率,提供了硬件友好的骨干网络,支持流式推理、稳定的循环更新和可扩展的长上下文建模[23]。这些特性与视觉-惯性位姿估计天然契合,其中融合需要在严格实时约束下持续整合长时程上的异构测量。

在本文中,我们提出了一种基于Mamba2状态空间序列建模的智能车辆高效视觉-惯性位姿估计框架,如图1所示。该方法将相机和IMU流编码为紧凑的时间令牌,通过堆叠的Mamba2层[24]利用高效的状态空间扫描执行跨模态融合,将时序融合的计算和内存成本从二次降低为近线性,同时保留长时程运动线索。为了进一步提高姿态估计的稳定性和几何一致性[20],我们在训练目标中引入了流形感知的旋转优化[25],在激进驾驶操作下产生更可靠的旋转更新。KITTI里程计基准实验表明,所提出的基于Mamba2的框架相比基于注意力的融合基线实现了更有利的精度-效率折中,在提高位姿精度的同时减少了参数量、模型大小和推理延迟。

本文的主要贡献总结如下:

(1)选择性状态空间融合与流形感知旋转优化。我们将视觉-惯性传感器融合重新表述为选择性状态空间信号滤波问题,并据我们所知,提出了首个将Mamba2状态空间序列建模与RPMG流形感知旋转优化结合、作为车辆自运动估计时序融合骨干的框架,在时间和内存复杂度上实现了近线性扩展,单步推理延迟远低于相机采样周期。

(2)视觉与IMU的高效跨模态融合。我们设计了一种令牌化和融合流水线,通过堆叠的Mamba2层集成相机和惯性测量,将Transformer自注意力在序列长度上的二次扩展替换为近线性的循环过程,同时保留了准确位姿估计所需的时序依赖。

(3)几何一致的姿态学习。我们在基于Mamba2的训练目标中引入了流形感知的旋转优化模块,将梯度更新约束在SO(3)流形上,提高了姿态估计的稳定性和一致性,抑制了复杂驾驶条件下的累积漂移。

(4)组合估计器的稳定性与收敛性分析。我们建立了增量位姿误差的有界输入有界输出稳定性、累积姿态漂移的界以及训练目标的收敛性,针对选择性状态空间循环与流形感知旋转层组合的整体而非任一单独组件进行表述,并说明了训练模型在观测中满足哪些底层假设、哪些仍为条件性的。

(5)估计精度与信号处理效率的综合评估。我们在KITTI里程计基准上进行了广泛的实验和消融研究,在所有测试序列上展示了最低的APE旋转和平移误差,同时显著提升了运行效率——在NVIDIA Jetson Orin Nano而非工作站上测量——在模型大小、参数量和推理延迟方面优于基于注意力的信号融合同类方法。

本文其余部分组织如下。第2节回顾经典的和基于学习的视觉-惯性里程计及状态空间序列模型的相关工作。第3节形式化问题,提出基于Mamba2的视觉-惯性融合框架,并提供其稳定性和收敛性的理论分析。第4节详述实验设置、基准数据集、网络架构和训练配置。第5节呈现与基线的定量比较、消融研究、轨迹可视化和计算效率分析。第6节总结研究发现并展望未来工作方向。

节选片段

视觉-惯性里程计与位姿估计

视觉-惯性里程计(VIO)作为车辆自运动估计的核心组件已被广泛研究,为智能交通系统的可靠定位提供了基础[11]、[12]、[14]。传统VIO系统遵循两条主要流水线。基于滤波的方法维持对车辆状态的概率信念,并使用惯性传播和视觉测量更新进行顺序更新,MSCKF家族即为典范[11]、[26]。此类方法提供高效的

方法论

全文使用的数学符号总结见表2。

实验环境

使用了两个平台,并且测量在哪个平台上进行很重要。所有训练均在一台配备Intel Core(TM) i9-12950HX CPU(24线程,2.30 GHz基础频率)和NVIDIA RTX A4500 GPU(16 GB显存,CUDA 12.8)的工作站上完成。操作系统为Ubuntu 22.04。所有模型均使用PyTorch 2.4.0在Python 3.9中实现。所有部署数据,即单步推理延迟、设备和主机内存以及设备和主机利用率,均在(1)中报告

研究问题。我们的评估设计旨在回答以下研究问题(RQ):

•RQ1(精度)。在相同协议下训练和评估时,所提出的带RPMG的基于Mamba2的视觉-惯性框架是否比MLP和基于注意力的基线提高了位姿估计精度,以KITTI里程计基准上的相对位姿误差(RPE)和绝对位姿误差(APE)衡量?

•RQ2(Mamba2融合有效性)。Mamba2选择性状态空间骨干是否提高了位姿估计

结论

本文提出了一种基于学习的多模态信号融合框架用于视觉-惯性自运动估计,利用堆叠的Mamba2选择性状态空间层实现了近线性的时间和内存复杂度,同时保持了长时程时间建模能力。为解决欧氏旋转回归的几何不一致性问题,我们进一步引入了RPMG模块,在SO(3)上直接强制执行训练动力学,从而缓解了累积姿态漂移。

CRediT作者贡献声明

陶晓文:写作–审阅与编辑,写作–原创草稿,可视化,监督,项目管理,方法论,形式化分析,概念化。王雨诺:写作–审阅与编辑,写作–原创草稿,可视化,验证,软件,资源,方法论,调查,形式化分析,概念化。曹东普:写作–审阅与编辑,监督,资金获取,形式化分析。周金钊:写作–审阅与编辑,形式化分析。

利益冲突声明

作者声明,他们没有已知的竞争性财务利益或个人关系可能影响本文所报告的工作。

致谢

本研究由中国国家重点研发计划资助(项目编号2021YFD2000304),以及清华大学智能绿色车辆与出行国家重点实验室独立研究项目资助(项目编号ZD-20250401)。陶晓文和王雨诺贡献相同。

陶晓文 | 王雨诺 | 曹东普 | 周金钊 | 吴如意 | Dong Ngoduy
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号