《Drones》:uVGS-2: The Micro Video Guidance Sensor: A 6-DoF Robust Pose Estimator for Autonomous Proximity Maneuvers in Drones, Spacecraft and Mobile Robot Navigation
本文提出微型视频制导传感器第2版(Micro Video Guidance Sensor Version 2, uVGS-2),这是一种基于机器人操作系统(Robot Operating System, ROS)的视觉导航框架,用于在GNSS拒止环境中运行的无人机、航天器和自主机器人平台实现实时六自由度位姿估计。该系统由先前的智能手机视频制导传感器(Smartphone Video Guidance Sensor, SVGS)架构演化而来,采用模块化C++实现,包括高级图像预处理、确定性斑点排序,以及一种采用基于李代数(Lie algebra)的解析雅可比(Jacobian)公式的优化透视四点(perspective-4-point, P4P)求解器。所提出的体系结构利用机载相机与处理器资源,实现了计算高效的摄影测量状态估计,从而可部署于资源受限系统。研究人员在NASA的Astrobee自由飞行机器人上开展了实验验证,其中SVGS在国际空间站(International Space Station, ISS)进行了在轨验证,而uVGS-2则通过与Astrobee基于图的定位器(Astroloc)进行实时传感器融合完成地面测试。结果表明,在光照扰动、部分遮挡以及视线(line-of-sight, LOS)间歇丢失条件下,该系统仍可实现鲁棒的厘米级相对位置估计精度与姿态估计性能。该框架可用于机器人平台和自主无人机(unmanned aerial vehicle, UAV)运行,包括精密着陆、编队飞行以及在GNSS信号不可用或间歇可用环境中的协同导航。
该论文发表于《Drones》,围绕一种面向无人机、航天器和移动机器人近距自主操作的视觉导航方法展开,核心目标是解决GNSS拒止环境下高鲁棒性、低资源占用、可实时运行的六自由度(6-DOF)相对位姿估计问题。近距操作如交会、对接、编队飞行、精密着陆和协同导航,对位置与姿态估计的精度、实时性和连续性要求极高。然而,传统依赖环境纹理、外部定位基础设施、LiDAR或GNSS的方案,在光照变化、视线受阻、纹理匮乏及空间受限环境中往往存在明显局限。已有的视觉标签方案,如平面AR tags或Apriltags,在倾斜视角下易出现几何退化,姿态估计对成像条件也较为敏感。早期SVGS虽已证明单目摄影测量用于近距导航的可行性,但其Android/Java实现形式、处理速度、模块化程度和与机器人自主系统的集成能力仍有限。因此,研究人员开展uVGS-2研究,旨在构建一种可在嵌入式平台上实时运行、可与原生定位系统深度融合、并在复杂照明和遮挡条件下保持稳定输出的视觉位姿估计框架。
研究人员提出了Micro Video Guidance Sensor Version 2(uVGS-2),其技术基础继承自AVGS与SVGS,但在软件体系、图像处理、特征关联和位姿求解方面进行了系统升级。该系统采用ROS原生架构和C++模块化实现,能够作为机器人平台上的独立节点运行,直接使用宿主平台相机与CPU资源。其关键改进包括:多阶段图像预处理流程、基于几何约束的斑点筛选与排序、针对P4P问题的解析雅可比优化求解器,以及与Astrobee图优化定位框架AstroLoc的传感器融合机制。论文同时回顾了SVGS在国际空间站Astrobee平台上的任务验证,包括功能检查、编队飞行、多目标切换、量程扩展与交接等一系列机动实验,并进一步给出uVGS-2在NASA Ames Granite Lab中的地面部署与融合验证结果。研究结论显示,uVGS-2不仅能够在资源受限嵌入式系统上实现高频率、低延迟的6-DOF位姿估计,而且相较于既有视觉位姿方法在姿态角估计和复杂光照鲁棒性方面表现更优;当其与AstroLoc进行融合时,还能够缓解信标遮挡、视线中断及局部特征退化带来的定位失效问题。
从研究意义看,该工作将视觉相对导航从单一算法实现推进为可跨平台部署的完整导航框架。论文证明了利用四面体信标与单目图像进行摄影测量重建,能够在不依赖外部定位系统的条件下获得完整相对位姿,并且可进一步作为因子图中的高置信度约束,与宿主系统的视觉—惯性定位协同工作。这对于空间机器人交会对接、无人机精密着陆、GPS受限室内外导航、编队协同控制等场景都具有直接应用价值。
就关键技术方法而言,研究主要采用以下几类方法。首先,研究人员构建了基于ROS的uVGS-2软件架构,在C++中实现图像预处理、斑点提取、排序和P4P位姿求解,并针对宿主相机进行内参与畸变标定。其次,采用四面体主动发光信标,通过单目图像中的四个非共面特征点建立3D–2D对应关系,实现摄影测量位姿恢复。再次,在求解器中使用特殊欧氏群SE(3)上的李代数线性化与解析雅可比,替代数值微分以提升收敛速度和计算效率。最后,研究人员在NASA Astrobee自由飞行机器人平台上进行在轨任务回顾与地面实验,地面样本来源于NASA Ames Research Center的Granite Lab,并将uVGS-2输出经改造后的AR管线注入AstroLoc因子图,实现融合定位验证。
以下结合论文各部分结果进行解读。
1.1. The SVGS-1 Mission on the International Space Station
该部分首先总结了SVGS在国际空间站上的技术演示任务,说明早期系统已具备在真实空间环境中支持近距自主操作的能力。研究人员将SVGS作为软件传感器部署于Astrobee宿主平台,利用其相机和CPU配合主动发光信标进行6-DOF估计。Maneuver 1用于验证SVGS功能与参数标定,通过平移和滚转、俯仰、偏航旋转机动,对比Astrobee计量结果与SVGS输出,确认系统具备基础位姿测量能力。Maneuver 2进一步验证编队飞行场景下的相对导航能力,实验表明SVGS测量与Astrobee计量具有较好时间一致性和轨迹一致性。特别是在部分视线遮挡条件下,SVGS对欧拉角的估计仍保持稳定,而Astrobee原生基于地图的定位在跟随机上出现明显退化。Maneuver 3展示了多信标切换、量程扩展和基于颜色的交接能力,证明系统可在多目标环境中依据色调(hue)选择当前信标并执行路径跟踪。Maneuver 4将多目标导航与领航—跟随编队结合,结果显示原生Astrobee定位框架在跟随机上因视线部分阻挡和强光源干扰而发生失稳,这直接构成了后续开展uVGS-2与AstroLoc融合研究的现实动因。
1.2. uVGS-2: Micro Video Guidance Sensor Version 2.0
这一部分阐明uVGS-2的技术演化路径。研究人员指出,AVGS是航天器交会对接中成熟的视觉制导基础,SVGS将其简化为基于智能手机的软件定义传感器,而uVGS进一步迈向可确定性实时运行的底层实现。uVGS-2则在此基础上转向C++与ROS,实现了平台无关、可移植、模块化的视觉导航节点。其核心创新包括更丰富的图像预处理流程、轮廓式斑点检测、几何一致性验证,以及基于李代数解析雅可比的P4P求解器。论文强调,这些改进使uVGS-2在相同CPU平台上的位姿更新速率最高可达SVGS的约6倍,并显著提升在噪声、反射和不均匀照明条件下的稳定性。
1.2.2. Sensor Fusion of uVGS-2 with Astrobee’s Localization Pipeline
该部分提出系统级创新,即将uVGS-2作为额外约束引入AstroLoc定位框架。研究人员分析了SVGS-1任务中暴露出的原生定位脆弱性:局部特征被遮挡、与参考墙面距离增加,以及邻近信标强光造成视觉特征退化。为此,uVGS-2输出被设计为替代Astrobee对接模式下的AR tag数据流,使其可无缝接入AstroLoc因子图架构。论文还讨论了EKF与完整因子图融合等多种路径,最终选择AR管线替代方案,以在集成复杂度、性能和实时性之间取得平衡。
1.2.3. Tetrahedral Beacons
该部分说明四面体信标为何优于平面标签。研究人员指出,四个非共面特征点构成满秩三维几何约束,可避免平面目标在斜视角下的退化和姿态歧义。四面体几何在各个观察方向上保持深度分布,从而提升P4P问题的数值条件,降低测量噪声放大效应,并减少共线或共面投影导致的奇异性。uVGS-2还通过点间距离和相对角度约束进行几何验证,从源头剔除物理上不合理的斑点组合。
2.1. Image Preprocessing
研究人员为应对空间站和机器人环境中的不均匀照明、反射和噪声,设计了多阶段图像预处理流程。包括空间降采样、强度归一化、高斯滤波、自适应阈值分割以及腐蚀、膨胀、开闭运算等形态学操作。这一流程生成更清晰的二值分割结果,提高发光信标斑点的可检测性,并通过可调参数适配不同相机和运行条件。该结果支撑了后续斑点提取和位姿求解的稳定性。
2.2. Blob Finding and Blob Selection
在该部分中,研究人员采用连通域分析与基于Suzuki–Abe方法的外轮廓跟踪完成候选斑点提取,并利用面积、质心、圆度、边界框尺寸、宽高比及HSV空间色调信息进行筛选。结合四面体信标已知的几何尺度,对候选斑点集施加最小与最大点间距离限制,最终得到高置信度的四点组合。这表明uVGS-2并非简单地依赖亮点检测,而是通过多重几何与形态特征约束强化了抗噪与抗误检能力。
2.4. Blob Sorting in uVGS-2
该部分解决的是图像斑点与三维信标点之间的确定性对应问题。研究人员基于投影下相对保真的几何不变量,计算点间平方距离矩阵,选取最长边作为主基线,再通过其余两点到中点的距离关系进行分类,并用叉积符号检验顺逆时针方向以消除镜像歧义。算法还包含对近共线和空间分离不足情况的退化检查。该步骤保证了跨帧标号一致性,是后续P4P求解可靠收敛的重要前提。
2.5. uVGS-2 Engine for Pose Estimation
这是全文方法学的核心。研究人员将6-DOF位姿估计表述为定义在特殊欧氏群SE(3)上的非线性最小二乘问题,目标是最小化四个三维信标点在当前位姿下投影到图像平面的重投影误差。与依赖数值差分估计梯度的方法不同,uVGS-2在se(3)切空间中推导了解析雅可比矩阵,并通过指数映射更新位姿。该设计避免了欧拉角参数化常见的奇异性,也减少了数值微分带来的计算开销和精度损失。论文指出,该解析求导方式显著提升了收敛速度、数值稳定性和实时性能,是系统实现约100 Hz更新率的关键。
2.6. NASA’s Astrobee Localization System (AstroLoc)
本节介绍AstroLoc作为Astrobee原生视觉—惯性导航系统的结构。其基于GTSAM构建因子图,将位置、姿态、速度及IMU偏置等状态建模为节点,以视觉特征和预积分惯性约束形成边。该系统原本在一般导航模式与AR辅助对接模式之间切换,异构传感信息尚未充分统一。uVGS-2的引入通过复用AR流程并替换其输出,实质上将外部相对位姿传感器转化为因子图中的原生约束源,实现环境特征与目标信标的联合优化。
2.7. uVGS-2 in Astrobee—Sensor Fusion
研究人员在这一部分具体说明了融合实现方式。uVGS-2以ROS节点形式运行在Astrobee中层处理器(mid-level processor, MLP)上,将以相机坐标系表示的相对位姿转换为AstroLoc可用的状态约束,并通过与AR tag管线相同的接口输入。由于仍保留地图地标(map landmark, ML)定位通道,系统在一种感知模式失效时可由另一种模式维持可观测性。例如,当跟随机视野被领航器遮挡或信标强光导致墙面特征提取下降时,uVGS-2仍可提供直接相对位姿约束,避免定位完全失效。
3. Operational Validation and Experimental Results
实验结果部分首先给出与Fa-P4P、EPnP和Lambda Twist等开源求解器的基准比较。基于加入高斯噪声的合成位姿测试,uVGS-2在平移与旋转百分误差方面均更低,说明其P4P求解器在精度和鲁棒性上具有优势。由于NASA出口管制与受控非密级信息(controlled unclassified information, CUI)管理政策,论文未公开完整定量指标,但仍提供了足够的结果层级支持主要结论。
3.1. NASA ARC’s Granite Lab—Ground Testing Considerations and In-Orbit Data Link
本节阐明地面验证条件。Granite Lab低摩擦气浮地板支持X、Y和偏航自由运动,可保留视觉几何关系并复现近距操作中的实现约束。研究人员还构建了硬件在环(hardware-in-the-loop, HIL)平台和3-DOF龙门架,用于模拟信标运动及验证感知—控制闭环。使用与Astrobee MLP相同的Inforce 6640SBC板卡时,uVGS-2实现了100 Hz位姿更新率,而SVGS的Java基线仅约10 Hz。这一结果直接体现了解析雅可比和C++实现的性能优势。
3.2. Experiment GT-1: Demonstration of uVGS-2 Deployment on Astrobee
GT-1验证uVGS-2能够作为ROS C++节点在Astrobee MLP上部署和实时运行。研究人员完成了Astrobee专用相机接口、ROS图像话题以及ff_msgs::VisualLandmarks消息适配,并通过监测位姿消息与机器人—信标已知构型的一致性确认运行正确。虽然在NavCam和DockCam等单色相机上,缺乏色调过滤会导致检测性能下降,但实验仍证明了系统在宿主平台上的基本可行性和实时性。
3.3. Ground Experiment GT-2. Demonstration of Sensor Fusion
GT-2重点展示uVGS-2替代AR tag数据流并接入AstroLoc的能力。实验比较了仅使用ML管线与使用ML + uVGS-2融合管线时Astrobee执行方形轨迹的表现。结果表明,融合方案在部分或完全遮挡场景下仍能维持定位连续性和较稳定的运动控制;尤其在本地特征退化时,uVGS-2/SVGS对欧拉角的估计明显优于原生ML定位。该实验同时指出,因子图权重需要精心调节,以抑制错误uVGS读数引起的误差传播;此外,单色成像在反射抑制方面能力不足,进一步促成了后续彩色SciCam流的引入。
3.4. Ground Experiment GT-3: Demonstration of Leader Motion Node with uVGS-Fusion
GT-3在融合定位基础上验证了领航机器人自主运动控制。研究人员将SciCam彩色图像通过HLP APK发布为ROS话题,由MLP上的uVGS-2订阅并处理,再与AstroLoc进行融合。实验比较人工GDS命令和基于融合位姿反馈的自主运动脚本执行方形轨迹的效果。结果显示,自主运动脚本实现了更高轨迹精度;残余约20 mm的垂向倾斜主要归因于气浮支撑机械对准误差,而非感知估计本身。该结果表明,uVGS-2不仅改进定位,还能够直接支撑更优的闭环控制性能。
GT-4进一步扩展到领航—跟随场景。实验结果中,领航器运动保持稳定准确,而跟随机性能因MLP在执行多个运动命令时的CPU和资源限制而下降。尽管如此,实验仍显示uVGS-2与AstroLoc融合在强光、遮挡和信标视线丢失等条件下增强了系统韧性:当接近信标导致AstroLoc退化时,可由uVGS位姿提供补偿;当信标暂时丢失时,又可由原生AstroLoc继续传播状态。
讨论部分总结认为,uVGS-2已从一种近距位姿传感器发展为适用于受限环境自主飞行器和地面机器人的通用视觉导航框架。相较原始SVGS,uVGS-2在ROS原生模块化、平台无关部署、图像预处理和解析优化上均有实质提升。Astrobee实验验证了其在强烈光照变化、部分遮挡和目标间歇可见等复杂工况下的可靠性。论文还将其意义扩展至无人机精密着陆、协同导航、基础设施巡检和搜救等应用。李代数解析雅可比带来的高效率是系统性能跃升的核心,使更新率从早期约10 Hz提高到约100 Hz,并减轻了对扩展卡尔曼滤波器(extended Kalman filter, EKF)调参与补偿的依赖。与此同时,作者也明确指出当前限制,包括对主动LED照明、供电、清晰视线和预处理参数调节的依赖,说明未来仍需发展自适应预处理、曝光控制和硬件加速。
结论部分可译为:uVGS-2是一种面向航天器、无人机和移动机器人自主近距操作的鲁棒且计算高效的视觉导航框架。该系统通过ROS原生模块化架构、增强图像预处理、确定性斑点关联以及基于李代数的解析优化实现,推进了既有SVGS方案,并显著提升了收敛速度与实时执行性能。基于NASA Astrobee自由飞行机器人的实验验证表明,在光照扰动、部分遮挡和目标间歇可见等具有挑战性的运行条件下,uVGS-2能够实现可靠的6-DOF位姿估计。uVGS-2与Astrobee基于图的定位框架的集成进一步证实,该系统不仅可作为独立的相对导航传感器工作,还可作为多传感器融合架构中的高韧性补充测量源。与强依赖环境特征、LiDAR或GNSS可用性的传统定位方法不同,uVGS-2通过对发光四面体信标的单目成像直接估计完整相对位姿,从而以低质量、低功耗和较低计算需求实现精确定位。解析雅可比公式消除了数值微分带来的计算开销,提高了估计更新速率。其鲁棒性、可移植性和计算效率使该框架可直接应用于自主无人机导航、精密着陆和协作机器人;融合实验还证实,uVGS-2能够在视觉特征暂时缺失、信标饱和和视线中断条件下维持定位连续性。基于ROS的实现使其能够快速部署到机器人平台与VINS自主系统中,同时保持与其他定位框架的兼容性。通过四面体信标引入的确定性几何约束,系统能够实现独立于环境纹理和外部基础设施的稳健相对导航。整体结果表明,uVGS-2是一种可扩展的位姿估计方案,能够支持编队飞行、自主对接、目标跟踪、协同制导和资源受限机器人系统中的精密着陆。