DG-SLAM:一种用于低纹理环境实时正射影像制图的混合式直接地理参考与SLAM框架

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》:DG-SLAM: A hybrid direct georeferencing and SLAM framework for real-time orthophoto mapping in weak-textured environments

【字体: 大 中 小 】 时间:2026年07月16日 来源:ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING 12.9

编辑推荐:

  姚崔|庞银宁|张书航|王国岩|范红旗中国广东省珠海市519082,中山大学地理空间工程与科学学院摘要在应急响应和极地船舶在动态海冰中航行等对时间要求极高的场景中,实时生成低空无人机正射影像至关重要。与基于视频的拼接方法相比,直接从高分辨率原始无人机图像构建的正射影像具有更清晰的空

  姚崔|庞银宁|张书航|王国岩|范红旗中国广东省珠海市519082,中山大学地理空间工程与科学学院摘要在应急响应和极地船舶在动态海冰中航行等对时间要求极高的场景中,实时生成低空无人机正射影像至关重要。与基于视频的拼接方法相比,直接从高分辨率原始无人机图像构建的正射影像具有更清晰的空间细节,这能显著提高搜救或路线规划的成功率。然而,如雪、冰、开阔水域以及均匀植被等弱纹理或重复性纹理,再加上作业飞行计划中常见的低图像重叠度,会严重降低传统同时定位与建图(SLAM)系统中的特征匹配和视觉里程计稳定性,往往导致跟踪失败和建图结果不完整。为应对这些挑战,我们提出了DG-SLAM这一混合框架,它将直接地理参考与视觉SLAM紧密结合,从而在纹理较弱的環境中实现稳健的实时建图。该系统采用轻量级的级联多约束匹配模块,以提高在纹理稀疏或重复时的特征识别能力,并具备自适应切换机制,当视觉跟踪失败时可转而使用基于GNSS的直接地理参考。关键的是,在直接地理参考操作期间,还有一个并行的SLAM重新初始化线程在运行,一旦跟踪稳定就能迅速恢复到视觉SLAM模式,从而保持局部几何一致性。在包括草地、裸土以及南极冰雪-海洋-岩石场景在内的多种无人机数据集上的实验表明,DG-SLAM能够在所有传统SLAM系统(OpenVSLAM、ORB-SLAM3、SVO Pro)无法工作的环境中实现连续覆盖。通过整合视觉约束,我们的混合方法相比纯直接地理参考方式,大幅降低了平面误差和系统偏差,同时每张高分辨率图像的处理速度仍可保持在约1.02秒。由于能在低成本无人机平台上确保稳健性、完整性以及接近实时的处理性能,DG-SLAM使得在以往仅靠视觉SLAM无法实现的场景中也能进行可靠的地理参考拼接。引言在搜救和极地船舶导航等对时间要求极为严格的任务中,越来越需要从低空无人机图像中实时构建正射影像(Nex等人,2022年;刘等人,2025年)。近年来,遥测技术的进步使得小型无人机能够近乎实时地传输高分辨率原始静态图像。虽然地面采样距离本质上取决于传感器规格和飞行高度,但在相同飞行条件下对比视频图像和静态图像会发现存在显著的实际差异。对于在相同飞行高度上运行且配备相同传感器的无人机平台,视频录制通常会通过传感器裁剪、像素合并或降采样等方式来满足帧率和传输带宽的限制(高等人,2022年;Haqiqi等人,2024年)。因此,直接对原始静态图像进行拼接时能够利用整个传感器阵列,从而获得更小的地面采样距离、更宽的视野范围,以及更高的每帧观测效率(张等人,2023年;Hwang等人,2021年)。这种更高的空间精度能够保留更为清晰的空间细节,显著提升对小型目标及细微特征的识别能力,而这些对于应急响应和冰面航线规划而言至关重要(Lamsters等人,2020年;P. Tang等人,2024年)。实际中的实时正射影像建图通常依赖于视觉SLAM或视觉里程计。然而,极端救援和极地环境带来了两大主要挑战。首先,雪、海冰、开阔水域以及均匀植被等弱纹理、重复性或几乎无纹理的表面,会阻碍有效的特征检测与匹配,导致视觉里程计不稳定,进而常常引发初始化失败或姿态漂移(Alamouri等人,2021年;Company-Corcoles等人,2022年)。其次,用于获取静态图像的作业飞行计划通常采用的图像间重叠度较低(例如前方重叠80%,侧面重叠60%),而相邻视频帧之间的重叠度则超过99%。如此低的重叠度会减少可跟踪的特征数量,增加异常值比例,延缓闭环过程,从而导致拼接结果不连贯且姿态误差不断累积。此外,在每帧计算资源十分有限的条件下处理全分辨率图像,进一步增加了实现实时处理的难度。为解决与纹理相关的问题,以往的研究尝试过使用更强的特征描述符(如改进版的ORB、由GPU加速的SIFT/SURF)、基于投影的匹配方法以及几何一致性检查,以此在纹理稀疏或重复的环境中稳定视觉里程计(Dai和Wu,2023年;Afif等人,2020年;刘等人,2025年)。值得注意的是,无人机图像的俯视几何结构能够保留地面特征之间的局部拓扑关系,这使得可以利用Delaunay三角剖分和空间顺序约束来减少匹配错误(张等人,2022年;Company-Corcoles等人,2022年)。尽管这些技术提升了系统的稳健性,但在开阔海域或平坦雪原等几乎无纹理的区域,它们仍然可能不够可靠,而且还可能带来额外的计算开销,影响在低成本无人机平台上的实时处理能力。针对图像重叠度低的难题,现有的解决方案包括自适应关键帧设定、局部束调整,以及与惯性测量或GNSS数据的融合。另一种方法是使用离线结构从运动(SfM)流程来生成高质量地图,但这类方法需要大量计算资源,因此并不适合实时应用(Sch?nberger和Frahm,2016年;Jiang等人,2020a年)。直接地理参考则提供了一种互补方案,它可以直接根据机载GNSS和IMU数据计算相机的姿态(Pfeifer等人,2012年;Teppati Losè等人,2020年;L. Tang等人,2024年)。在RTK/PPK技术的支持下,直接地理参考可以达到分米级精度,但它缺乏对视觉接缝的处理能力,还可能会产生生硬的拼接痕迹(Padró等人,2019年;Arkal?和Atik,2025年;Wan等人,2022年)。最近的混合式或多地图SLAM框架(如LD-SLAM)通过地图切换机制提升了系统的稳健性(Li等人,2023年;He等人,2025年),还有一些系统则将导航先验信息与视觉里程计简单结合在一起(Li等人,2025年;刘等人,2021年)。然而,大多数方法仍将直接地理参考和视觉SLAM视为独立的模块,缺乏针对低重叠度、全分辨率静态图像以及在线正射影像生成场景而设计的明确、实时的双向切换机制。在本研究中,我们提出了DG-SLAM这一混合框架,它将视觉SLAM与直接地理参考无缝集成,从而在纹理较弱的環境中实现稳健的实时正射影像建图。我们的主要贡献如下:1. 一种轻量级的级联多约束图像匹配策略,该策略通过协同运用拓扑约束和几何约束,提升了在俯视视角、图像重叠度低且纹理较弱的序列中的特征识别能力;2. 一种混合式自适应切换机制,当SLAM跟踪失败或变得不可靠时,该机制能够通过转而使用基于直接地理参考的方法,确保建图工作的连续性;3. 一种并行重新初始化策略,一旦视觉跟踪恢复稳定,该策略就能够让系统无缝过渡回SLAM模式,从而保持拼接的精确度和建图的完整性。本文的其余部分结构如下:第2节介绍了DG-SLAM框架,包括多约束匹配模块、SLAM与直接地理参考的切换机制以及误差分析内容。第3节展示了在多种无人机数据集上进行的实验结果,这些结果体现了DG-SLAM相比传统方法的稳健性、精确度以及实时处理性能。第4节探讨了该系统的局限性以及未来的研究方向,第5节则对全文进行总结。DG-SLAM框架概述所提出的DG-SLAM框架将视觉SLAM和直接地理参考整合为一个统一的流程,用于实时生成正射影像。如图1所示,该系统的输入包括无人机拍摄的图像序列、GNSS/IMU数据以及相机的内部参数。相机的内部定向参数早已经过校准,包括焦距、主点坐标以及径向/切向镜头畸变系数,而且在所有实验中这些参数都保持不变。建图过程开始数据集与真实值为了验证所提算法在不同场景类型和图像重叠度条件下的适应性及稳健性,我们测试了四个来自不同环境且具有不同飞行计划的无人机数据集:edm数据集(来自德国,图像前方重叠度极高,约为99%);Seal Bay数据集(来自南极,纹理较弱且重复出现,图像前方重叠度为80%,侧面重叠度为60%);Slump数据集(同样来自南极,纹理较弱,图像前方和侧面重叠度均为80%/60%);Soil数据集(由固定翼无人机采集,图像前方和侧面重叠度分别为80%/65%)。edm数据集来源于OpenREALM数据库(Kern等人,2020年)。另外两个南极地区的数据集性能分析与稳健性分析实验结果表明,DG-SLAM能够在传统视觉SLAM系统无法工作的环境中实现稳定的正射影像生成。这一成功得益于两个核心组件的协同作用:多约束图像匹配流程以及自适应的SLAM与直接地理参考切换机制。该匹配流程在基于描述符的匹配方法基础上,加入了Delaunay三角剖分约束和重投影误差验证功能,因此在保持图像匹配精度方面尤为有效。结论本文提出了一种名为DG-SLAM的稳健混合框架,可用于在纹理较弱或无纹理的环境中实现实时正射影像生成。该系统通过将视觉SLAM与基于GNSS/IMU的直接地理参考技术相结合,有效解决了传统视觉SLAM在雪面、冰面和开阔水域等复杂地形中的诸多缺陷。该框架有三个核心贡献。首先,它采用级联多约束图像匹配流程,为系统层面解决相关问题提供了有效方案。CRediT作者贡献说明姚崔:撰写——审稿与编辑,撰写——初稿,方法论部分。庞银宁:撰写——初稿,方法论部分。张书航:撰写——审稿与编辑,监督工作,资源协调,项目管理,方法论,资金筹集,数据整理,概念设计。王国岩:验证工作,方法论,概念设计。范红旗:监督工作,资源协调,资金筹集。利益冲突声明作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。致谢本研究得到了中国国家重点研发计划(项目编号为2023YFC2809100)以及国防工业技术发展计划(项目编号为WDZC20245250210)的共同支持。在此,我们要对参与第38届CHINARE活动的所有人员表示衷心的感谢,他们在实地工作中给予了我们巨大的帮助和支持。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号