《Sensors》:SLUG: Vision-Based UAV Self-Localization in GNSS-Denied Urban Environments
编辑推荐:
在城市与峡谷等复杂环境中,无人机(UAV)影像与卫星影像的跨视角匹配(Cross-View Matching)可作为全球导航卫星系统(GNSS)信号缺失时自定位(Self-Localization)的补充手段。针对现有数据集场景类型单一且标注精度较低的问题,研
在城市与峡谷等复杂环境中,无人机(UAV)影像与卫星影像的跨视角匹配(Cross-View Matching)可作为全球导航卫星系统(GNSS)信号缺失时自定位(Self-Localization)的补充手段。针对现有数据集场景类型单一且标注精度较低的问题,研究人员构建了跨视角、多高度、多场景无人机定位数据集(CMHUAV)。该数据集覆盖杭州市内九个相邻且互不重叠的子区域,包含8625对精确匹配的无人机与卫星影像,为跨视角特征学习提供了高精度监督信息。此外,研究人员设计了一种基于Transformer的全局特征增强定位模型(SLUG),该模型配备轻量化自适应部件加权(APW)模块,通过学习部件级标量重要性权重,动态重新校准各环形区域的贡献。通过将自适应部件级加权与联合监督策略相结合,SLUG的空间判别能力得到显著增强。研究人员还提出了高度自适应归一化距离匹配(HNDM@K)指标,将检索排序质量与地理空间偏差统一至同一框架内,实现对高程自适应定位精度与检索性能的联合评估。实验表明,在CMHUAV数据集上,SLUG的召回率达到93.53%,平均精度达到93.9%;在HNDM@1指标下,三个高度层的定位分数均超过94.8%。上述结果表明,该方法经由离线视觉检索评估,展现出在GNSS信号中断条件下作为无人机视觉定位模块的良好潜力。然而,闭环飞行测试与系统级定位性能仍有待进一步验证。
无人机在GNSS拒止环境下的视觉自定位是低空自主导航领域的核心挑战之一。在城市峡谷等复杂场景中,全球导航卫星系统(GNSS)信号易受遮挡或干扰,导致无人机定位失效。跨视角视觉地理定位(Cross-View Visual Geolocation)通过将无人机下视影像与卫星基准图进行匹配,为GNSS信号中断时的自定位提供了重要补充途径。现有跨视角数据集普遍存在场景覆盖单一、标注精度不足的问题:University-1652与SUES-200等数据集场景类型有限且GPS标注精度较低,DenseUAV虽开创了高密度连续采样范式,但仅覆盖单一校园场景且未使用实时动态差分(RTK)模块进行标注,难以支撑模型在真实复杂城市环境中的泛化验证。此外,传统检索评估指标如召回率(Recall@K)和平均精度(AP)仅衡量检索排序质量,无法量化预测位置与真实位置之间的地理空间偏差,难以满足工程化定位评估需求。针对上述数据集构建、特征对齐与评估指标三个层面的问题,研究人员开展了系统性研究。
研究人员构建了覆盖九个相邻非重叠子区域、包含三种飞行高度(180米、200米、220米)的跨视角多高度多场景无人机定位数据集(CMHUAV),所有无人机影像均基于大疆Mavic 3T搭载的网络RTK模块采集,仅保留RTK固定解状态且云台俯仰角控制在垂直向下5°范围内,水平标注误差估计优于1米(典型值0.3至0.6米);卫星基准图采用2025年高分辨率正射影像,几何校正误差低于0.5米(均方根误差)。在模型设计方面,研究人员提出了基于Transformer的全局特征增强定位模型(SLUG),该模型以ViT-S/224为统一骨干网络,核心创新在于轻量化自适应部件加权(APW)模块——该模块通过全局平均池化和由两个全连接层构成的权重生成器,为环形分区特征学习部件级标量重要性权重,从而动态重校准各环形区域对最终检索特征的贡献,仅增加约120万参数。在监督策略方面,SLUG采用交叉熵损失(CE)、软加权三元组损失(SWTri)与KL散度损失(KLoss)的联合优化方案,其中CE提供主要判别性监督,SWTri优化特征空间度量结构,KLoss作为辅助正则化项对齐无人机分支与卫星分支的类别概率分布。在评估指标方面,研究人员提出高度自适应归一化距离匹配指标(HNDM@K),通过引入高度自适应衰减系数,将飞行高度对地面采样距离(GSD)的影响纳入评估框架,利用Haversine公式计算查询位置与检索候选之间的地面距离并结合指数衰减惩罚权重,统一衡量检索排序质量与地理空间偏差。
在数据集验证方面,跨数据集对比实验表明,相同模型在CMHUAV上的绝对分数高于DenseUAV,但由于两个数据集在场景构成、样本分布、标注精度、高度配置和数据量上同时存在差异,该对比不能单独归因于标注精度的贡献,CMHUAV作为提供厘米级真值、多场景覆盖和多高度设置的补充基准更合适。在与现有方法的对比中,SLUG在CMHUAV多高度多场景数据集上取得召回率(R@1)93.53%、平均精度(AP)93.9%的成绩,在单场景DenseUAV数据集上取得R@1为88.03%,均显著优于对比方法;在统一训练配置下重新实现SAFA、TransGeo、GeoFormer和Sample4Geo进行受控对比,APW(block=1)的R@1为92.33%,比重新实现方法中的最优者(GeoFormer,89.52%)高出2.81个百分点。在消融研究中,APW模块在CMHUAV数据集上将R@1较标准局部模式网络(LPN)提升1.11个百分点(91.41%至92.52%),在DenseUAV上提升2.06个百分点(84.51%至86.57%);非对称数据增强策略将R@1从无增强时的91.02%提升至93.53%,而对称增强仅提升至91.25%;联合损失消融实验显示,仅使用KL损失时检索性能接近随机水平(R@1=2.7%),而完整联合损失CE+SWTri+KL在CE+SWTri基础上进一步将R@1从91.14%提升至93.53%,表明KL作为辅助正则化项发挥作用。参数敏感性分析确认默认配置(block=2,alpha=3)接近最优,模型在合理参数范围内性能稳定。在模型头部对比中,SLUG较SingleBranch基线仅增加1.10倍相对前向时间,参数增加包含权重生成器与部件级分类器在内的约120万参数。在留一区域泛化评估中,SLUG平均R@1为80.87%,较基线提升1.57个百分点;在Rot6和Rot7等困难区域上分别提升6.06和3.93个百分点,但在个别区域表现略有波动,表明模型对完全未见区域的泛化优势仍需进一步验证。在HNDM@K指标的离线诊断分析中,纯视觉R@1在50米阈值下的精度为0%,而离线HNDM引导协议达到1.96%;在200米和300米阈值下,HNDM@1分别达到84.31%和99.02%,显著优于纯视觉R@1对应的水平,表明HNDM@K能更精细地反映模型的空间定位能力。可视化与失败案例分析揭示了相邻位置混淆、同坐标视角偏移、对称场景歧义和相似场景跨位置错配四类典型挑战,HNDM@1通过地理距离指数惩罚和高度自适应机制可在离线评估中有效缓解这些局限。
在讨论部分,研究人员明确了工作边界:该研究属于离线单帧图像检索评估,未进行机载部署、闭环飞行、连续轨迹估计或漂移评估;相对前向时间仅在相同服务器条件下用于检索头部之间的相对比较,不代表机载或端到端延迟。研究结论可归纳为:在数据集层面,CMHUAV将RTK厘米级真值、三种高度适应性和九个覆盖连续城市场景的非重叠子区域有机结合,弥补了现有数据集在标注精度与场景多样性方面的双重不足;在模型层面,SLUG通过在CMHUAV上达到93.53%的R@1和93.9%的AP,且三个高度下HNDM@1(T=50米)均超过94.8%,验证了APW模块在不增加明显计算开销的前提下有效抑制背景杂波、增强判别性空间线索的能力,同时高度层面的HNDM@1与APW行为分析表明模型无需显式高度信息即可学习高度鲁棒的跨视角表征;在评估层面,HNDM@K将检索排序质量与地理空间偏差统一到单一框架,为无人机定位任务提供了更具工程导向的离线评估基准。未来工作将探索时序建模策略、视觉-惯性-气压计紧耦合融合框架、基于风格迁移的生成式增强、神经网络定位器的不确定性量化、可学习数据驱动部件划分方法,以及闭环飞行测试与实时机载实现。