DroneNav:统一的文本-视觉表示与结构化的空间推理机制,用于实现稳健的无人机视觉与语言导航系统

《Neurocomputing》:DroneNav: Unified text-visual representation and structured spatial reasoning for robust UAV vision-and-language navigation

【字体: 大 中 小 】 时间:2026年03月29日 来源:Neurocomputing 6.5

编辑推荐:

  针对无人机视觉与语言导航中的复杂环境感知和空间推理难题,本文提出DroneNav两阶段学习范式。第一阶段通过语义感知、场景文本对齐和分层决策构建专家模型,第二阶段采用SFT微调的MLLM辅助视觉接地实现动态目标校准,有效平衡性能与计算效率。实验表明,DroneNav在CityNav数据集上显著优于基线,导航误差最低,成功率达最优,推理时间减少49.1%,计算成本降低16.4%。

  
Fangming Liu|Guohua Li|Linfeng Zou|Yadong Chen|Peng Cheng
四川大学航空航天学院,中国成都610065

摘要

无人机视觉与语言导航(UAV-VLN)要求智能体能够自主感知复杂环境,并根据文本指令进行导航。然而,现有方法面临两大挑战:从上而下的视角下地标的几何多样性使得小型或狭窄物体的识别变得复杂;而密集点云带来的广泛空间覆盖范围则阻碍了有效的空间推理。为了解决这些问题,我们提出了DroneNav,这是一种基于“解耦-再整合”设计的新颖两阶段学习范式,旨在提升性能和可解释性。首先,DroneNav构建了一套涵盖三个互补维度的专业专家模型:语义感知、场景文本对齐和分层决策。这将导航流程重新构建成一个由专家驱动的协作框架,通过解耦优化实现稳健导航。为了进一步在最小计算开销的情况下提高泛化能力,我们引入了基于监督微调(SFT)的MLLM辅助视觉定位方法,用于目标细化和校正,从而增强场景理解并减少初始导航阶段的误差累积,而不会产生过高的成本。在CityNav基准测试上的大量实验表明,DroneNav的性能显著优于现有最佳方法,实现了最低的导航误差(NE)和最高的成功率(SR)。值得注意的是,我们的方法将推理时间缩短了约49.1%,同时计算成本降低了16.4%。这些结果证明了DroneNav是复杂环境中无人机导航的高性能、可解释性范式。代码将发布在 https://github.com/mubei1234/DroneNav。

引言

视觉与语言导航(VLN)[1] 是体感AI、计算机视觉和自然语言处理交叉领域的前沿技术。该任务要求智能体理解自然语言导航指令,通过持续的环境感知自主做出运动决策,并最终到达目标位置。作为体感AI的关键分支,VLN使智能体能够在复杂环境中动态导航并完成任务,在搜索与救援和低空物流等应用中展现出巨大潜力。随着体感AI的快速发展,VLN研究受到了广泛关注,推动了多种任务[1]、[7]、[19]和多种导航方法[9]、[10]、[18]、[22]、[38]、[43]的发展。然而,一个显著的限制是:现有方法主要集中在地面或室内环境中,而针对无人机平台的研究仍然较少。
为了探索新的无人机导航范式,近期研究引入了不同的环境数据源。Fan等人[8]使用卫星图像进行导航,但其模型主要处理2D信息,忽略了无人机在3D飞行空间中的感知需求。Liu等人[28]提出了基于模拟环境图像数据的AerialVLN任务。在此基础上,Zhao等人[51]引入了基于网格的视图选择和地图构建框架,在该任务上取得了优异性能。然而,AerialVLN依赖于Unreal Engine进行构建,这降低了高密度点云的复杂性,同时也限制了系统的鲁棒性。
为了填补这一空白,Lee等人[20]提出了CityNav任务,建立了一个基于3D城市重建的基准数据集。该数据集有效捕捉了城市环境的复杂3D点云特征,包括高密度建筑群、复杂的道路网络和丰富的地标。细粒度的文本-语义表示和结构化推理对于成功的语言引导导航至关重要,但CityNav面临两个独特挑战:首先,从上而下的视角下观察到的地标具有显著的几何多样性,这给小型或狭窄物体的感知带来了挑战;其次,从上而下的广阔视野结合真实场景的高密度、复杂点云可能会使智能体的空间推理和决策能力不堪重负。为了解决这些问题,Lee等人[20]提出整合场景语义地图信息来进行目标位置预测,利用地标上下文和地理空间关系来辅助决策。然而,虽然整合场景语义地图对于目标定位看似直观,但该方法的多模态融合过于粗糙,模糊了细节特征,削弱了全局目标。更严重的是,它缺乏明确的空间记忆和决策推理机制,割裂了内部规划与低级执行之间的联系,从而影响了复杂环境中的连贯导航。与此同时,多模态大语言模型(MLLM)在图像-文本理解和推理方面的出色能力[2]、[17]激发了新的VLN方法[4]、[16]、[47]、[48]。这些方法将MLLM作为核心推理引擎,端到端融合感知输入和决策输出,在任务解析和动作生成方面取得了一定成功。然而,它们完全端到端的训练和推理范式将原始感知数据直接映射到最终动作指令,导致计算成本过高,尤其是在处理高分辨率图像和长指令序列时。这成为实际系统部署的一个重大瓶颈。
为了解决上述问题,我们提出了DroneNav,这是一种统一的两阶段“解耦-再整合”范式,它将单一的导航流程重构为用于初步导航的专业专家模型,并整合用于重新定位。解耦阶段实现了一种认知架构:在微观层面,由分层特征蒸馏(HFD)和指令引导的多模态交互(IGMI)组成的语义感知流将原始观测转换为具有指令意识的表示,从而确定当前视图包含的内容及其与指令的关系;在宏观层面,结构化空间表示和策略优化(SSRPO)基于这些基础特征进行时空推理,并协调全局规划和局部控制,确定智能体应前往的位置以及如何一致地到达目的地。这种职责分离确保每个层次在适当的抽象层次上运作,防止细粒度感知和长期规划之间的干扰。在整合阶段,我们引入了基于监督微调(SFT)的MLLM辅助视觉定位(MAVG)方法。只有当导航进度估计超过预定义的激活因子时,MAVG才会被激活,使模型能够解析当前环境以进行定位和最终目的地选择。它作为一种重新定位机制,在语义一致性下降或策略不确定性增加时重新校准空间假设,从而抑制误差累积。这种选择性激活将MLLM的计算开销限制在最终阶段,实现了准确性和效率之间的有效平衡。我们的主要贡献总结如下:
  • •
    我们提出了DroneNav,这是一种基于协作“解耦-再整合”设计的新颖两阶段学习范式,提升了性能和可解释性。
  • •
    我们系统地将初始导航流程重新构想为专家之间的协同系统,通过解耦的特征优化和由智能体行为引导的空间推理实现稳健导航。
  • •
    为了在最小计算开销下提高泛化能力,我们设计了一种基于SFT的MLLM辅助视觉定位方法,支持按需激活,实现精确的目标重新定位。
  • •
    在具有挑战性的CityNav基准测试上的大量实验表明,我们的框架在复杂环境中取得了最佳性能。

章节片段

视觉与语言导航

视觉与语言导航最初由Room-to-Room基准[1]引入,它将自然语言指令与视觉感知相结合,以指导体感智能体。后续研究迅速推进了该领域的发展,将环境从室内扩展到室外[7],并从离散动作空间过渡到连续动作空间[19]。早期方法通常依赖于序列到序列的架构[1],而后来的许多研究[18]、[23]、[31]、[35]、[44]、[45]、[50]提出了

方法

问题设置。 视觉与语言导航(VLN)要求体感智能体能够自主感知环境,并通过遵循自然语言指令进行连续决策以达到目的地。该任务在3D环境中实现,强调持续感知、空间推理和随时间的语言定位。
具体来说,智能体从初始姿态开始,其中表示空间坐标,表示初始航向。在每个时间步长
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号