TRDepth:基于渐进式多尺度特征融合与置信度引导信息选择的RGB-热成像深度估计

《Expert Systems with Applications》:TRDepth: RGB-Thermal Depth Estimation via Progressive Multi-Scale Feature Fusion and Confidence-Guided Information Selection

【字体: 大 中 小 】 时间:2026年08月28日 来源:Expert Systems with Applications 9.4

编辑推荐:

   摘要基于RGB的单目深度估计取得了显著进展,但在低光和雨天条件下性能大幅下降。热成像(THR)提供不依赖可见光的稳定观测,但分辨率较低且纹理有限。现有的多模态方法通常采用统一融合策略,忽视了模态间依赖尺度的可靠性差异。为解决这些问题,我们提出了TRDepth,通过渐进式多尺度

  

摘要

基于RGB的单目深度估计取得了显著进展,但在低光和雨天条件下性能大幅下降。热成像(THR)提供不依赖可见光的稳定观测,但分辨率较低且纹理有限。现有的多模态方法通常采用统一融合策略,忽视了模态间依赖尺度的可靠性差异。为解决这些问题,我们提出了TRDepth,通过渐进式多尺度特征融合(PMFF)模块实现层次化RGB-THR融合。对于具有较大感受野的低分辨率特征,PMFF采用双分支交叉注意力(DBCA)模块来捕获全局跨模态对应关系;对于对模态差异敏感的高分辨率特征,则采用通道和空间注意力(CSA)自适应地重新加权局部细节,而不需要严格的逐点匹配。我们进一步设计了置信度引导的特征融合与深度估计(CFFDE)模块,并提出了一种新颖的置信度损失函数,该函数评估逐像素的模态可靠性,选择性融合信息丰富的特征同时抑制噪声。两阶段训练策略将单模态学习与融合优化解耦,改善了收敛效果。在MS2和VIS-TIR数据集上的实验表明,TRDepth在所有评估场景中均达到了最先进性能,相比最佳竞争方法,AbsRel分别降低了28.3%和13.39%,δ < 1.25分别提升了6.9%和1.36%。此外,在ViViD++上的跨数据集评估证实了强大的泛化能力,噪声污染下的鲁棒性测试验证了其抗输入干扰能力。我们还验证了在NVIDIA Jetson AGX Orin边缘设备上的可部署性,精度损失可忽略不计。源代码可在https://github.com/wh954/TRDepth获取。

章节摘要

引言

深度估计是几何感知和3D场景理解的核心技术,广泛应用于自动驾驶和机器人领域,支持导航和定位(Wilson, Rewkowski, & Lin, 2022)、视觉里程计/SLAM(Huang, Li, Cheng, Yeung, 2024, Ye, Xu, Yang, Zhou, Lu, Shi, Yang, 2026)、目标检测(Han, Wang, Wu, Jia, 2025, Shi, Dong, Ge, Liu, Yang, 2025, Wang, Wang, Sun, 2023a, Xu, Li, Huang, Song, Yang, 2026)以及障碍物规避(Khan, Hussain, Khan,等)等关键任务。

单模态深度估计

在深度估计领域,早期研究通常使用CNN或自编码器等网络架构从单张RGB图像中提取单目深度线索,然后预测场景深度。与传统方法相比,深度学习方法采用端到端学习范式,可以直接从数据中学习几何特征和场景上下文。这避免了手工特征的复杂性和局限性,同时提高了深度估计的准确性和鲁棒性。
(

概述

本文提出了一种针对复杂场景的新型深度估计方法,称为TRDepth,其整体架构如图2所示。所提方法包含两个阶段:单模态深度估计和基于融合的深度估计。
在单模态深度估计阶段,TRDepth采用两条并行分支,即基于RGB的深度估计分支和基于THR的深度估计分支。该阶段遵循经典的编码器-解码器架构,其中

数据集

多光谱立体(MS2)数据集(Shin等,2023):MS2数据集是一个大规模户外驾驶基准,旨在在具有挑战性的条件下进行鲁棒感知。它提供了同步的多光谱立体流(RGB、热成像和近红外),并辅以LiDAR和GNSS/IMU测量数据,采集于校园、城市、住宅、道路和郊区等多种地点。重要的是,MS2涵盖了困难的环境因素,包括白天、夜间(低光)、

结论

本文提出了TRDepth,一种专为挑战性视觉条件下的鲁棒深度预测而设计的RGB-THR深度估计框架。为应对RGB和THR图像在不同尺度和空间区域的可靠性差异,TRDepth引入了PMFF模块,在低分辨率尺度采用DBCA进行全局跨模态结构交互,在高分辨率尺度采用CSA进行可靠的局部细节优化。此外,CFFDE模块使用

CRediT作者声明

吴浩:撰写—初稿、软件、数据整理、方法论、概念化、可视化。
俞一然:撰写—初稿、调查研究、软件、方法论、数据整理。
陈俊州:撰写—审阅与编辑、概念化、软件、撰写—审阅与编辑。
彭涛:撰写—审阅与编辑、数据整理、可视化。
张榕辉:撰写—审阅与编辑、指导、方法论、经费获取、概念化。
吕能超:撰写—审阅与

CRediT作者贡献声明

吴浩:撰写—初稿、软件、数据整理、方法论、概念化、可视化。俞一然:撰写—初稿、调查研究、软件、方法论、数据整理。陈俊州:撰写—审阅与编辑、概念化、软件。彭涛:撰写—审阅与编辑、数据整理、可视化。张榕辉:撰写—审阅与编辑、指导、方法论、经费获取、概念化。吕能超:撰写—审阅与编辑、指导,

利益冲突声明

作者声明他们没有任何已知的利益冲突或个人关系可能影响本文报告的工作。
吴浩|俞一然|陈俊州|彭涛|张榕辉|吕能超|郭彦勇|任一隆|高博琳
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号