基于动态神经网络的RGB-D显著目标检测模态互补性学习

《Electronics》:Learning Modality Complementarity for RGB-D Salient Object Detection via Dynamic Neural Network Yuanhao Li, Jia Song, Chenglizhao Chen and Xinyu Liu

【字体: 大 中 小 】 时间:2026年03月26日 来源:Electronics 2.9

编辑推荐:

  RGB-D显著目标检测(RGB-D SOD)旨在通过联合利用RGB图像和深度图(depth map),精确定位并分割视觉显著目标。现有部分方法依赖固定路径和权重的静态融合策略,对所有区域一视同仁,未能捕获不同区域和模态(modality)的重要性差异。尽管一些

  
RGB-D显著目标检测(RGB-D SOD)旨在通过联合利用RGB图像和深度图(depth map),精确定位并分割视觉显著目标。现有部分方法依赖固定路径和权重的静态融合策略,对所有区域一视同仁,未能捕获不同区域和模态(modality)的重要性差异。尽管一些基于注意力(attention)的方法通过为不同区域和模态分配自适应权重缓解了静态融合的局限性,但在实际场景中,RGB和深度数据的质量可能因传感器噪声、光照变化或环境干扰而下降。这些基于注意力的方法往往忽略了模态间的质量差异和互补性(complementarity),容易过度依赖某一特定模态,进而引入噪声、特征冲突及性能下降。为解决这些局限,研究人员提出一种新颖的RGB-D SOD动态特征路由与融合框架,该框架根据输入模态的质量自适应调整融合策略。为实现模态质量感知,受信息论(information-theoretic)原理启发,所提方法以任务驱动的方式刻画RGB与深度特征间的模态互补性。研究人员引入一个任务相关性评分函数(task-relevance scoring function),该函数与互信息估计器(mutual information estimator)集成,以量化这种互补性,强调任务相关特征同时抑制冗余。随后设计一个动态路由模块(dynamic routing module),在捕获的互补性指导下执行特征选择。此外,研究人员提出一种新颖的跨模态融合模块(cross-modal fusion module),自适应融合动态路由模块选出的特征,在增强互补表示的同时抑制冗余特征与噪声干扰。在七个公开RGB-D SOD基准数据集上开展的大规模实验表明,所提方法在多项评价指标上平均领先现有方法约1%。特别地,在模态质量严重退化的挑战性场景中,所提方法比现有最佳方法高出最多1.8%,展现出对杂乱背景、复杂目标结构和多尺度目标的强鲁棒性。总体而言,该动态融合框架为RGB-D显著目标检测中的模态质量不平衡问题提供了一种新颖的解决方案。
## 论文解读:基于动态神经网络的RGB-D显著目标检测模态互补性学习

**研究背景、现存问题与研究动机**

RGB-D显著目标检测(RGB-D SOD)旨在联合利用RGB图像的颜色、纹理等二维外观信息与深度图(depth map)提供的三维几何信息,在复杂场景中精确定位并分割出视觉显著目标。通过融合2D与3D特征,该任务能够有效缓解RGB在光照变化、目标遮挡等挑战性场景下的视觉模糊性,从而在机器人视觉、自动驾驶、场景导航等实际应用中发挥重要价值。

然而,现有方法面临两大核心缺陷。一方面,静态融合方法(如MDSF、ICNet)采用固定路径和权重,对所有区域和模态一视同仁,忽略了不同区域和模态对最终检测结果贡献的不均衡性。另一方面,注意力机制方法(如ASIF-Net、DPANet)虽能自适应分配权重,但缺乏对模态间互补性的显式度量,在传感器噪声、光照变化或环境干扰导致模态质量退化的实际场景中,容易过度依赖某一特定模态,引入特征冲突和冗余信息,最终导致检测性能下降。这些局限性共同推动了本项研究的开展:研究人员旨在设计一个能够动态感知输入模态质量、自适应调整融合策略的RGB-D SOD框架,从而有效克服模态质量不平衡带来的性能退化。

**研究内容、结论与意义**

研究人员提出了一种基于动态神经网络的RGB-D SOD框架,核心创新在于引入信息论启发的模态互补性度量(Modality Complementarity Metric, MCM),并据此设计动态路由选择模块和跨模态融合模块。该框架在七个公开RGB-D SOD基准数据集(DUT、NJU2K、NLPR、STERE、SIP、SSD、LFSD)上进行了全面实验,定量比较显示其平均性能超越现有方法约1%;在模态质量严重退化的极端场景(包括低质量深度图、目标遮挡、小目标和复杂RGB场景)中,Fβ分数比当前最佳方法BTNet提升最多1.8%,MAE降低0.016。此外,消融实验验证了各模块的有效性:动态路由机制能够根据MCM分数自适应选择高质量特征组合,跨模态融合模块通过空间拼接与跨特征通道注意力有效抑制冗余和噪声,多尺度级联解码器逐步细化了显著区域的边界。该研究为RGB-D SOD中的模态质量不平衡问题提供了一套可量化的动态融合解决方案,显著增强了模型在复杂真实场景下的鲁棒性和稳定性。该论文发表在《Electronics》。

**关键技术方法概述**

研究人员主要采用了以下关键技术方法:(1)**预训练视觉Transformer编码器**(DINOv2-B),通过对比学习策略(contrastive learning)预训练,分别提取RGB和深度图像的多层次特征,其中最高层特征作为主分支特征。(2)**任务对齐的模态互补性度量**,集成一个互信息估计器(MINE)和一个任务相关性评分函数(多层感知机MLP),以量化候选特征与主分支特征间的互补性,高MCM分数表示强互补性。(3)**动态路由选择模块**,依据MCM分数从候选特征集中选择Top-K(K=3)个特征,并通过加权融合生成选定特征表示,实现自适应特征路径选择。(4)**跨模态融合模块**,采用空间拼接和自注意力实现初步交互,再通过跨特征通道注意力(CFCA)抑制冗余通道,增强互补表示。(5)**多尺度级联解码器**,共享参数的解码器头逐步监督各阶段融合特征,并联合二进制交叉熵(BCE)损失和交并比(IoU)损失进行优化。样本来源为七个公开数据集,训练集包含NJU2K、NLPR和DUT的子集,其余用于测试。

**研究结果**

**4.3. 对比实验结果与分析**
**4.3.1. 不同方法的比较分析**:在DUT、LFSD、NJU2K、NLPR、STERE、SSD六个数据集上,所提方法在S-measure(Sm)、F-measure(Fβ)、E-measure(Em)和平均绝对误差(MAE)四项指标上均优于12种现有方法(CoNet、CDNet、C2DFNet、CATNet、EM-Trans、PFRNet、HFILNet、EATNet、BTNet、CPENet、Samba+、PENet)。在SIP数据集上,与BTNet的性能差距微小(Sm差0.01,其余指标<0.003),主要因该数据集包含大量阴影遮挡和强逆光场景。定性可视化显示,所提方法在深度图不清晰、杂乱背景、目标遮挡等挑战场景中能准确分割显著目标。计算效率方面,模型参数量615.3M,FLOPs 265.8G,在RTX 4090上达到35 FPS。
**4.3.2. 失败案例分析**:在SIP数据集上的失败案例主要出现在阴影遮挡、强逆光和多显著目标场景,模型易出现漏检和误检,这可能与DINOv2-B预训练策略在复杂光照多目标场景中偏向聚焦单一显著区域有关。

**4.4. 极端场景鲁棒性分析**:在低质量深度图、目标遮挡、小目标和复杂RGB场景四个极端子集上,与PFRNet、EATNet、HFILNet和BTNet对比,所提方法在全部场景中Fβ均最高,MAE均最低。整体极端样本集上Fβ提升1.8%,MAE降低0.016,证明MCM引导的动态路由和跨模态融合有效抑制了低质量模态干扰。

**4.5. 消融实验结果与分析**
**4.5.1. 模态互补性度量各组件有效性**:同时使用任务评分函数Sθ和互信息估计器Iα获得最佳性能;单独移除Iα导致Fβ平均下降0.93%、MAE上升0.005;单独移除Sθ导致Fβ平均下降1.9%、MAE上升0.014。进一步验证实验表明,Sθ能有效识别任务相关特征组合(评分反转或随机打乱均显著降低性能)。
**4.5.2. 动态特征选择模块有效性**:与手动设计融合路径、可学习加权求和、通道注意力拼接三种替代策略相比,所提动态路由选择模块在Fβ平均提升1.4%、0.9%、0.5%,MAE平均降低0.007、0.005、0.002。可视化显示,早期迭代(第2、4次)倾向于选择高层语义特征实现粗略定位,后期(第6、8次)自适应选择低层细节特征补充边界信息,且当深度信息不准确时逐步增加对清晰RGB特征的依赖。
**4.5.3. 跨模态融合模块有效性**:与手工CNN模块、原始Transformer交叉注意力、神经架构搜索(NAS)模块相比,所提跨模态融合模块在Fβ平均提升3.1%、1.7%、2.6%,MAE平均降低0.017、0.010、0.015。
**4.5.4. 不同编码器与解码器的消融**:使用ViT和Swin Transformer替换DINOv2-B编码器,Fβ分别下降1.8%和0.9%;将HFILNet和EATNet的编码器替换为DINOv2-B后,所提方法仍分别提升Fβ 3.2%和2.4%,说明性能增益主要来自动态路由机制而非编码器本身。
**4.5.5. 不同超参数的消融**:K=3时性能最优(Fβ=0.965,MAE=0.015);K=1或K≥5均导致性能下降。迭代次数N=8时在性能与计算成本间取得最佳平衡(Fβ比N=4提升3.2%,MAE降低0.038,FPS降低5.5);N从8增至10仅带来边际改善。
**4.5.6. 不同分辨率的消融**:输入分辨率增至336和448时Fβ分别提升0.4%和0.9%,但FPS分别下降18.3和27.8(448分辨率仅7.3 FPS),因此默认采用224分辨率以平衡实时性。

**讨论总结与研究结论翻译**

**讨论**部分指出当前方法的三个局限性:(1)框架专为RGB-D双模态设计,尚未扩展到多异构传感器融合;(2)动态融合采用固定迭代次数,缺乏早期退出机制,对简单样本造成不必要开销;(3)评分函数仅遵循条件互信息优化原则,未对数值输出进行严格逼近或推导近似误差界。未来工作将向多模态感知场景扩展(如RGB-D-T、RGB-D-LiDAR)、探索轻量化网络设计(如早停机制)、以及开发数学上严格的条件互信息近似方法。

**结论**翻译如下:
现有RGB-D显著目标检测方法在严重光照变化或低质量深度图等挑战条件下,常因不可靠模态引入的噪声导致特征冲突而出现显著性能退化。为解决传统多模态融合策略忽视不同模态间质量分布不均的局限,本文提出一种面向RGB-D显著目标检测的动态特征融合框架。通过整合受信息论启发的MCM引导的动态路由机制与自适应跨模态融合策略,所提方法有效缓解了由模态质量不平衡导致的性能下降。实验结果表明,该方法在七个基准数据集上取得了具有竞争力的性能。此外,在测试的严重模态质量退化挑战性数据集(包括杂乱背景和多尺度目标场景)中,所提方法保持了鲁棒性。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号