EA-ACCM:通过相邻上下文协调模型实现基于边缘锚点的RGB-D显著性检测

《Neurocomputing》:EA-ACCM: Edge-anchored RGB–D saliency detection via adjacent context coordination model

【字体: 大 中 小 】 时间:2026年03月26日 来源:Neurocomputing 6.5

编辑推荐:

  RGB-D显著目标检测新框架EA-ACCM通过相邻上下文协调模块解决跨尺度特征错位、深度边缘不一致及噪声问题,采用双Swin Transformer编码器结合可变形卷积与边缘引导解码器,在实时性(28FPS)下取得五项RGB-D基准最优精度。

  
Inam Ullah | Sumaira Hussain | Shahid Ali Khan | Mukhtiar Khan | Kashif Shaheed | Muhammad Qasim Khan | Irfan Ali Khan
山东建筑大学计算机科学与人工智能学院,中国济南

摘要

本文提出了基于边缘的相邻上下文协调模型(EA-ACCM),这是一个受人类视觉注意力启发的新颖框架,用于RGB-D显著对象检测(SOD)。我们的方法解决了跨尺度特征不对齐、深度-边缘不一致以及低质量深度数据中的噪声等关键问题。核心创新是相邻上下文协调模块(ACCoM),它利用可变形卷积在编码器层次结构之间实现三维、深度感知的融合,以解决空间-几何冲突并抑制噪声。统一的边缘引导解码器机制通过在每个解码阶段注入明确的边界约束来进一步提高预测精度。该模型基于双Swin Transformer编码器构建,集成了深度引导的空间重新校准,并采用混合损失函数进行优化。在五个RGB-D基准测试(NJU2K、NLPR、SIP、STERE、LFSD)和五个RGB基准测试(ECSSD、PASCAL-S、DUTS-TE、HKU-IS、DUT-OMRON)上的广泛实验表明,EA-ACCM建立了新的最佳性能水平。全面的消融研究验证了每个组件的有效性,结果显示,与没有ACCoM的模型相比,ACCoM模块在NJU2K数据集上将MAE降低了34.0%。在RTX 4060 GPU上运行时,我们的模型具有出色的准确性和实时效率,适用于机器人技术、医学成像和其他智能视觉系统。

引言

显著对象检测(SOD)是各种下游视觉任务的基本预处理步骤,旨在识别和分割场景中最具有视觉特色的区域。这一能力在机器人技术中尤为重要,因为实时感知有助于安全导航、物体抓取和人机交互[1]、[2]。除了机器人技术之外,SOD还推动了医学诊断[3]、[4]、视频编辑[5]和内容感知图像压缩[6]的进步。虽然早期方法依赖于手工制作的启发式先验(例如颜色对比度、中心偏置)[7]、[8],但深度学习彻底改变了这一领域。卷积神经网络(CNN)引入了编码器-解码器架构,显著提高了语义表示[9]、[10]、[11]。
最近,该领域开始探索复杂的特征相关性。例如,MGCNet[12]利用分层对比学习来挖掘组间相关性,而GroupTransNet[13]利用组变换器来净化跨模态特征。类似地,M2RNet[14]和LC3Net[15]展示了阶梯式上下文相关性在细化多尺度表示中的重要性。然而,卷积操作的局部性通常限制了对长距离依赖性的建模,因此采用了基于Transformer的架构[16]、[17],这些架构提供了全局感受野。
尽管这些基于Transformer的最新方法(例如EATNet[18]、PLFRNet[19])具有令人印象深刻的准确性,但我们认为当前的最佳技术面临三个根本性瓶颈,这些瓶颈阻碍了其在实际RGB-D场景中的应用:
  • 计算效率与准确性的权衡。许多最新方法通过依赖计算密集型的跨注意力机制或复杂的迭代净化过程来实现高准确性[12]。虽然有效,但这些设计通常会导致巨大的计算开销,使其不适合对时间要求严格的机器人应用。相反,极轻量级的模型往往牺牲了处理复杂场景所需的深度语义上下文。缺乏能够在强大特征提取和实时推理速度之间取得平衡的架构。
  • 顺序错误传播。大多数现有架构使用标准的自上而下或双向特征金字塔网络(FPNs)来合并不同尺度。我们认为这种拓扑结构对于RGB-D数据来说是不够的,因为一个尺度上的几何不一致性(例如深度噪声或不对齐)会依次传播到其他尺度,而无法立即得到纠正。标准方法缺乏一种机制来同时协调之前的、当前的和下一个尺度,以立即解决歧义。
  • 深度-RGB不对齐。有效利用深度仍然具有挑战性。当前的融合策略通常将深度和RGB边缘分开处理,或者使用不直接影响主要解码路径的辅助任务。这导致在透明或反射表面上,深度传感器的噪声会降低RGB边界的精度,从而在最终预测中产生模糊的边缘。
  • 为了解决这些系统性问题,我们提出了基于边缘的相邻上下文协调模型(EA-ACCM),这是一个旨在协调高精度边界恢复和实时效率之间权衡的新框架。与标准自上而下的方法不同,我们的流程引入了三维融合范式。我们提出了相邻上下文协调模块(ACCoM),它通过同时整合来自之前(细节丰富)、当前和下一个(语义丰富)尺度的特征来建立一个局部化的错误校正窗口。这由一个深度感知的可变形对齐机制来支持,该机制动态地纠正几何不一致性。此外,为了严格保证边界精度,我们设计了一个统一的边缘引导解码器,它在每个上采样阶段主动注入预测的边缘logits,迫使网络在重建过程中尊重物体轮廓。
    我们的主要贡献总结如下:
  • (1)
    相邻跨尺度协调:我们提出了相邻上下文协调模块(ACCoM),这是一种新颖的三维融合机制。与标准的单向FPNs不同,ACCoM使用深度感知的可变形对齐同时整合来自之前、当前和下一个尺度的特征。这有效地缓解了由遮挡引起的跨分辨率不一致性和伪影。
  • (2)
    统一的边缘显著性流程:我们引入了一个紧密耦合的边缘引导解码器框架。虽然之前的工作通常将边缘检测视为一个独立的辅助任务,但我们的方法主动将边缘logits注入到每个上采样阶段。这显著改善了细结构和物体轮廓的定位,且开销最小。
  • (3)
    深度一致的优化:我们开发了一种稳健的优化策略,采用了一个简单而有效的混合损失函数。这种方法增强了模型处理深度相关伪影的能力,并改善了收敛性,在结构学习和边界精度之间取得了平衡,而无需复杂的后处理。
  • (4)
    强大的准确性与效率权衡:我们在五个 RGB-D基准测试上的全面评估显示了最佳性能。与之前的最佳方法(EATNet)相比,该模型在具有挑战性的NJU2K数据集上实现了+0.3%的显著提升,同时保持了28 FPS的实时性能。此外,我们的单流变体在五个额外的RGB基准测试中表现优于专门的RGB方法,弥合了重型Transformer和轻量级CNN之间的差距。
  • 相关工作

    相关工作

    显著对象检测(SOD)领域已经取得了显著进展,从早期的手工制作模型发展到利用多模态数据的现代深度学习架构。我们的工作建立在RGB SOD、RGB-D融合策略以及用于特征增强的专用模块的进步之上。

    模型架构概述

    RGB-D显著对象检测需要有效整合来自RGB和深度模态的互补线索,同时减轻传感器噪声和边界模糊。我们提出的架构EA-ACCM(图1)采用双Swin Transformer编码器从RGB和深度输入中提取四阶段层次特征。
    在每个阶段,一个深度引导融合模块(图2)对两个流进行对齐和合并。首先,点对点降维器(Conv+BN+ReLU)将特定于模态的特征压缩到

    数据集与评估指标

    我们通过聚合先前显著性检测研究中常用的多个RGB-D数据集来构建训练集。具体来说,我们遵循了之前工作[26]、[28]的数据选择协议,并额外加入了来自DUT-RGBD数据集的800对标注图像。经过预处理和过滤后,最终训练集包含2985对RGB-D图像,涵盖了广泛的室内和室外场景、物体规模和深度条件。
    对于评估,我们采用了五个

    结论

    我们提出了EA-ACCM,这是一个新颖的RGB-D SOD框架,通过三项关键创新推动了该领域的发展。首先,相邻上下文协调模块(ACCoM)引入了一种三维融合机制,有效解决了跨尺度不对齐问题,同时保持了计算效率。其次,我们统一的边缘引导解码器建立了边界检测和显著性预测之间的紧密耦合,实现了物体边界的精确定位。

    CRediT作者贡献声明

    Inam Ullah:撰写 – 审稿与编辑,撰写 – 原始草稿,可视化,方法论,概念化。Sumaira Hussain:撰写 – 原始草稿,监督,项目管理,形式分析。Shahid Ali Khan:可视化,调查,形式分析,数据管理。Mukhtiar Khan:撰写 – 审稿与编辑,撰写 – 原始草稿,方法论,形式分析。Kashif Shaheed:可视化,验证,形式分析,数据管理。Muhammad Qasim Khan:可视化,

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能会影响本文报告的工作。
    Inam Ullah于2011年获得巴基斯坦白沙瓦大学的计算机科学学士学位,2015年获得巴基斯坦伊斯兰国际大学的计算机科学硕士学位。2021年,他在中国济南的山东大学完成了计算机科学(计算机视觉)博士学位。他曾担任白沙瓦谢赫扎伊德伊斯兰中心和伊斯兰国际大学的讲师。
    相关新闻
    生物通微信公众号
    微信
    新浪微博

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号