一种面向显著目标检测的新型“教师-学生”跨模态融合框架
《Engineering Applications of Artificial Intelligence》:A novel “teacher–student” cross-modal fusion framework for salient object detection
【字体:
大
中
小
】
时间:2026年08月28日
来源:Engineering Applications of Artificial Intelligence 9.0
编辑推荐:
摘要 将RGB(红绿蓝)与深度信息融合以实现显著性目标检测(SOD)是一个持续性的研究课题。不同于当前流行的多流模型,我们提出了一种新颖的紧耦合跨模态融合框架,该框架基于一种深入的"师生"讨论策略,命名为IDTSNet,旨在实现单流方法的跨模态交互与优化。在本文中,我们为这一
摘要 将RGB(红绿蓝)与深度信息融合以实现显著性目标检测(SOD)是一个持续性的研究课题。不同于当前流行的多流模型,我们提出了一种新颖的紧耦合跨模态融合框架,该框架基于一种深入的"师生"讨论策略,命名为IDTSNet,旨在实现单流方法的跨模态交互与优化。在本文中,我们为这一框架开发了特征编码器和解码器。在编码器中,我们将RGB与深度信息(定义为"教师")直接融合,通过骨干网络(定义为"学校")来提取特征。受到人类社会学校中教师与学生之间教育模式的启发,我们设计了教学模块(TM),通过"教师"在"学校"中培养出两组高质量的特征。对于解码器,我们设计了一个讨论模块(DM),让两个"学生"通过讨论来克服各自的不足。此外,我们的方法还融入了一个研讨模块(SM),以实现教师与学生之间的学习与交流,从而共同输出高质量的解码特征。最终,通过各种模块的堆叠、交互和优化,输出预期的显著性图。在五个热门基准数据集上的大量实验表明,我们的方法在定性分析和定量评估上均优于当前最先进的方法。同时,这种"师生"讨论策略也为未来在RGB-D融合任务中使用单流结构提供了新的思路。
引言 人类依赖视觉注意力机制来快速捕捉周围环境中最为显著的目标和区域。这使得人类大脑能够迅速对目标交互和识别做出响应(Koch和Ullman,1985)。为了赋予计算机这一能力,显著性目标检测(SOD)任务应运而生。SOD使计算机能够识别周围环境中最为突出的目标和区域,从而显著增强多种计算机视觉任务的精度和鲁棒性。近年来,SOD展现了其强大的性能,并广泛应用于目标检测(Wang等,2018)、语义分割(Zhang等,2019)、行人重识别(Zhong等,2018)、同步定位与建图(K. Wang等,2021)、机器人导航(Craye等,2016)以及其它领域(W. Zhou等,2021,Li等,2022)。
近年来,SOD任务引起了众多学者的关注,产生了大量子任务,例如二维RGB SOD(Y. Liu等,2022;Qiu等,2022;Z. Wang等,2021;Z. Wang等,2022;Ma等,2023;J. Zhang等,2022;M.S. Lee等,2022;J.-J. Liu等,2023;L. Zhang等,2022;Hussain等,2022;Wang等,2023;Y. Liu等,2023;Liu等,2022)、三维RGB-D SOD(J. Zhou等,2022;Ji等,2021;Chen等,2021;Wen等,2021;M. Lee等,2022;Zhang等,2022b;Cheng等,2022;W. Zhou等,2022;Liao等,2022;Cong等,2022;T. Chen等,2022;Wei和Zong,2023;Fu等,2022;Q. Chen等,2022;Ji等,2022b;Chen等,2023;Bi等,2023;F. Wang等,2022;Yao等,2023;Z. Liu等,2022;Cong等,2023a;Wang等,2024;Wu等,2023;Yi等,2024)、四维光场SOD(Gao等,2023;M. Wang等,2022;Feng等,2022;Zhang等,2022a)、协同SOD(Zhu等,2023;Cong等,2023b;Yu等,2022;R. Gao等,2022)以及视频SOD(Piao等,2022;Su等,2023;S. Gao等,2022;Liu和Liu,2023)。这些方法在各自的应用领域中均展现了优异的性能。在本文中,我们聚焦于三维RGB-D SOD任务。事实上,由于人类拥有能够感知深度信息的双目系统,引入这一深度数据使我们能够更精确地检测环境中的显著目标和区域。因此,如图1所示,与仅能捕捉RGB图像丰富色彩和纹理信息的二维RGB SOD相比,三维RGB-D SOD额外引入了深度信息,使其更接近人类的视觉注意力机制。此外,深度图能够实现几何结构感知,并借助内部一致性和光照不变性来约束SOD任务,从而更好地应对复杂场景(如低对比度等)。
随着深度传感器技术的进步以及丰富的开源RGB-D数据集的可用,三维RGB-D SOD领域取得了快速进展(T. Zhou等,2021)。然而,RGB图像和深度图代表来自两种不同模态的信号。因此,如何有效地融合这两种模态已成为一项重要的研究课题。对于特征编码器,在编码两种输入模态时,如图2所示,大致可分为以下三种主流模式:(1)单流结构:两种模态通过维度拼接、加法或时序的方式传入编码器进行编码。(2)双流结构:RGB分支编码器和深度图分支编码器之间存在权重共享或不共享。(3)三流结构:RGB编码器分支、深度图编码器分支以及RGB和深度图联合编码器分支之间进行权重共享或不共享。根据此前的研究,由于单流结构结构简洁、思路简单,直接融合两种不同模态的特征使得网络难以充分挖掘两种模态特征之间的信息,导致性能较低。因此,双流/三流模式因其对两种模态的独立编码而受到青睐,但通常需要较高的计算资源。在我们的研究中,我们专注于单流模型,旨在注入先进的理念,在保持单流模型简洁结构的同时实现卓越性能,使其可与多流模型相媲美。
与双流/三流结构中两种模态的编码特征明确且便于后处理不同,单流模式的设计更具挑战性,因为在单流结构中,模型处理后的两种模态特征紧耦合且难以区分,这要求更多先进的理念和模块来支撑并维持高性能。受到人类社会学校教学模式的启发,我们提出了一种新颖的教学模块(TM),并将其视为一个"学校",而输入到TM中的两种模态的特征则定义为"教师"。此时,教师将在学校中教导学生,随后培养出两名优秀的学生——即编码器的两类多层次输出特征("学生A"和"学生B"),同时输出具有全局引导能力的最高层语义特征("教师")。这种模拟人类社交生活的理念赋予了编码器强大的特征编码能力。
对于解码器,我们的目标是融合编码器输出的多层次特征。受到学生在校学习知识的方式的启发,由于每个学生接受知识的能力不同,学生不可能完全吸收教师所教授的知识。因此,学生需要通过课后讨论来填补各自的知识空白。我们设计了一个讨论模块(DM)来模拟这一行为。在此情况下,编码器输出的学生A和学生B的特征可以在不同的多层次进行交互,从而弥补各自的不足,最终确保学生A和学生B都具有相对完整的特征信息。同时,在学校中,虽然学生在讨论后能够有效地弥补知识欠缺,但仍有许多知识无法理解。此时,学生通常会向教师寻求帮助,同时也能启发教师。受到此启发,我们在DM之后提出了一种新颖的研讨模块(SM)来模拟这一行为。学生A和学生B的特征与教师的特征进行交互和整合,使教师和学生都能更深入地理解各自的特征,并通过研讨探索出更多有价值的特征信息。
我们借助讨论模块和研讨模块构建了一个高性能的解码器,使其能够更好地与编码器匹配,实现RGB图像和深度图两种模态的紧耦合融合。最后,我们借助混合损失函数(如二元交叉熵(BCE)和交并比(IOU))在像素级和对象级两个层面监督网络,输出高质量的预测显著性图。
本文的主要贡献总结如下:
- 我们提出了一种新颖的深入讨论"师生"跨模态融合框架,用于RGB-D显著性目标检测,命名为IDTSNet,该模型模拟了人类社会的教育方式。与当前最先进的方法相比,所提出的IDTSNet实现了优异的性能。
- 对于编码器,我们设计了一种新颖的教学模块(TM),其中引入了"教师"、"学生"和"学校"等人类社会概念,并借助骨干网络将紧耦合的RGB-D特征拆分为两组特征,为单流结构下的RGB-D SOD提供了新的思路。
- 对于解码器,我们提出了一种新颖的讨论模块(DM)和研讨模块(SM),分别模拟了人类社会中学生之间以及师生之间的行为,以实现特征之间的交互。
本文其余部分组织如下。第2节综述当前最先进的水准下的RGB-D SOD方法。第3节介绍我们所提出的IDTSNet,描述其网络架构和一些重要模块。第4节通过与其它最先进方法的对比实验验证我们所提出方法的优越性和有效性。第5节指出所提出模型的局限性。第6节总结全文并提出未来工作的思路。
相关工作 视觉显著性检测最初由Itti和Koch(1998)于1988年提出,经过30多年的发展已逐渐成熟。与RGB SOD模型相比,RGB-D SOD模型受到了越来越多的关注。此外,在深度学习技术的支持下,基于深度学习的RGB-D SOD方法相比传统RGB-D SOD方法表现出改进的性能。本文关注基于深度学习的RGB-D SOD模型。
整体架构 我们提出了一种新颖的深入讨论"师生"跨模态融合框架,用于RGB-D显著性目标检测,命名为IDTSNet,该框架实现了RGB和深度模态的紧耦合。在本文中,每次卷积后执行一次批归一化操作(Ioffe和Szegedy,2015)和整流线性单元操作(He等,2015)。值得注意的是,双流模型已展现出强大的性能并引起广泛关注,从而持续推动相关发展。
实验准备 随着大量开源RGB-D数据集的出现以及深度学习软硬件的不断完善,RGB-D SOD任务得到了快速发展,并涌现出相应的系统性评估标准。
局限性 我们提出了一种新颖的单流RGB-D模型,其检测性能优于现有的单流RGB-D模型,其性能正逐步接近多流RGB-D模型。IDTSNet仍面临现有RGB-D模型的共性问题,例如在复杂环境中的分割精度方面仍有较大的改进空间。作为单流模型,大量模块的引入影响了其轻量化水平。具体而言,我们进行了测试,发现……
结论 鉴于融合RGB和深度图模态以实现更高精度的RGB-D SOD的困难性,以及大量工作集中于双流模型而单流模型被忽视的现状,我们提出了一种用于RGB-D SOD的深入讨论"师生"跨模态融合框架,命名为IDTSNet,这是一种新颖的单流模型。
受人类社区教育方式的启发,提出了教学模块(TM),该模块模拟了CRediT作者贡献声明的发展。Zhenyu Wang:撰写——审阅与编辑,撰写——原始草稿,验证,方法论,形式化分析,数据整理,概念构思。Yunzhou Zhang:监督,资源,项目管理,资金获取,概念构思。Xiao Xu:监督,软件,形式化分析,数据整理。Zhi Jin:撰写——原始草稿,验证,资源。Dong Yang:可视化,验证。Zican Wang:监督,软件,形式化分析。Mengchen Xiong:撰写——原始草稿。利益冲突声明:作者声明他们没有任何已知的竞争性财务利益或个人关系可能影响本文所报告的工作。致谢:本研究受国家自然科学基金(项目编号:61973066)、辽宁省重大科技项目(项目编号:2021JH1/10400049)以及国家留学基金委(CSC)(资助编号:#202206080068、#202106230099、#202006290010)的支持。Zhenyu Wang | Yunzhou Zhang | Xiao Xu | Zhi Jin | Dong Yang | Zican Wang | Mengchen Xiong | Fanle Meng 东北大学机器人科学与工程学院,中国沈阳 110819
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号