UPE-DETR:通过提示引导的特征增强实现对水下小型物体的环境感知检测

《Expert Systems with Applications》:UPE-DETR: Toward Environment-Aware Detection of Underwater Small Objects via Prompt-Guided Feature Enhancement

【字体: 大 中 小 】 时间:2026年10月01日 来源:Expert Systems with Applications 9.4

编辑推荐:

  •提出UPE-DETR,一种用于水下小物体检测的prompt引导式变换器。•Prompt Feature Generation能够学习到具有场景感知能力的多尺度空间提示。•Prompt Enhance Block通过全局上下文建模来细化高级语义。•带有自适应特征融合的双主干网络在

  
  • •
    提出UPE-DETR,一种用于水下小物体检测的prompt引导式变换器。
  • •
    Prompt Feature Generation能够学习到具有场景感知能力的多尺度空间提示。
  • •
    Prompt Enhance Block通过全局上下文建模来细化高级语义。
  • •
    带有自适应特征融合的双主干网络在图像退化情况下能够稳定特征。
  • •
    UPE-DETR在UPRC2020、RUOD和Brackish数据集上取得了新的最佳效果。

引言

物体检测是计算机视觉中的一个基本任务,它是许多实际应用的基石,例如自动驾驶、机器人导航和环境监控(Zou, Chen, Shi等人,2023年)。卷积神经网络(CNN)由于其强大的特征提取和表示能力,在物体检测方面取得了显著进步。最近,Detection Transformer(DETR)(Carion等人,2020年)的出现通过端到端检测方式彻底改变了这一领域,无需依赖手工制作的锚点和后处理,通过全局注意力机制显著增强了语义表示。后续基于Transformer的变体,如Deformable-DETR(Zhu, Su, Lu等人,2020年)、DINO-DETR(Zhang, Li, Liu等人,2022年)和RT-DETR(Zhao, Lv, Xu等人,2024年),通过解决计算效率和增强多尺度特征交互进一步完善了这种架构。尽管在一般物体检测场景中取得了显著成功,但这些方法在面对极端视觉退化或物体大小变化较大的具有挑战性的环境时往往面临严重限制。
特别是水下领域,仍然是物体检测的一个关键但未充分探索的前沿。与陆地环境相比,水下环境引入了独特的困难,包括视野受限、颜色失真、背景复杂以及严重的图像质量退化(Chen, Huang, Dong等人,2024a)。这些因素显著加剧了检测挑战——尤其是对于通常占据很少像素且缺乏明显视觉线索的小物体。传统方法通常使用多尺度特征融合或上下文推理来解决这些问题,将浅层空间细节与深层语义信息结合起来(Liu, Qi, Qin等人,2018年;Liu, Gao, Sun等人,2020年)。然而,如图1(a)所示,这些方法在水下图像中普遍存在语义不一致和空间错位的问题。
最近解决水下小物体检测的方法主要侧重于通过专门的架构设计或复杂的融合策略来增强特征表示。典型方法包括动态通道选择以突出信息丰富的特征图(Ouyang, Wei, & Wang,2022年)、可变形卷积金字塔以更好地适应几何变化(Qi, Du, Wu等人,2022年),以及基于注意力的聚合以选择性地融合多尺度特征(Chen, Zhuang, Zhang等人,2024b)。尽管方法各不相同,但这些方法通常都致力于丰富特征语义或提高空间适应性。然而,仍然存在两个关键限制:首先,深层语义特征虽然具有丰富的上下文信息,但通常空间分辨率较低,并且容易受到水下失真引起的语义歧义的影响。相反,浅层空间特征保留了细节,但往往缺乏足够的语义区分能力,使得准确的物体分类变得复杂。现有的融合策略,如直接连接或简单的加法融合,因此无法充分解决深层特征和浅层特征之间的固有差异,导致空间-语义对齐效果不佳。其次,大多数现有方法采用静态或手动设计的特征增强机制,在复杂多变的水下条件下限制了它们的场景感知能力。
鉴于这些挑战,一些相关领域最近的研究尝试将空间提示特征作为在复杂视觉条件下增强特征表示的另一种视角。例如,SA2VP(Pei等人,2024年)引入了一种空间对齐的2D提示图,其中每个提示都被分配到特征空间中的特定位置。这种设计保留了空间结构,并实现了位置感知的提示,有助于减轻跨尺度聚合引起的语义不一致。此外,FPro(Zhou等人,2024年)证明,从中间特征派生的提示可以作为显式的条件提示,以数据驱动和自适应的方式指导特征处理。这些研究共同表明,可学习的空间提示可以保留细粒度的局部信息,并自适应地调节跨尺度的表示学习——为解决水下小物体检测中的空间语义错位和有限适应性问题提供了有希望的方向。
受这些研究的启发,我们提出了UPE-DETR,这是一个专门为水下小物体检测设计的场景感知检测框架。UPE-DETR的核心是Prompt Feature Generation(PFG)模块,该模块生成多尺度、具有场景感知能力的提示,以在不同语义层次上编码上下文线索。与传统引导机制不同,这些提示作为隐式的语义锚点,指导模型在特征尺度上学习更具区分性的表示。如图1(b)所示,提示在多个阶段注入,以同时加强语义对齐和空间定位。通过弥合局部细节和全局理解之间的差距,UPE-DETR实现了对小物体和水下视觉模糊目标的更准确和稳健的检测。
虽然PFG提供了上下文指导,但单独的原始提示可能仍然缺乏区分性语义强度。为了进一步改进它们,我们引入了Prompt Enhance Block(PEB),该块通过基于注意力的推理注入全局上下文信息,专门用于在较高的编码器阶段增强提示语义,从而提高语义一致性和对抗水下失真的稳健性。此外,为了稳定训练和提高特征表示质量,我们提出了一个双流设计,包括一个主主干网络和一个具有冻结预训练权重的辅助主干网络。这两个流通过Adaptive Feature Fusion(AFF)模块集成,该模块将辅助主干网络的稳定语义先验与主主干网络的动态演化特征自适应地合并,有效地减少了表示差异并增强了整体检测性能。
我们的贡献总结如下:
  • •
    我们提出了UPE-DETR,这是一种新的水下检测框架,它利用prompt引导的特征增强来应对在复杂水下环境中检测小物体的挑战。
  • •
    我们设计了Prompt Feature Generation(PFG)模块,该模块生成多尺度上下文提示,以丰富语义理解并减轻空间错位。此外,我们引入了Prompt Enhance Block(PEB)来进一步细化这些提示并提高高级语义抽象。
  • •
    我们引入了一种双流学习策略,其中一个冻结的辅助主干网络提供稳定的环境先验。为了将其特征与主主干网络有效融合,我们开发了Adaptive Feature Fusion(AFF)模块,以实现空间适应性和语义一致性。
  • 章节片段

    水下物体检测器

    水下物体检测已经从通用检测器的直接适应发展到更特定于任务的、具有场景感知能力的解决方案。早期的努力,例如将Fast R-CNN应用于海洋物种识别(Li等人,2015年),验证了基于深度学习的方法在水下场景中的可行性,但在视觉质量下降的场景中鲁棒性和实时性能较差。

    方法论

    我们在图2中展示了我们提出的检测器UPE-DETR的总体架构。该框架基于DETR风格的编码器-解码器设计,并引入了三个关键创新:Prompt Feature Generation(PFG)、Prompt Enhance Block(PEB)和带有Adaptive Feature Fusion(AFF)的双主干网络设计。这些组件协同工作,通过prompt引导的特征增强来增强水下小物体检测。PFG生成多尺度提示特征

    实现细节

    我们在三个水下物体检测基准测试上进行了广泛的实验:UPRC2020(UPRC20组织委员会,2020年)、RUOD(Fu, Liu, Fan等人,2023年)和Brackish(Pedersen, Lehotsk?, Nikolov, & Moeslund,2023年)。根据官方数据划分,UPRC2020包含5,543张训练图像、1,200张验证图像和800张测试图像,涵盖四种类别,即海胆、海参、扇贝和海星。RUOD包含9,800张训练图像和4,200张测试图像,涵盖十个

    结论

    在本文中,我们介绍了UPE-DETR,一种利用prompt引导的特征增强和双流语义稳定的水下小物体检测框架。提出的Prompt Feature Generation和Prompt Enhance Block通过注入和精细化多尺度上下文提示来提高场景感知的语义适应性,而Adaptive Feature Fusion模块将稳定的辅助先验与动态学习到的特征集成,以增强表示的稳健性。广泛的

    未引用引用

    缺失引用表A.3。

    CRediT作者贡献声明

    Minghua Zhang:概念化、方法论、软件、形式分析、验证、可视化、写作——原始草稿、写作——审阅与编辑。Lingxiao Yang:概念化、方法论、软件、形式分析、调查、验证、可视化、写作——原始草稿、写作——审阅与编辑。Wei Song:概念化、方法论、监督、项目管理、资金获取、资源、写作——审阅与编辑。Qi He:数据整理,
    Minghua Zhang|Lingxiao Yang|Wei Song|Qi He|Mengying Ge
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号