基于查询校准的注意力机制与可见性感知的各向异性回归方法用于小目标检测
《Neurocomputing》:Query-calibrated attention and visibility-aware anisotropic regression for small object detection
【字体:
大
中
小
】
时间:2026年07月11日
来源:Neurocomputing 6.7
编辑推荐:
段如祥|杜奇亮|田连芳|刘海林|冯世坤|霍书伟中国华南理工大学自动化科学与工程学院,广州,510640摘要在航空和海洋遥感图像中检测小目标仍然具有挑战性,这是因为目标显著性低、背景杂乱,以及当目标范围接近特征步长时梯度条件恶劣。我们提出了QCAR(查询校准注意力与各向异性回归),
段如祥|杜奇亮|田连芳|刘海林|冯世坤|霍书伟中国华南理工大学自动化科学与工程学院,广州,510640摘要在航空和海洋遥感图像中检测小目标仍然具有挑战性,这是因为目标显著性低、背景杂乱,以及当目标范围接近特征步长时梯度条件恶劣。我们提出了QCAR(查询校准注意力与各向异性回归),这是一种用于基于查询的、类似DETR的变换器检测器的推理保留训练框架,可解决微小目标的两种关联故障模式:查询注意力偏移和脆弱的微观尺度回归。QCAR由两个互补组件构成。高斯校准查询注意力(GCQA)是一种仅用于训练的对齐方法,它将匹配到的真实目标框转换为截断的椭圆高斯掩码,并明确地将解码器查询的空间注意力引向真实的微小区域,而不会引入额外的推理时间分支或参数。各向异性渐进框回归(APBR)则用分阶段的、考虑几何特性的目标函数替代单一的IoU风格监督,首先对齐方向,然后最小化尺寸归一化的中心差异,最后在邻近性门控下优化形状,从而在微观尺度上获得稳定且具有物理意义的梯度。在VisDrone、SeaDronesSee和AI-TODv2上的实验表明,与强大的类似DETR的基准模型相比,AP和AP50指标有持续提升,而消融研究则证实了GCQA和APBR各自的贡献及互补性。总体而言,QCAR保持了底层检测器的推理时间架构和计算复杂度,使其适用于计算资源有限的实际无人机应用。引言在航空和海洋遥感中,小目标检测对于搜索救援、空中监视和基础设施检查至关重要,但实际上仍存在诸多问题。诸如游泳者、浮标和小船只之类的目标在低对比度以及镜面/纹理杂乱(如波浪、尾流、屋顶)的背景下通常只占据少数几个像素,因此基于变换器的检测器往往会将注意力从真实目标上移开,且微观尺度下的目标框会出现不稳定的回归现象。此外,实际的无人机应用受到计算和内存资源的限制,这使得使用高分辨率的暴力处理方法变得不可行。核心挑战在于如何在不增加测试时间成本的情况下,将查询集中在微小目标上,并在微观尺度上稳定地优化目标框。VisDrone和SeaDronesSee等基准测试明确了这些限制,并提供了真实的无人机/海洋场景数据用于评估[1]、[2]、[4]。尽管在三个主要方向上取得了进展,但小目标检测仍存在两个根本性缺陷。首先,多尺度和分辨率增强技术虽然提高了小目标的可分离性,但却增加了计算量,而且无法保证匹配到的查询确实位于应有的位置。其次,类似DETR的训练改进方法——从Deformable DETR的稀疏多尺度采样到DN-DETR的去噪、DINO的更强增强效果以及一对多监督机制,再到最近的快速训练或混合监督变体——虽然提高了收敛速度和召回率[5]、[6]、[7]、[8]、[9]、[24]、[25],动态查询或竞争缓解机制也进一步提升了正样本覆盖率[10]、[26],但这些设计仅间接影响查询图像的对齐,并未对交叉注意力施加明确的、基于几何特征的训练时间约束,以使匹配到的查询始终聚焦在真实的微小目标区域内,因为在该区域一直存在注意力偏移现象。在定位方面,当目标范围接近特征步长时,IoU系列损失函数(GIoU/DIoU/CIoU)的条件会变得恶劣;一个像素的偏移就可能导致IoU值发生巨大变化,从而产生噪声较大的方向/尺度梯度。高斯-瓦瑟斯坦公式(如NWD)可以降低微观目标框的尺度敏感性,而方向-距离-形状思路(如SIoU)则有助于优化过程[3]、[11]、[39]。分配和采样策略(如ATSS、一对多)可以扩大难分类正样本的集合,而针对开放水域无人机SAR领域的定制高效系统(如YoloOW)则更注重工程实现的可行性[21]、[51]。总体而言,目前的检测器仍然缺乏:(a)一种仅用于训练、无需推理的机制,能够明确地将每个匹配到的查询的注意力与微小目标区域对齐;(b)一种渐进式的、各向异性的回归目标函数,能够为微观尺度下的目标框提供稳定且考虑尺寸因素的梯度。本研究重点关注微小目标的两种具体且可验证的故障模式:(1)注意力偏移,即查询的交叉注意力热图在高对比度杂乱元素(如波浪、边缘、车道标记)处达到峰值,而非位于真实目标框内,从而导致分类和定位效果下降;(2)微观尺度回归不稳定,即随着目标区域缩小,方向和尺度梯度会变得各向异性且充满噪声,进而导致目标中心位置偏移以及宽度和高度的波动,即便检测器已经识别出该目标,这种情况依然存在。在VisDrone和SeaDronesSee等无人机基准测试中,这类现象十分普遍。为了解决这些缺陷,我们提出了QCAR,这是一种用于类似DETR的检测器的推理保留训练框架,不会改变测试时间的延迟和参数设置。高斯校准查询注意力(GCQA)将每个匹配到的真实目标框转换为截断的椭圆高斯分布,并在训练阶段将查询的交叉注意力(或相似度)与该分布对齐,从而有效抑制微小目标上的注意力偏移现象。各向异性渐进框回归(APBR)则用分阶段的、考虑几何特性的目标函数替代单一的IoU风格监督,该函数首先对齐目标的方向使其朝向真实中心,然后稳定定位,最后在各向异性形状项的作用下优化目标的宽度和高度,从而为极小的目标框生成平滑且具有物理意义的梯度。总体而言,GCQA负责确定关注点,APBR则负责精准定位,二者共同提升了小目标的检测精度,且不会增加测试时间成本。本研究的主要贡献可总结如下:1. 提出了一种新的小目标检测算法QCAR,适用于航空和海洋图像处理;该算法能够将目标查询集中在真实的微小区域,通过稳定的、考虑几何特性的监督机制优化微观尺度下的目标框,同时保持底层检测器的推理时间架构和计算复杂度。2. 第一项创新是高斯校准查询注意力(GCQA),它将每个匹配到的解码器查询的空间注意力(或相似度)图与基于真实目标框生成的截断高斯掩码对齐,从而使模型将注意力集中在目标的核心区域,而非背景干扰元素上;GCQA仅在训练阶段起作用,不会带来任何运行时成本。3. 第二项创新是各向异性渐进框回归(APBR),它用分阶段的、各向异性的目标函数替代脆弱的IoU风格监督,该函数首先对齐目标方向使其指向真实中心,然后稳定定位,最后在各向异性形状项的作用下优化目标的宽度和高度,从而为极小的目标框生成更为平滑且具有物理意义的梯度。本文的其余部分结构如下:第2节回顾相关研究,并总结航空和海洋图像中小目标检测领域存在的尚未解决的难题。第3节详细介绍所提出的QCAR框架,包括高斯校准查询注意力(GCQA)和各向异性渐进框回归(APBR)。第4节描述实验设置、数据集和评估指标,并报告比较结果及消融研究,同时进行定性分析。最后,第5节对全文进行总结,并探讨研究的局限性及未来发展方向。片段概述我们提出了QCAR(查询校准注意力与各向异性回归),这是一种用于类似DETR的检测器的训练方案,它既保留了原有的推理架构,又解决了航空和海洋图像中微小目标的两种关联故障模式:(i)查询注意力偏移,即解码器查询将注意力集中在高对比度杂乱元素上,而非真实目标区域;(ii)脆弱的微观尺度回归,即随着目标范围接近特征步长,目标框的更新会变得嘈杂且条件恶劣。数据集VisDrone[1]是一个大规模的无人机基准测试数据集,涵盖了城市交通、校园、公园和住宅区等场景,具有多种视角和飞行高度。我们使用官方的检测数据划分,其中包含6471张用于训练的图像、548张用于验证的图像,以及3193张用于测试的图像,这些图像均采用COCO格式进行了标注,涵盖了10种物体类别(如行人、人、自行车、汽车、厢式车、卡车、三轮车、带篷三轮车、公共汽车、摩托车)。这些目标通常体积很小(大部分仅为几个像素),而且常常处于严重遮挡和截断的状态之下。结论本研究通过引入训练时的查询校准机制和考虑尺寸因素的各向异性回归损失函数,解决了在杂乱场景中检测低显著性微小目标的问题。我们提出了QCAR,该算法结合了高斯校准查询注意力(GCQA)来引导解码器查询指向真实目标区域,以及各向异性渐进框回归(APBR)来在微观尺度上稳定地优化目标的方向、中心和形状。QCAR保持了类似DETR的检测器的推理架构:GCQA负责……未引用参考文献[20]CRediT作者贡献声明段如祥:撰写——初稿、可视化、软件、资源、项目管理、方法论、研究、形式分析、数据整理、概念构建。杜奇亮:撰写——审阅与编辑、指导。田连芳:撰写——审阅与编辑、指导、项目管理。刘海林:撰写——审阅与编辑、概念构建。冯世坤:撰写——审阅与编辑、方法论、数据整理、概念构建。霍书伟:撰写——审阅与编辑。利益冲突声明作者声明没有已知的财务利益或个人关系可能影响本文的研究工作。致谢本研究得到了中国国家重点研发计划(2023YFB4704900)和中国国家自然科学基金(NSFC)(62476094)的支持。段如祥于2017年在中国西北农林科技大学获得硕士学位,目前在中国华南理工大学自动化科学与工程学院攻读博士学位。他的研究兴趣包括计算机视觉、机器学习以及小目标检测。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号