《Remote Sensing》:HSAR-DETR: Hierarchical Spatial–Frequency Attention Network for UAV Small Object Detection
编辑推荐:
无人机遥感影像中的小目标检测在基础设施巡检、灾害评估和精准农业等应用中发挥着至关重要的作用,在这些场景中,目标通常在大地面采样距离(Ground Sample Distance, GSD)变化和复杂杂乱背景条件下占据极少像素。现有方法在无人机小目标检测中仍面临
无人机遥感影像中的小目标检测在基础设施巡检、灾害评估和精准农业等应用中发挥着至关重要的作用,在这些场景中,目标通常在大地面采样距离(Ground Sample Distance, GSD)变化和复杂杂乱背景条件下占据极少像素。现有方法在无人机小目标检测中仍面临三个主要挑战:重复下采样导致的细粒度细节丢失、跨尺度融合过程中的特征不一致性,以及密集分布的空中场景中不稳定的边界回归。为解决这些问题,本文提出了HSAR-DETR,一种联合改进层次化特征表示、跨尺度细化和几何感知定位的检测框架。具体而言,引入层次化增强网络(Hierarchical Enhancement Network, HENet)以保留浅层空间细节,同时加强深层语义上下文表示。在P4到P3融合阶段设计了双流特征细化模块(Dual-Stream Feature Refinement module, DSFR),将空间域结构建模与频域相位细化相结合,以提高跨尺度特征一致性。在检测头之前进一步部署坐标引导自适应卷积模块(Coordinate-Guided Adaptive Convolution module, CGAC),将坐标引导的偏移幅度转换为调制权重,用于自适应特征重校准和改进定位稳定性。此外,引入一个常规的高分辨率P2检测分支以增强小目标表示。在VisDrone、RSOD和TinyPerson数据集上的实验结果表明检测性能得到提升。在VisDrone验证集上,HSAR-DETR达到了50.8%的mAP50和31.4%的mAP50:95,分别比RT-DETR基线高出4.2和3.0个百分点。
**基于HSAR-DETR的无人机小目标检测:层次化空间-频率注意力网络研究解读**
**一、研究背景与问题分析**
无人机遥感已成为城市规划和精准农业等对地观测任务不可或缺的工具。然而,无人机影像中目标的有效尺度高度依赖于随飞行高度和相机参数连续变化的地面采样距离,导致目标在影像中可能缩小至仅数个像素。在此类影像中,小目标通常占据总像素的极小比例,并面临密集分布、复杂背景和视角变化等挑战。现有方法在无人机小目标检测中仍面临三大核心问题:其一,骨干网络中的重复下采样逐步侵蚀目标的细粒度边缘和纹理线索,而这些往往是极小目标唯一可辨识的证据,降低了边界定位精度;其二,特征金字塔跨尺度融合时,上采样插值和横向拼接难以同时保持语义一致性和空间对齐,导致融合特征出现错位和模糊;其三,密集目标分布缺乏有效的几何约束机制,边界回归易受邻近目标干扰,造成定位不稳定。尽管Transformer检测器引入了全局上下文建模并改进了多尺度表示,但无人机小目标检测中的浅层高分辨率细节利用不足、跨尺度融合特征模糊以及密集或遮挡场景下的定位误差等问题依然突出。
**二、研究内容与核心结论**
针对上述挑战,研究人员提出了HSAR-DETR,一种面向无人机小目标检测的精度导向检测框架。该框架通过三个核心组件分别解决特征提取、跨尺度融合和边界定位问题:层次化增强网络采用浅深解耦设计,浅层使用轻量增强块保留高分辨率细节,深层引入混合注意力增强块强化语义建模,实现了细节保留与语义学习的解耦;双流特征细化模块针对P4→P3融合阶段的结构不一致性,将空间域多尺度条带卷积与频域相位调制细化相结合,在保留幅度谱作为稳定参考的同时选择性细化相位表示,提高了跨尺度融合的特征一致性;坐标引导自适应卷积则在不改变原始采样网格的前提下,将预测的坐标引导偏移幅度转化为调制权重,对边界敏感特征进行自适应重校准,改善了密集场景中的定位稳定性。此外,框架引入常规高分辨率P2检测分支以增强小目标表示。在VisDrone、RSOD和TinyPerson三个数据集上的实验表明,HSAR-DETR在多种遥感场景中均取得一致的性能提升,验证了层次化空间-频率联合建模对无人机小目标检测的有效性。
**三、主要技术方法**
为开展研究,研究人员设计了三阶段递进的技术方案。首先,构建层次化增强网络替代原始ResNet骨干,在P2和P3阶段部署轻量增强块,通过双路径通道拆分机制在部分通道上进行局部结构增强;在P4和P5阶段引入混合注意力增强块,其中包含聚焦线性注意力模块和门控线性增强单元,以降低计算复杂度的同时建模长程依赖。其次,在P4→P3融合路径中嵌入双流特征细化模块,空间分支采用多尺度条带卷积增强方向性结构建模,频率分支通过二维快速傅里叶变换将特征分解为幅度和相位分量,仅对相位表示进行可学习的卷积调制后再通过逆变换重构。最后,在检测头前部署坐标引导自适应卷积,通过Sobel算子和Laplacian算子提取梯度与二阶结构响应并融合空间距离先验,预测偏移场后将其幅度经Sigmoid函数转化为调制权重,实现几何感知的特征重校准。实验基于VisDrone(6471张训练图像)、RSOD(按7:2:1划分)和TinyPerson(794张训练图像)三个公开数据集,在NVIDIA RTX 5060 Ti平台上从零训练200轮完成评估。
**四、研究结果**
**(1)整体网络消融实验:** 在VisDrone验证集上,以RT-DETR为基线逐步引入各组件。单独引入HENet将mAP
50从46.6%提升至47.1%,同时将参数量从19.9M降至13.7M;单独添加DSFR使mAP
50和mAP
50:95分别提升0.9%和0.6%;单独添加CGAC则分别提升1.2%和0.8%。引入P2检测分支带来更显著提升,mAP
50达到49.3%。完整的HSAR-DETR最终达到50.8%的mAP
50和31.4%的mAP
50:95,较基线分别提升4.2和3.0个百分点。
**(2)HAEB模块数量分析:** 在HENet深层阶段堆叠不同数量的HAEB模块,实验表明从1个增加到3个时精度稳步提升,而增加到4个时精度下降,表明适度堆叠可增强深层语义建模,但过深可能导致特征传递瓶颈。最终默认采用3个HAEB模块。
**(3)DSFR空间与频域调制策略消融:** 固定HENet、CGAC和P2检测层,仅改变DSFR内部配置。空间分支单独使用和相位调制细化(PMR)单独使用分别达到50.5%/31.0%和50.3%/30.8%。完整DSFR结合空间分支与相位导向PMR取得最佳性能50.8%/31.4%。对比实验表明,相位调制优于幅度调制,联合调制未带来进一步提升,验证了仅选择性细化相位、保留幅度作为稳定参考的设计合理性。
**(4)DSFR特征级可视化分析:** 对P4→P3融合阶段的空间响应和频域表示进行可视化,结果显示DSFR处理后的空间响应发生明显重分布,幅度谱保持总体相似的分布但存在局部调整,相位表示在PMR内被显式变换。使用相同幅度谱、仅将原始相位替换为细化相位的重构结果出现明显变化,从特征层面证实了相位细化直接影响特征表示的空间组织。
**五、讨论与结论**
在VisDrone测试集上,HSAR-DETR取得了57.9%的Precision、41.7%的Recall、41.4%的mAP
50和24.1%的mAP
50:95,较RT-DETR基线分别提升4.4和2.5个百分点。在RSOD数据集上取得具有竞争力的检测性能,在TinyPerson数据集上mAP
50和mAP
50:95分别达到26.0%和8.2%,在所有评估指标上均获得稳定增益。可视化分析和Grad-CAM热力图显示,HSAR-DETR在目标区域产生更强更紧凑的激活响应,同时有效抑制背景区域的无关响应。讨论部分指出,三个数据集间的性能差异主要归因于目标尺度、目标密度和背景复杂度的不同;检测精度的提升伴随计算开销增加(GFLOPs从57.0增至78.6,FPS从72.2降至54.6),需在部署时考虑机载平台的资源约束。极端拥挤场景中的重叠响应、严重遮挡目标的漏检以及类目标背景结构的误检仍是有待解决的挑战。结论表明,HSAR-DETR通过联合改进层次化表示、跨尺度空间-频率交互和几何感知特征建模,有效增强了复杂空中场景中小目标及密集分布目标的特征表示能力,未来工作将聚焦于极端遮挡和拥挤条件下的检测改进以及面向资源受限无人机应用的计算开销降低。