《Remote Sensing》:FBR-DETR: An Efficient End-to-End Network for Real-Time Small-Object Detection in UAV Imagery
编辑推荐:
在无人机图像中识别和定位小目标是一项极具挑战性的任务。现有检测模型容易出现漏检、误检以及定位不准等问题,而检测精度和实时性能的提升往往伴随着模型参数数量的增加。为解决这些问题,本文提出了一种用于无人机图像实时小目标检测的高效端到端网络,称为FBR-DETR。该
在无人机图像中识别和定位小目标是一项极具挑战性的任务。现有检测模型容易出现漏检、误检以及定位不准等问题,而检测精度和实时性能的提升往往伴随着模型参数数量的增加。为解决这些问题,本文提出了一种用于无人机图像实时小目标检测的高效端到端网络,称为FBR-DETR。该网络通过特征提取、高效编码和跨尺度融合三个阶段的协同设计,以更少的参数实现了对小目标更高的检测精度和实时性能。FBR-DETR包含三项核心创新。第一,为解决小目标在深层特征中易被背景纹理淹没的问题,研究人员设计了一种频域反卷积增强特征提取网络(FICE-Net),在骨干特征提取过程中引入频域反卷积,以在源头增强对全局频谱结构和细粒度空间特征的联合感知。第二,为降低AIFI中全精度注意力计算带来的推理开销,研究人员构建了基于二值注意力的尺度内特征交互模块(Binary-AIFI),它在控制额外计算开销的同时,对查询矩阵和键矩阵进行二值化,并保留全局上下文表示。第三,为缓解跨尺度融合期间小目标信息的稀释问题,研究人员提出了一种重参数化跨尺度特征融合模块(RCFF),该模块在训练阶段通过多分支重参数化结构增强特征表示,并在推理阶段等价合并为单个卷积,从而平衡融合能力和实时推理效率。在VisDrone2019-DET和HIT-UAV数据集上,所提方法分别取得了51.2%和83.4%的mAP0.5值。与基线模型相比,该方法将mAP0.5提高了5.3%和5.9%,参数数量减少了30.8%,小目标平均精度(APs)分别提升了2.4%和4.9%。
论文解读:基于FBR-DETR的无人机图像实时小目标检测研究
**一、研究背景与问题**
无人机(UAV)平台因其灵活性和低成本在诸多领域得到广泛应用,但由于其固有的俯瞰视角以及复杂的空中场景,使得无人机图像中的目标往往仅占极少数像素,表现出弱纹理、小尺度和低分辨率特征,给目标检测带来了严峻挑战。传统检测模型在复杂的空中背景下极易出现漏检、误检和定位不准的问题。此外,现有检测模型在提高精度和实时性时往往导致模型参数量急剧增加,这对于计算资源受限的无人机嵌入式平台而言难以接受。基于此,研究人员提出了一种兼顾精度、速度与参数量的高效端到端检测网络FBR-DETR,旨在解决复杂无人机场景中小目标检测困难的问题。
**二、研究内容与结论**
该研究以RT-DETR-R18作为基线模型,提出了一种包含特征提取、高效编码和跨尺度融合三个协同优化阶段的端到端网络FBR-DETR。通过在两个具有代表性的无人机基准数据集(VisDrone2019-DET和HIT-UAV)上进行定量与定性实验,验证了其有效性。实验结果显示,与基线模型相比,FBR-DETR在VisDrone2019-DET和HIT-UAV数据集上的mAP
0.5分别提升了5.3%和5.9%,参数数量减少了30.8%,推理速度提升至66.9 FPS,同时在小目标平均精度(AP
s)上分别获得了2.4%和4.9%的增益。研究结论表明,FBR-DETR通过在三个关键阶段进行协同改进,显著增强了模型对密集、弱纹理小目标的特征表达能力,并在精度与效率之间取得了有利的平衡,适合部署在资源受限的无人机嵌入式平台上。该研究成果发表于《Remote Sensing》。
**三、关键技术与方法**
研究人员主要运用了以下关键方法(实验均在包含6471张训练图像的VisDrone2019-DET和包含2029张训练图像的HIT-UAV数据集上进行,所有模型均从零开始训练,未使用预训练权重):
1. 频域反卷积增强特征提取网络(FICE-Net):将Converse2D频域反卷积算子嵌入C2f结构,将特征提取从局部空间域扩展至频域建模,利用闭式光谱反卷积补偿深度下采样造成的分辨率损失,以增强小目标的边界与细粒度结构。
2. 二值注意力尺度内特征交互模块(Binary-AIFI):对AIFI模块中的查询(Q)和键(K)矩阵进行缩放二值化(量化为[?1, +1]),将点积运算转化为高效的汉明距离度量,并采用直通估计器(STE)进行梯度传播,从而在保留全局上下文建模能力的同时降低计算开销。
3. 重参数化跨尺度特征融合模块(RCFF):在PAN特征融合路径中引入多分支卷积结构(GCConv)用于训练阶段增强特征表示,并通过结构重参数化在推理阶段等价合并为单个卷积,以平衡跨尺度融合能力与实时推理效率。
**四、研究结果分析**
**消融实验**
在VisDrone2019-DET和HIT-UAV数据集上针对各模块的有效性进行了消融研究。实验结果表明,基线模型在VisDrone2019-DET上取得45.9%的mAP
0.5。逐步加入FICE-Net、Binary-AIFI和RCFF后,完整模型提升至51.2%的mAP
0.5以及23.5%的AP
s,同时参数从19.8M降至13.7M,推理速度从50.5 FPS提升至66.9 FPS。在HIT-UAV上,完整模型实现了83.4%的mAP
0.5和42.4%的AP
s。研究人员还对不同类别进行了AP分析,发现FBR-DETR在多数类别的目标上均取得较高精度增益。
**对比实验**
与众多主流模型如YOLO系列、DETR、DINO及RT-DETR系列等进行对比。结果显示,FBR-DETR在VisDrone2019-DET上取得了51.2%的mAP
0.5,高于YOLOv5m(42.6%)和DINO(47.5%)等模型,且参数量最低(13.7M)。在HIT-UAV数据集上,达到83.4%的mAP
0.5,优于RT-DETR-R18(77.5%)。研究人员进一步比较了不同轻量化骨干卷积与注意力机制,验证了Converse2D频域反卷积和Binary-AIFI二值注意力设计的先进性,Converse2D相较于Strip结构提升了6.2个百分点的mAP
0.5,Binary-AIFI相较于其他注意力机制取得了最高的检测精度,同时在中端推理延迟和内存使用上较标准AIFI有显著下降。
**可视化分析**
通过可视化两种典型场景(白天密集城区道路和夜间低能见度场景)的检测结果,FBR-DETR在密集小目标区域能够更完整地检测目标,且置信度更高;相比之下,YOLOv8m、YOLO26m和DINO均存在不同程度的漏检和误检。在HIT-UAV红外图像上,该方法对弱纹理小目标表现出更稳定的识别能力。Grad-CAM热力图分析表明,随着模块的逐步集成,模型对目标区域的响应逐渐集中,背景干扰区域的无效激活减少,验证了三个模块在特征提取、全局建模和跨尺度融合上的互补协同作用。
**跨场景视觉案例分析**
为检验跨域泛化能力,研究人员利用不参与训练的真实校园场景无人机图像进行了定性视觉测试。结果显示,方法在未见过的背景下仍能保持稳定的特征响应,有效减少了漏检与误检,进一步佐证了该方法在实际应用中的适用性。
**边缘部署与实时性能分析**
在NVIDIA Jetson Orin Nano嵌入式平台(15W功率模式、TensorRT FP16精度)上的部署测试表明,FBR-DETR相较于RT-DETR-R18基线将推理帧率提升了53.2%,延迟降低了34.7%,参数量降低了30.5%,验证了其在资源受限边缘设备上的高效适配能力。
**五、总结与讨论**
本文总结了讨论与结论部分,具体内容如下:尽管FBR-DETR在无人机小目标检测任务中取得了良好的精度-速度权衡,但在极小像素目标、严重遮挡、低信噪比红外图像及近乎全黑的夜间航拍等场景下,目标纹理与边界信息可能仍然不足,导致频域恢复和注意力建模的有效性下降。此外,在极密集目标场景中,过小的目标间距也可能导致漏检或定位偏移。针对这些问题,研究人员提出了未来工作方向,包括探索可见光-红外-多光谱的频域融合以增强弱纹理目标的互补感知,引入如Mamba等轻量级长程建模结构以降低Transformer注意力的计算开销,并结合真实的无人机机载平台进行更系统的跨场景部署测试。