《Sensors》:MF-YOLO: High-Resolution Weighted Feature Fusion with Global-Local Aggregation for Small-Object Detection in UAV Imagery
编辑推荐:
无人机(UAV)图像中的小目标表征容易因重复下采样、密集遮挡和背景杂波而退化。本研究提出MF-YOLO,一种基于YOLO11n的精度导向型检测器。该模型引入步长-4的P2预测尺度,在颈部融合之前独立地对C2–C5应用全局到局部空间聚合(Global-to-Lo
无人机(UAV)图像中的小目标表征容易因重复下采样、密集遮挡和背景杂波而退化。本研究提出MF-YOLO,一种基于YOLO11n的精度导向型检测器。该模型引入步长-4的P2预测尺度,在颈部融合之前独立地对C2–C5应用全局到局部空间聚合(Global-to-Local Spatial Aggregation, GLSA),并通过64通道的双向特征金字塔网络(Bidirectional Feature Pyramid Network, BiFPN)连接P2–P5。其贡献在于对这些已有组件的任务特定组织和受控评估。在三个随机种子下,MF-YOLO在验证集上实现了38.318 ± 0.378%的平均精度均值(mAP@0.5)和22.658 ± 0.239%的mAP@0.5:0.95,分别超过YOLO11n 4.264和2.694个百分点。在COCO风格的尺度评估中,小目标的平均精度(APS)从8.700 ± 0.092%提升至12.802 ± 0.115%,相对增益达47.2%。参数量从2.584 M降至2.244 M,而十亿次浮点运算(GFLOPs)从6.323增至14.365。在RTX 4080 SUPER上,32位浮点(FP32)网络前向吞吐量从144.22帧每秒(FPS)降至70.50 FPS。因此,MF-YOLO以显著增加计算量为代价提升了小目标检测性能。
研究背景、现存问题与研究意义
无人机(UAV)图像中的目标检测在交通管理、应急响应、公共安全等领域具有广泛应用,但面临严峻挑战:许多目标仅占据少量像素,目标尺寸随飞行高度和视角变化显著,密集布局、遮挡、运动模糊、光照不均及结构化城市背景降低了前景与背景的可分离性。单阶段检测器如YOLO系列因其高效性被广泛采用,但标准YOLO11n的检测头仅工作在P3/8、P4/16和P5/32三个尺度,经多次下采样后,小目标的边缘和局部对比度信息在预测前已被削弱,尤其在拥挤场景中更为突出。现有研究表明,标准三尺度头部对极小目标可能不足。因此,研究人员旨在探索如何在紧凑的YOLO11n框架内合理组织高分辨率空间信息、全局-局部上下文建模及跨尺度融合,以在不显著增加参数量的前提下提升小目标检测精度。
主要关键技术方法
研究人员采用了以下关键技术:首先,构建了四尺度P2–P5预测路径,并使用可学习的非负归一化权重对齐64通道特征进行融合;其次,在特征进入颈部网络前,独立地在各原生分辨率上应用全局到局部空间聚合(GLSA)模块对C2–C5进行精炼;第三,设计了受控消融实验,包括P2-only、BiFPN-only、逐步组合A1–A3配置,并在三个随机种子上进行配对比较,结合尺度特异性评估和标准化复杂度测量来识别各组件带来的收益与成本。
研究结果
架构消融研究:种子0下的组件消融表明,单独添加P2将mAP@0.5:0.95从19.849%提升至20.867%;BiFPN-only反而降至18.363%;将P2分支与加权双向融合结合于A1使mAP@0.5:0.95升至22.600%;进一步加入GLSA的A2则提升至22.804%。在三个随机种子上的配对A1–A2比较显示,GLSA带来的平均增益为0.211 ± 0.180个百分点,方向一致但幅度较小,被视为适度改进而非统计显著来源。
损失函数分析:在固定A2架构下,将CIoU替换为尺度自适应EIoU-NWD(B1)虽使精度提升0.972个百分点,但召回率、mAP@0.5和mAP@0.5:0.95均下降,故最终保留CIoU。
跨随机种子重复性:三个匹配种子下,MF-YOLO将平均mAP@0.5从34.054%提升至38.318%,平均mAP@0.5:0.95从19.964%提升至22.658%,每颗种子均产生正向增益,表明改进具有一致性。
留出测试集评估:在未微调的test-dev集上,MF-YOLO在精度、召回率、mAP@0.5和mAP@0.5:0.95上分别提升1.996、2.427、2.856和1.444个百分点,方向与验证集一致。
尺度特异性和每类性能:COCO风格评估显示,小目标APS从8.700%增至12.802%(相对增益47.2%),中等目标APM从26.950%升至29.304%,但大目标APL从44.697%降至36.507%。组件分析表明P2是小目标增益的主要来源。在10个类别中,8个类别的AP@0.5:0.95获得提升,最大增益出现在行人、汽车和摩托车。
与近期代表性方法的比较:在统一实验协议下,MF-YOLO在四个模型中取得最高精度、召回率和mAP值,参数量最低(2.244 M),但计算量(14.365 GFLOPs)高于基线。
复杂度和前向吞吐量分析:相比YOLO11n,MF-YOLO参数量减少13.2%,但GFLOPs增加127.2%,FP32批量1网络前向吞吐量从144.22 FPS降至70.50 FPS。
定性检测结果:可视化对比显示,MF-YOLO减少了漏检(假阴性),但增加了误检(假阳性),尤其在密集区域。剩余漏检集中在严重遮挡的行人群体和极小的近标注极限目标上。
诊断可视化:精度-复杂度平面图显示A2达到最高验证mAP@0.5:0.95但计算需求最大。混淆矩阵表明MF-YOLO提高了9个前景类别的对角线比例,真阳性从16,253增至18,679,但背景假阳性也从5,908增至7,085。特征响应可视化显示GLSA抑制了宽泛的高强度背景响应,同时保留了分散的小目标位置响应。
讨论与局限性:GLSA在三个种子上的平均增益为0.211 ± 0.180个百分点,95%置信区间包含零,应视为适度改进。MF-YOLO对小目标和中等目标的增益最为显著,但伴随大目标AP下降和计算量大幅增加。消融结果表明P2分支是主要增益来源,加权双向融合需与P2结合才有效,GLSA贡献较小。这些发现局限于当前数据集、训练计划和实现。
结论翻译:本研究提出了MF-YOLO,一种基于YOLO11n的无人机图像小目标检测器。该模型引入P2预测分支并通过64通道加权双向融合路径连接P2–P5特征,在特征融合前对C2–C5应用GLSA。消融结果明确了各组件的贡献:P2-only改善了小目标检测,BiFPN-only单独使用时效果不佳,两者组合优于任一单独配置。GLSA带来的额外改进较小。与YOLO11n相比,MF-YOLO在验证集上将平均mAP@0.5从34.054%提升至38.318%,平均mAP@0.5:0.95从19.964%提升至22.658%。留出测试集上也观察到改进。COCO风格评估中,APS和APM分别提升4.102和2.354个百分点,而APL下降8.190个百分点。尽管参数量下降13.2%,但GFLOPs从6.323增至14.365,FP32批量1网络前向吞吐量从144.22 FPS降至70.50 FPS。因此,MF-YOLO最适用于优先考虑小目标检测精度而非计算效率或大目标性能的无人机应用。尚存的局限性包括P2通路引入的高计算量和部分大目标性能损失,未来工作应致力于更选择性融合路由、轻量级通道分配和模型压缩,并在更多UAV数据集和嵌入式平台上进行评估。