《Sensors》:MSDGFM-YOLO11n-OBB: Selective High-Resolution Difference-Guided RGB–Infrared Fusion for Aerial Oriented Vehicle Detection
编辑推荐:
利用红绿蓝(red–green–blue,RGB)与红外(infrared,IR)影像的航空车辆检测支持无人机(unmanned aerial vehicle,UAV)感知,但由于车辆体积小、分布密集、朝向任意且受光照影响,定向定位仍然困难。融合必须同时决定如
利用红绿蓝(red–green–blue,RGB)与红外(infrared,IR)影像的航空车辆检测支持无人机(unmanned aerial vehicle,UAV)感知,但由于车辆体积小、分布密集、朝向任意且受光照影响,定向定位仍然困难。融合必须同时决定如何使用跨模态差异以及自适应融合应置于何处。研究人员提出MSDGFM-YOLO11n-OBB,一种带有模态选择性差异引导融合模块(Modality-Selective Difference-Guided Fusion Module,MSDGFM)的双分支定向边界框(oriented bounding box,OBB)检测器。独立骨干网络保留模态特定特征。MSDGFM学习样本依赖的RGB/IR权重,并通过空间门控与可学习的逐通道残差注入绝对跨模态差异;零初始化使等权均值融合(Mean Fusion)成为精确的起始解。自适应融合仅应用于高分辨率P3层级,而P4/P5保留无参数的Mean Fusion。在DroneVehicle共享标签(Shared-label)数据上,三随机种子结果达到0.7853 ± 0.0027平均精度(mean average precision,mAP)@0.50和0.6472 ± 0.0013的mAP@0.50:0.95,超过所评估的最强单模态纳米级OBB基线3.88和6.82个百分点。相对于匹配的Mean Fusion,mAP@0.50:0.95的增益平均为0.83个百分点,并且在全部三个种子上均为正。在seed-0容量控制中,该方法以少58.1%的参数和少54.0%的浮点运算次数(floating-point operations,FLOPs)超过YOLO11s-OBB(IR)4.32个百分点。这些结果支持用于航空RGB–IR OBB检测的紧凑型选择性差异引导融合。
**论文解读**
**一、研究背景与问题**
无人机(unmanned aerial vehicle,UAV)航空车辆检测在交通监控、城市管理等领域具有重要作用。然而,航空影像中的车辆常呈现体积小、排列密集、朝向任意的特点,使定位质量成为关键瓶颈。定向边界框(oriented bounding box,OBB)相较水平框能更精确地表示车辆几何。红绿蓝(red–green–blue,RGB)与红外(infrared,IR)影像提供互补观测:RGB保留颜色、纹理等精细外观线索,IR在可见光信息不可靠时仍可维持目标-背景对比度。已有研究探索了注意力、模态重加权、共/差特征建模等方法,但仍有两个紧密关联的问题亟待解决:其一,如何在不放大无信息差异的前提下引入跨模态差异信息;其二,自适应融合应集中在特征金字塔的哪个层级,使模态交互增强而非稀释定位线索。由于高分辨率P3层级保留定向车辆所依赖的局部轮廓与空间布局,而深层金字塔层级更侧重语义信息,融合位置成为重要的设计变量。
**二、研究内容与结论**
研究人员提出MSDGFM-YOLO11n-OBB,一种双分支OBB检测器,其核心为模态选择性差异引导融合模块(Modality-Selective Difference-Guided Fusion Module,MSDGFM)。该模块结合全局Softmax模态分配与局部空间门控的绝对差分注入,并通过可学习逐通道残差控制差分强度。零初始化设计使等权均值融合(Mean Fusion)成为精确起始解,学习过程本质上是对受控融合基线的数据驱动细化。自适应融合仅应用于高分辨率P3层级,P4/P5保留无参数Mean Fusion。在DroneVehicle共享标签协议下,三随机种子结果达到0.6472 ± 0.0013 mAP@0.50:0.95,超过最强单模态纳米级OBB基线6.82个百分点,且在每个种子上的增益均为正。容量控制实验表明,该模型以4.069 M参数在seed-0下超过YOLO11s-OBB(IR)4.32个百分点,同时使用58.1%更少的参数和54.0%更少的FLOPs。
**三、关键方法**
实验基于DroneVehicle配对RGB–红外航空车辆数据集,包含28,439对图像及car、truck、bus、van、freight car五类目标。研究构建了共享RGB–IR标签协议,通过多边形交并比贪心配对统一训练与评估标注。骨干网络采用结构相同但参数独立的双分支YOLO11n拓扑。MSDGFM包含三大技术组件:全局模态分配分支(全局平均池化加Softmax产生样本级RGB/IR权重)、局部差分门控分支(sigmoid门控加深度可分离卷积生成空间变化门)、可学习差分残差分支(tanh约束的逐通道系数调节绝对差异注入强度)。训练采用640×640输入、100个epoch、三随机种子重复协议,评估指标包括mAP@0.50与mAP@0.50:0.95等。
**四、研究结果**
**与主流OBB检测器的对比结果:**在统一Test协议下,YOLO11n-OBB(IR)为最强单模态纳米级基线(0.5790 mAP@0.50:0.95)。MSDGFM-YOLO11n-OBB(P3)将mAP@0.50提升3.88个百分点、mAP@0.50:0.95提升6.82个百分点,精度与召回率分别提升至0.7531与0.7716。三种子上的逐对增益分别为+0.0658、+0.0688、+0.0698,方向稳定。
**受控融合机制与位置敏感性分析:**固定P3的2×2消融实验中,仅保留全局模态分配将mAP@0.50:0.95较Mean Fusion提升0.79个百分点,仅保留局部差分分支提升0.29个百分点,二者组合提升0.98个百分点。同框架CMAFF式重实现对比中,MSDGFM高出0.24个百分点。验证集位置敏感性分析显示,P4-only(0.66113)与P3-only(0.65961)差距很小,P3–P5为0.66056,表明融合位置存在一定灵活性,但固定模型Test评估仍确认P3配置的有效性。
**跨类别增益:**MSDGFM对car、truck、bus、van、freight car五类的AP@0.50:0.95均带来正向改善,其中van(+0.0747)与truck(+0.0709)增益最为突出,说明融合收益并非集中于单一优势类别,而是扩展至更具判别难度的类别。
**精度–计算轮廓与容量控制:**该模型使用4.069 M参数与10.26 GFLOPs,在RTX 3060上实现144.6 FPS吞吐。seed-0容量控制实验中,该方法在参数减少58.1%、FLOPs减少54.0%的情况下,较YOLO11s-OBB(IR)高出4.32个百分点,表明精度提升并非单纯依赖模型容量扩展。
**五、讨论与结论**
讨论部分指出,配对传感将mAP@0.50:0.95从单模态的0.5790提升至Mean Fusion的0.6389,MSDGFM-P3进一步提至0.6472。所提架构通过样本级模态分配处理场景依赖的RGB/IR贡献,通过空间门控在高分辨率P3注入跨模态差分信息。评估结论限于共享标签协议范围内的匹配目标;未匹配或模态独有目标不属于评估集合,且RGB多边形作为统一几何可能影响模态间定位对比。
结论部分指出,MSDGFM-YOLO11n-OBB为航空RGB–IR定向车辆检测提供了一种选择性融合策略。独立模态骨干向P3模块提供特征,该模块结合样本依赖的Softmax分配与空间门控绝对差分残差,P4/P5则保留无参数Mean Fusion。精确的Mean Fusion初始化提供了受控学习起点。最终模型在三个随机种子上达到0.7853 ± 0.0027 mAP@0.50和0.6472 ± 0.0013 mAP@0.50:0.95,较最强单模态纳米级OBB基线分别提升3.88和6.82个百分点;在三种子重复中均优于直接Mean Fusion,且增益覆盖全部五类车辆。受控消融、位置敏感性分析以及相对匹配Mean Fusion的一致增益共同表明,在明确定义的共享标签评估协议下,针对性的跨模态细化在紧凑型航空RGB–IR OBB检测器中具有显著价值。