基于多模态预训练表征与轻量化任务自适应的鲁棒小目标检测

《Science of Remote Sensing》:Robust small object detection via multimodal pre-trained representations and lightweight task-specific adaptation

【字体: 大 中 小 】 时间:2026年07月06日 来源:Science of Remote Sensing 7.1

编辑推荐:

  军事地面场景中的小目标检测(Small Object Detection, SOD)仍然是一项关键挑战,其原因在于像素分辨率有限、环境干扰以及任务特定标注数据的稀缺性。现有方法在对抗性条件下往往泛化能力不足,或需要大量计算资源。为应对这些问题,本文提出了一种新

  
军事地面场景中的小目标检测(Small Object Detection, SOD)仍然是一项关键挑战,其原因在于像素分辨率有限、环境干扰以及任务特定标注数据的稀缺性。现有方法在对抗性条件下往往泛化能力不足,或需要大量计算资源。为应对这些问题,本文提出了一种新颖的基础模型驱动SOD框架,该框架利用多模态预训练表征来增强复杂战场环境中的特征可区分性。该框架引入了一种域自适应Transformer层,用于将通用语义先验与特定军事目标对齐,并配合一种基于原型的小样本学习模块,以在极度数据稀缺的条件下实现高精度检测。为确保在边缘设备上的实时可行性,本文实现了一种分层知识蒸馏策略,将大规模表征压缩为轻量级高性能检测器。此外,研究人员还开发了一种自动化跨模态标注工具,用于构建专门的军事SOD数据集以供验证。实验结果表明,所提出的方法在保持实时性能的同时,达到了65.4%的最先进平均精度均值(mean Average Precision, mAP)。
**研究背景与问题提出**

小目标检测是计算机视觉领域的一项基础而艰巨的挑战。小目标在空间尺度上仅占图像的极小比例,导致有效像素极其有限,从而造成特征表示微弱、信噪比低下。在军事侦察场景中,这一问题因对抗性环境因素和目标伪装而愈发严重,目标的结构和语义信息被严重遮蔽。与民用场景不同,军事目标常采用伪装技术,在杂乱的作战场景中活动,且需要跨模态输入进行检测,包括存在热交叉和低对比度问题的红外序列。早期研究主要依赖卷积神经网络(Convolutional Neural Network, CNN),通过多尺度架构和特征融合策略增强特征表示,如图像金字塔引导、级联稀疏查询和上下文感知模块等。在实时检测方面,YOLO系列持续优化,但往往在捕获复杂军事场景中区分目标与背景噪声所需的长距离全局依赖方面存在不足。

视觉Transformer(Vision Transformer, ViT)的出现带来了范式转变,其自注意力机制能够实现对全局上下文的关键建模。检测Transformer(Detection Transformer, DETR)及其后继模型 rapidly evolved,涌现出DINO-X、Dynamic-DINO和Cross-DINO等最先进的模型。然而,现有基于Transformer的检测器在应用于特定领域军事视觉时遇到显著瓶颈:首先,高性能对海量标注数据的依赖与国防相关图像固有的数据稀缺性和敏感性相冲突;其次,大规模多模态基础模型(Multimodal Foundation Model, MFM)虽具备强大的语义先验,但其庞大的参数规模为资源受限的边缘部署带来严重障碍;第三,通用检测器缺乏域适应能力,难以在战场恶劣条件(雨、夜、雾)下泛化。为弥合这些差距,研究人员提出了基于多模态预训练表征的鲁棒SOD框架,专门针对低对比度和数据稀缺的战术环境进行优化。

**技术方法概述**

本研究的技术路线围绕五个核心组件展开:多尺度特征提取主干网络、基于Transformer的表征学习模块(含基础模型自适应)、小样本自适应模块、知识蒸馏模块以及小目标检测头。整体框架以端到端方式进行优化。

具体而言,输入图像首先经卷积词干和层次化CNN块提取多尺度特征图,再通过特征金字塔网络(Feature Pyramid Network, FPN)进行跨尺度融合。融合后的特征被展平为token序列并输入Transformer编码器。为利用丰富的跨模态语义先验,研究人员以Qwen2.5-Omni作为知识核心,设计了轻量级域自适应层,通过可学习的投影层将检测特定的空间特征映射到基础模型的潜在空间中,使投影特征以"视觉token"形式与可学习位置嵌入拼接,从而继承全局上下文理解能力,同时保持小目标定位的计算效率。

针对数据稀缺问题,研究引入基于原型学习的小样本学习机制,对每个类别通过K个标注样本计算类原型,再通过基于欧氏距离的分类概率计算实现对新类别的快速适应。检测头采用无锚点设计,总损失函数包含检测损失、小样本原型损失及平衡系数。

为实现轻量化部署,研究人员从完整Qwen增强的教师模型向轻量级学生模型进行知识蒸馏。蒸馏损失包含输出层面的Kullback-Leibler散度对齐和特征层面的L2范数对齐,最终学生模型优化目标综合检测损失、蒸馏损失和特征对齐损失。

研究使用的数据集基于侦察视频数据构建,涵盖3000张晴天可见光图像 psyched 来自真实侦察场景,包含2S6、HAWK、永士、MIM-72、XM777、ZBD-04A、ZTZ-99A和ZSU-23-4等八类代表性地面军事目标。数据集通过高保真仿真引擎生成,覆盖森林、城市街道和工业区块等场景,包含配对的可见光和红外图像。目标面积占比范围为0.1%至20%,其中可见光子数据集29.69%的实例低于0.1%面积比,65.19%落在0.1%-1%范围。数据集按7:2:1分割为训练、验证和测试集。

**研究结果**

**收敛性能分析**:研究人员对比了六种代表性检测器的训练收敛行为。CNN方法如Faster R-CNN和FCOS收敛相对稳定但趋于饱和在较低性能水平;基于Transformer的检测器(DETR、DINO、YOLOS、ViDT)收敛较慢且波动较大。相比之下,所提方法收敛明显更快,在整个训练过程中始终保持更高的验证mAP,学习率衰减后性能优势愈发显著,后期训练阶段振荡减小,表明训练稳定性和鲁棒性得到改善。

**测试集定量比较**:在测试集上,所提方法以Qwen2.5-Omni为骨干,仅30个epoch即达到65.4% mAP,超越最强基线ViDT-Swin-S(62.1% mAP)达3.3个百分点,同时参数量更少(24M vs. 60M)、训练epoch数大幅降低(30 vs. 150)。推理效率方面达到31.2 FPS,为所有方法中最高,验证了迁移学习和蒸馏策略在实际部署场景中的有效性。详细来看,Faster R-CNN和FCOS分别仅达48.1%和50.3% mAP;DETR系列中Swin-small版本为54.2%;DINO系列中Swin-small版本为59.5%;YOLOS和ViDT系列中,ViDT-Swin-small以62.1% mAP为此前最优。所提方法在AP(61.7%)、AP50(85.9%)和AP75(68.3%)上均领先。

**消融实验结果**:通过逐步移除关键模块进行消融分析。基础模型自适应(Foundation Model Adaptation, FMA)模块带来最大增益,使mAP从49.2%提升至57.4%(+8.2%),证实其有效抑制背景噪声并增强对高频结构细节的敏感性;小样本学习模块(Few-shot Learning, FSL)进一步提升至62.1%(+4.7%),表明原型自适应策略有效增强数据受限场景下的泛化能力;任务感知知识蒸馏(Knowledge Distillation, KD)模块最终达到最优65.4% mAP(+3.3%),在精度提升的同时实现显著模型压缩。各组件的累加效应验证了框架设计的合理性。

**讨论部分分析**

**基础模型自适应的有效性**:实验表明,融入多模态基础模型显著提升检测性能,尤其在低照度、雨水和红外图像等复杂环境条件下。这归因于预训练模型嵌入的强大先验知识,相比仅在任务特定数据集上训练的模型提供了更鲁棒的语义表征。域自适应策略进一步将通用表征与军事场景特征对齐,缓解了域偏移问题。

**小样本学习在数据稀缺场景中的作用**:小样本学习模块使模型在仅有少量标注样本时仍保持竞争力,表明该框架不仅适用于标准训练条件,在低资源设置下也展现出强适应性,这对实际军事部署至关重要。

**精度与效率的权衡**:知识蒸馏策略构建的轻量级学生模型在保持教师模型大部分性能的同时显著降低计算复杂度,实现了检测精度(mAP)与效率指标(GFLOPs、FPS、参数量)之间的良好平衡,这对实时性能和计算资源受限的军事系统尤为重要。

**局限性与改进方向**:当前数据集虽覆盖多样场景,但仍未必完全代表真实作战环境的全部多样性;小样本策略主要聚焦于类别自适应,对全新环境条件的自适应有待探索;尽管知识蒸馏改善了可部署性,但量化、神经架构搜索等进一步压缩技术可追求更高效率。

**研究结论**

本研究针对复杂军事地面场景中的小目标检测这一挑战性难题,提出了一种基于多模态基础模型Qwen2.5-Omni的实用Transformer检测框架。通过将迁移学习、小样本学习和知识蒸馏整合到统一架构中,所提方法有效平衡了检测精度、数据效率和部署可行性。为支撑该研究,研究人员开发了自动标注系统并构建了覆盖多种代表性作战场景的专用军事小目标检测数据集。该数据集上的广泛实验表明,所提方法在检测精度方面优于多种代表性最先进检测模型,同时保持有利的计算效率和模型复杂度。未来工作将进一步扩展数据集以包含更多样化的作战条件,探索更先进的参数高效自适应技术,并研究量化和硬件感知优化等额外模型压缩策略。该研究为构建鲁棒、高效、可部署的真实应用智能侦察系统提供了有价值的一步。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号