SaKD:基于空间感知知识蒸馏的轻量级红外小目标检测用于边缘部署

《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》:SaKD: Lightweight infrared small target detection via Spatial-Aware Knowledge Distillation for edge deployment

【字体: 大 中 小 】 时间:2026年09月27日 来源:ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING 12.9

编辑推荐:

   摘要遥感图像中的精确红外小目标检测(IRSTD)仍然具有挑战性,因为感兴趣的目标通常仅占据几个像素,并在复杂背景下提供有限的空间线索。现有高性能方法依赖复杂网络来增强弱目标表示,限制了其在资源受限的边缘设备上的使用。轻量级模型降低了计算量,但难以捕捉小目标稀缺的空间线索。为了

  

摘要

遥感图像中的精确红外小目标检测(IRSTD)仍然具有挑战性,因为感兴趣的目标通常仅占据几个像素,并在复杂背景下提供有限的空间线索。现有高性能方法依赖复杂网络来增强弱目标表示,限制了其在资源受限的边缘设备上的使用。轻量级模型降低了计算量,但难以捕捉小目标稀缺的空间线索。为了在轻量级模型中保留这些空间线索以用于遥感应用,我们提出了SaKD,一种用于IRSTD的空间感知知识蒸馏方法。SaKD显式捕捉与教师预测中目标响应相关的互补空间线索,从而为学生模型提供更丰富的空间判别性监督。在不改变学生推理结构的前提下,SaKD引入了两个训练阶段组件。多尺度自引导机制首先从学生自身在多尺度上的响应中导出辅助监督,以在引入教师引导之前增强目标表示。空间先验蒸馏随后通过强制区域、位置和尺度一致性来传递教师的空间先验,分别对应于目标区域覆盖、中心定位和响应尺度控制。在包含真实遥感图像的多组IRSTD数据集上的实验表明,SaKD一致地改善了未经蒸馏的轻量级学生模型,并以低模型复杂度实现了具有竞争力的检测性能。蒸馏后的学生模型仅包含0.895M参数和1.999G FLOPs。在Jetson平台上的部署验证进一步证明了其在可边缘部署的遥感应用中的实用效率,在256 × 256输入分辨率下,独立TensorRT FP16推理达到142.7 FPS。代码将公开于:https://github.com/Kingwin97/SaKD。

引言

红外小目标检测(IRSTD)在遥感图像中在制导与预警、海事监视以及地面观测系统等领域发挥着关键作用(Yuan等,2026)。与自然图像中的显著目标不同,红外小目标通常远离传感器,仅占据几个像素,且包含非常有限的纹理细节,导致可用于可靠目标表示的判别性线索相对稀缺。此外,在遥感场景中它们还常常受到复杂背景干扰,例如云层、海面杂波和地面边缘。因此,在复杂遥感场景中稳定检测微弱小目标仍然是IRSTD中的核心问题。
近期的深度学习方法通过更强的上下文建模和多尺度表示显著提升了IRSTD性能(Qiu等,2026)。然而,这些提升通常依赖大型网络和复杂设计,限制了其在边缘设备上的部署。大多数轻量级方法试图通过轻量级骨干网络、更浅的网络或模型剪枝来降低计算开销。尽管这些策略在通用视觉任务中有效,但较不适合IRSTD。在红外图像中,判别性线索本身就十分稀缺。降低模型容量可能削弱对这些空间信号的保留,可能导致漏检、虚警和定位误差。
知识蒸馏(KD)提供了一种更为有效的替代方案(Mishra等,2026,Hu等,2026)。与直接设计轻量级架构和网络剪枝(如图1(a)和(b)所示)(Ge等,2026)不同,后者严重依赖大量训练数据以维持表示能力,KD框架(图1(c))将知识从高容量教师模型迁移到轻量级学生模型。这可以在不改变学生推理结构的前提下提升学生的判别能力,并可能降低其对大规模训练集的依赖。然而,大多数现有KD方法针对通用视觉任务设计,主要关注中间特征对齐或最终输出响应对齐。由于目标像素在红外图像中仅占极小比例,传统的特征或输出蒸馏策略可能被大量背景响应所主导,从而忽视了与小目标区域相关的空间线索。因此,学生模型不仅需要模仿教师的预测置信度,还需要提取并利用嵌入在教师预测中的空间信息。
因此,我们将轻量级IRSTD中的知识迁移表述为一种空间感知的蒸馏问题,如图1(c)所示的显式空间知识迁移。核心思想是,教师预测图提供了与潜在目标区域相关的可利用空间先验,从而补充红外小目标固有的有限判别性线索。这些先验可由三种互补属性刻画:区域覆盖刻画潜在目标响应所占的区域,响应位置指示响应集中的位置,响应尺度反映其累积激活强度。如果这些空间先验能够被显式迁移至轻量级学生模型,它们可以为该学生丰富目标判别性线索,从而帮助其在不过度增加模型复杂度的情况下实现更好的检测性能。
为此,我们提出了SaKD,一种专为IRSTD定制的空间感知知识蒸馏方法。与主要整体对齐中间特征或输出响应的传统KD方法不同,SaKD将与稀疏目标响应相关的空间属性作为显式蒸馏目标。这种设计更加强调那些在背景响应主导知识迁移过程中可能被欠表示的目标相关空间属性。SaKD包含两个协作部分。首先,我们构建了多尺度自引导机制(MSSG),通过聚合来自不同解码器层级特征图的空间线索,在训练期间增强学生对弱目标和小目标的内部表示,且不引入额外推理开销。其次,我们设计了空间先验蒸馏(SPD)策略,从三个方面约束学生:区域一致性(RC)、位置一致性(PC)和尺度一致性(SC)。此外,我们在NVIDIA Jetson平台上进一步开展了边缘设备推理评估,以验证蒸馏后轻量级学生模型的实用可部署性。我们的主要贡献总结如下:
  • •
    我们提出了SaKD,一种专为IRSTD中稀疏目标响应定制的、统一的空间感知KD框架。通过整合学生自引导与教师空间先验迁移,SaKD将监督聚焦于潜在目标区域及其空间线索,从而提升轻量级学生中对小目标的表示能力。
  • •
    我们设计了SPD,通过RC、PC和SC显式迁移与稀疏目标响应相关的空间先验。这些约束在区域覆盖、响应位置和响应尺度上提供了互补指导。
  • •
    我们开发了MSSG以增强学生的目标表示。通过将多尺度纹理增强响应与随机引导选择相结合,MSSG在不增加额外推理开销的情况下提升了学生用于蒸馏的表示能力。
  • •
    综合实验与边缘部署验证表明,蒸馏后的模型以低复杂度实现了具有竞争力的检测性能,而其在Jetson平台上的TensorRT FP16部署验证了边缘设备上实时推理的可行性。

章节片段

红外小目标检测

早期的IRSTD研究主要关注测量目标与背景之间的对比度或不连续性。这些方法包括基于滤波的方法(Deshpande等,1999,Rivest和Fortin,1996)、局部对比方法(Han等,2014,Chen等,2013)以及低秩方法(Zhang等,2018,Gao等,2013)。尽管这些方法无需训练数据即可工作,但它们通常依赖于手工设计的特征、经验调优的参数以及固定的

概述

如图2所示,所提出的SaKD在单一训练框架中统一了自引导与教师引导蒸馏。整体框架包含一个可训练的学生模型和一个冻结的教师模型,二者协同以提升轻量级IRSTD性能。学生模型采用具有轻量级骨干的UNet架构,其中MSSG仅在训练阶段引入,以在教师引导之前增强学生自身的目标表示。具体而言,MSSG结合了

实验设置

(1)数据集。 我们在三个IRSTD数据集上评估所提方法:NUDT-SIRST(Li等,2022)、NUAA-SIRST(Dai等,2021a)和IRSTD-1K(Zhang等,2022)。我们的方法与所有对比方法均采用数据集提供方指定的相同数据划分方案,以确保公平比较。此外,我们还在卫星遥感红外数据集NUDT-SIRST-sea(Wu等,2023)上进行了补充实验,以进一步评估所提方法的泛化能力

结论

在本文中,我们提出了SaKD,一种用于IRSTD的显式空间感知KD方法。SaKD通过不改变学生推理结构,而是在训练阶段从冻结的教师模型迁移空间先验,从而提升紧凑的学生模型。所提出的MSSG从多尺度学生预测提供训练阶段的自引导,而SPD通过RC、PC和SC迁移教师空间先验。这些设计聚焦于对IRSTD至关重要的空间线索,包括目标区域

CRediT作者贡献声明

Ma Qianwen:撰写——初稿、验证、软件、方法学、概念化。Deng Shangwei:可视化、验证、软件、概念化。Lian Ruoqi:可视化、验证、调查。Zhu Zhen:验证、形式化分析。Hu Haofeng:撰写——审阅与编辑、监督、获取资金。Li Xiaobo:撰写——审阅与编辑、验证、方法学、获取资金。

利益冲突声明

作者声明不存在可能影响本论文所报告工作的已知竞争性经济利益或个人关系。

致谢

本工作得到了国家自然科学基金(编号:62475190)、天津市科技计划(编号:25JCJQJC00190和23YFZCSN00230)的资助。
Ma Qianwen | Deng Shangwei | Lian Ruoqi | Zhu Zhen | Hu Haofeng | Li Xiaobo
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号