《Electronics》:Pyramid Target Perception Network with Efficient Context Modeling and Multi-Scale Cross-Attention for Infrared Small Target Detection
编辑推荐:
红外小目标检测(IRSTD)是智能红外传感与电子成像系统中的一项挑战性任务,因为暗弱目标通常仅占据少数像素,且易受杂波、噪声和低对比度背景结构的干扰。一个实用的检测器应在抑制类目标虚假响应的同时保留像素级目标线索。本文提出一种用于单帧像素级IRSTD的金字塔目
红外小目标检测(IRSTD)是智能红外传感与电子成像系统中的一项挑战性任务,因为暗弱目标通常仅占据少数像素,且易受杂波、噪声和低对比度背景结构的干扰。一个实用的检测器应在抑制类目标虚假响应的同时保留像素级目标线索。本文提出一种用于单帧像素级IRSTD的金字塔目标感知网络(PTPN)。该网络集成了三个互补组件:采用7×7深度可分离卷积进行轻量化上下文特征提取的高效上下文建模(ECM)编码器、用于分层特征交互的多尺度目标交叉注意力(MTCA)模块,以及用于目标保持多尺度聚合的小目标特征金字塔网络(STFPN)。此外,在训练过程中引入物理约束损失(PCL),根据红外成像特性(包括点扩散一致性、目标区域相对强度一致性和信噪比感知可分性)对预测进行正则化。在IRSTD-1k、NUAA-SIRST和NUDT-SIRST上的实验表明,PTPN的IoU分数分别达到71.87%、79.56%和86.47%,参数量为4.55M,在256×256输入分辨率下计算量为4.96G FLOPs,推理速度为45.0 FPS。尽管PTPN获得了具有竞争力的总体性能,但其在NUDT-SIRST上未达到最高IoU,表明复杂场景下的像素级目标区域估计仍有待进一步改进。总体而言,PTPN在目标定位、虚警抑制和计算效率之间提供了有效平衡,支持其在AI驱动的红外图像处理和智能电子传感系统中的潜在应用。
红外小目标检测(IRSTD)旨在从红外图像中识别暗弱且空间紧凑的目标,是红外搜索与跟踪系统中的关键环节。由于目标仅占少数像素,且云边缘、海杂波、地物辐射和传感器噪声等会产生类目标响应,漏检与虚警难以避免。现有方法中,传统模型驱动方法依赖手工先验,CNN方法易在多次下采样中削弱弱目标响应,注意力与Transformer方法虽能建模长程依赖,但计算开销大且易受大面积背景干扰。频率域与物理先验方法通常只引入单一约束。针对这些耦合问题,研究人员提出了金字塔目标感知网络(PTPN),从统一表征视角协调上下文建模、跨尺度交互、目标保持金字塔传播与成像启发式监督,并在三个公开基准上进行验证。该研究发表于《Electronics》。
研究人员提出的PTPN包含四个关键部分:采用7×7深度可分离卷积的高效上下文建模(ECM)编码器,用于轻量化扩大局部感知范围;多尺度目标交叉注意力(MTCA)模块,通过尺度对齐令牌和共享键值实现选择性跨尺度信息检索;小目标特征金字塔网络(STFPN),通过目标增强模块与双向金字塔融合和分割细化分支保持弱目标响应;物理约束损失(PCL),在训练中引入点扩散一致性、目标区域相对强度一致性与信噪比感知可分性约束。研究在IRSTD-1k、NUAA-SIRST和NUDT-SIRST三个公开数据集上评估,并采用IoU、检出概率(P
d)和虚警率(F
a)作为评价指标。
### 4.2 与现有方法的比较
在IRSTD-1k上,PTPN的IoU达71.87%,P
d为94.85%,F
a为3.91×10
?6,综合表现优于多数对比方法。在NUAA-SIRST上,PTPN的IoU达79.56%,P
d为99.61%,但P
d和F
a略逊于HDNet。在NUDT-SIRST上,PTPN的IoU为86.47%,低于SCTransNet等部分方法,但F
a降至2.71,表明其复杂背景下虚警抑制能力较强。
### 4.3 退化条件下的鲁棒性分析
在IRSTD-1k测试集上构造高斯噪声、运动模糊和对比度降低三种退化场景。所有方法性能均有下降,但PTPN在三种退化条件下均取得最高IoU,且平均性能下降最小,表明其对图像质量退化具有较强鲁棒性。
### 4.4 消融实验
以标准CNN编码器加FPN和Focal Loss为基线,逐一加入ECM、MTCA、STFPN和PCL均能提升性能。其中STFPN带来的增益最大,在IRSTD-1k上将IoU提升4.13个百分点;去除STFPN导致性能下降最大。完整模型相比基线在IRSTD-1k、NUAA-SIRST和NUDT-SIRST上分别提升8.46、8.24和7.55个百分点。多次随机种子实验显示PTPN性能稳定。
### 4.5 模型复杂度与效率分析
PTPN参数量为4.55M,输入256×256时计算量为4.96G FLOPs,推理速度为45.0 FPS。模块级分析显示,MTCA是主要计算开销来源,STFPN次之。与UIU-Net和PBT相比,PTPN显著降低了模型规模和计算量;相比HDNet,PTPN以更高IoU和更低FLOPs取得性能提升,但实测FPS低于HDNet,表明FLOPs与推理速度间存在非比例关系。
### 4.6 失败案例分析
PTPN在极低信噪比目标、类目标点状杂波、结构化背景干扰和目标范围不匹配四类场景中仍存在像素级误差。极低信噪比下预测区域与真值不完全重合;类目标点状杂波会引发额外虚警;强结构化背景干扰目标-背景判别;目标范围不匹配会导致IoU下降,但目标级检测仍可保持较高P
d。
### 4.7 定性分析
在低信噪比弱目标、密集小目标、复杂背景杂波和近地平线/热交叉场景中,PTPN相比传统方法和多种深度学习方法能产生更完整、更连续的目标响应,减少碎片化检测和目标粘连,同时抑制背景虚假响应。
讨论部分指出,PTPN通过ECM、MTCA、STFPN和PCL的协同作用,在弱目标响应保持、跨尺度信息交互和物理先验约束方面取得平衡。消融结果支持红外成像先验可以补充数据驱动特征学习。鲁棒性和效率分析表明其具有实际部署潜力。局限包括:MTCA和STFPN带来额外内存访问与调度开销;PCL基于归一化灰度、固定高斯核和近似SNR,而非真实辐射定标参数;仍需在嵌入式红外平台上进一步验证。研究结论可翻译为:总体而言,PTPN在目标定位、虚警抑制和计算效率之间提供了有效平衡,支持其在AI驱动的红外图像处理和智能电子传感系统中的潜在应用;但在NUDT-SIRST上未达到最高IoU,说明复杂场景下像素级目标区域估计仍有进一步改进空间。