综述:运动红外小目标检测研究进展

《Opto-Electronic Engineering》:Research progress on moving infrared small target detection

【字体: 大 中 小 】 时间:2026年10月23日 来源:Opto-Electronic Engineering

编辑推荐:

   运动红外小目标检测对于红外搜索与跟踪、预警、精确制导、空域监视、海洋监测和遥感具有重要意义。该任务旨在从连续红外序列中检测微小、低对比度、弱纹理且语义信息匮乏的目标。相较于单帧检测,基于序列的检测还必须处理目标位移、平台抖动、背景运动、运动模糊以及目标在帧间响应不稳定等问题。

  

运动红外小目标检测对于红外搜索与跟踪、预警、精确制导、空域监视、海洋监测和遥感具有重要意义。该任务旨在从连续红外序列中检测微小、低对比度、弱纹理且语义信息匮乏的目标。相较于单帧检测,基于序列的检测还必须处理目标位移、平台抖动、背景运动、运动模糊以及目标在帧间响应不稳定等问题。这些因素会改变目标外观和帧间对应关系,使弱小目标更容易与背景杂波和传感器噪声混淆。时序信息可以增强弱目标证据,但错误的时序关联也可能累积误差。目前仍需要一个清晰的框架来解释不同方法如何使用运动和时序信息,并在不同的评估设置下比较优化驱动和深度学习方法。

建立了一个双路线分类体系来组织近期的运动红外小目标检测研究。第一条路线是优化驱动检测,第二条是深度学习检测。优化驱动与深度学习的融合被视为两条路线之间的连接方向,而非额外增加的优化分支。这种组织方式既突出了主要方法论的划分,也强调了显式模型先验与学习表征之间的渐进式交互。优化驱动方法按其改进的主要阶段分为三个分支。时空张量结构设计重新组织序列数据以在优化前增强有用的空间和时间相关性。低秩背景表示利用改进的低秩模型、因子化表示、系数建模和图约束来更准确地描述复杂背景并降低分解成本。目标干扰可分性约束超越了单一稀疏性假设,利用结构、方向和显著性信息来区分真实目标与目标类背景残差。这三个分支分别聚焦于数据组织、背景表示和目标-背景分离。它们的共同优势在于物理含义清晰和对检测标注的低依赖性。其主要局限在于对先验假设、参数设置、张量构造和迭代计算的敏感性。深度学习方法也按时序信息的表征和使用方式分为三个分支。显式运动线索引导的时空融合利用配准、时间差分、光流、方向编码、可形变采样、动态查询或运动感知适配来引导跨帧特征聚合。其发展显示出从输入层面的运动校正到特征层面补偿、远程匹配、运动敏感算子以及预训练视觉模型适配的转变趋势。基于跨帧相关性的时序特征融合不需要完整的物理运动场,而是估计帧间或候选位置之间的相似度,并通过注意力或相关搜索来选择有用的信息。这条路线提供了灵活的跨帧关联,但大的搜索区域可能引入无关候选和额外计算。隐式时序表征与特征建模将序列信息存储在递归状态、记忆、状态空间表示、时间轮廓或背景演化模型中。它将时序利用从短期累积扩展到更长期的动态建模,但长序列可能将有用的证据与过时或无关的信息混合,并可能削弱直接空间对应。两条主要路线之间的相互作用产生了若干融合形式。融合方法将学习型去噪器插入优化过程,使用未训练网络作为隐式先验,用模型知识约束神经表征,将迭代优化展开为可训练网络,或使用数学运动模型来组织端到端检测器中的时序信息。这些方法在模型知识引入的位置、是否需要离线训练以及推理是否仍需逐序列优化等方面各不相同。它们表明,关键问题不仅仅是选择模型知识或数据学习,而是在检测过程中为两者分配适当的角色。评估方法连同计算效率也进行了综述。当前研究使用像素级、目标级、框级和响应图指标,以及准确率、虚警、复杂度和速度度量。直接比较仍然困难,因为优化方法和深度网络可能输出响应图、掩膜、热图或边界框。数据划分、输入帧数、时序采样、图像分辨率、预处理、匹配规则、硬件和运行时报告也不一致。现有的基准工作改善了特定方法族内的可重复性,但涵盖优化驱动、深度学习和混合方法的统一评估协议仍不完善。

综述的文献表明,运动红外小目标检测沿两条主要路线发展,每条路线各有三个主要分支,而优化驱动与深度学习的融合日益连接两者。这一分类体系显示,进展并非单一的网络演进路径,而是序列组织、背景建模、目标干扰分离、运动引导、跨帧关联和时序表征的联合发展。未来工作应首先改进通用评估协议,使不同输出类型和方法族能够在一致的数据划分、序列采样、输入尺寸、匹配规则、虚警统计、预处理和完整运行时报告下进行比较。应更好地将目标运动与平台和背景运动分离,利用参考帧质量和匹配置信度来减少误差累积。数据集开发和跨场景泛化应共同考虑,通过添加高速和不规则运动、遮挡、低信杂比、平台扰动、传感器变化和真实成像退化,同时学习较少依赖于特定传感器或数据集的时空特征。实时评估应涵盖完整的时序处理流水线,而非仅网络前向时间,并应鼓励特征复用、自适应时序范围、稀疏采样和轻量级细化。融合方法应进一步估计何时低秩、稀疏、平滑性或运动连续性假设是可靠的,并根据场景变化调整其影响。最后,弱监督、半监督、自监督和轻量级预训练模型适配应更好地利用未标注红外视频,并将通用视觉知识与红外局部结构和运动信息相结合。这些努力共同可提高评估一致性、减少对标注的依赖、增强在未见条件下的鲁棒性,并支持更可靠的部署。

红外小目标检测
时空建模
优化驱动方法
深度学习

作者贡献

田文文:大纲整理以及主要的论文写作;罗俊海:指导论文选题、论文修改;王奥钦:负责部分图表的制作与审查;邱翔昱,戎亿:研究资料的收集、分析、整理以及论文的整体审查。

利益冲突

所有作者声明无利益冲突

引言

红外成像技术能够不依赖可见光照条件,通过被动接收物体的红外辐射能量实现成像,因此,在弱光、夜间及一定恶劣天气条件下仍具有较强的环境感知能力。红外小目标检测作为红外图像处理中的核心任务,旨在复杂背景下准确发现、定位并跟踪尺度小、对比度低、纹理语义弱的目标。该技术在众多领域具有重要意义:在导弹预警、红外制导、空天目标监视等任务中,红外成像可对高速、远距离的小目标进行早期感知,从而提升防御系统的响应速度与打击精度;在民用航空、航天遥感、海上救援、森林火灾监测等场景中,红外检测可辅助识别热源目标,如小型无人机、漂浮物、火源点或失联目标,为安全监管与灾害预警提供支持。

传统红外小目标检测大多以静态检测为起点,关键在于利用图像中的空间线索将目标从背景中分离出来,相关研究通常可概括为模型驱动与数据驱动两类。其中,模型驱动方法以成像机理与先验假设为基础,通常将红外弱小目标视为近似点源,而将背景视为平滑、缓变或可分解的成分,因而具有可解释性强、参数可控、对训练数据依赖小等特点。按照主要建模思路,可进一步概括为三类:1)基于背景一致性假设的方法,认为局部背景变化缓慢,而小目标通常表现为局部突出的异常响应,典型代表包括Top-hat、max-mean等滤波或形态学方法;2)基于人类视觉系统的对比度模型,从中心-周围对比与局部显著性出发,通过构造局部对比度度量增强目标响应,代表性方法包括局部对比度测量、多尺度基于块的对比度测量等;3)基于低秩稀疏建模或分量分析的方法,将图像块或张量分解为低秩背景成分与稀疏目标成分,典型方法包括红外图像块模型、重加权红外块张量模型及其后续低秩稀疏改进模型。

与模型驱动方法不同,数据驱动的深度单帧模型通常将红外小目标检测表述为像素级分割、显著图预测或密集预测问题,通过卷积神经网络、编码器解码器结构、注意力机制及Transformer等端到端模型自动学习目标与背景的判别特征与上下文关系。相关研究主要围绕小目标细节保持、语义上下文建模、多尺度特征融合及前景-背景不平衡训练等问题展开,通过上下文调制、特征金字塔、嵌套U-Net、局部注意力、Transformer、数据增强与加权损失等策略提升目标响应和背景抑制能力。尽管深度单帧模型在公开数据集上显著提升了检测与分割性能,但仍受低信噪比、弱纹理语义、标注数据有限、类别极不平衡和跨场景泛化能力不足等因素制约。

随着红外视频场景中背景动态变化与结构干扰日益复杂,仅依赖单一空间特征已难以同时满足低虚警与高检出的双重要求,连续序列中的时间相关性与运动信息因而成为后续研究的重要切入点。尤其是随着公开序列数据集如DAUB、红外弱小目标数据集和红外微小目标检测数据集的发布,以及计算资源的持续发展,后续研究逐步聚焦于进一步利用序列中的时间特性与运动信息,由单一空间建模转向时空联合建模,围绕时序相关性、运动连续性展开了大量探索。

鉴于近年来运动红外小目标检测方法不断丰富,而不同研究在运动信息表征、跨帧关系建模及评价方式等方面差异明显,本文在回顾经典红外小目标检测框架的基础上,进一步聚焦连续序列中的运动与时序特性,将相关研究的发展脉络梳理为优化驱动和深度学习两条主要路线:前者围绕时空数据组织、背景结构建模及目标干扰分离不断改进,后者则逐步由显式运动引导扩展到跨帧相关性学习和长期时序表征,同时模型先验与深度网络的结合也形成了连接两类方法的重要方向。本文进一步结合常用评价指标、代表性方法性能及计算效率分析不同技术路线的特点与适用边界,并围绕统一评测、复杂运动解耦、跨场景泛化、时序处理效率、先验自适应和低标注学习等问题讨论后续发展方向。

运动红外小目标检测算法分析

运动红外小目标检测通常以连续红外帧序列为输入,目标是在复杂场景相对运动条件下,对微小目标进行检测。相较于单帧红外小目标检测,多帧场景中运动既可能来自目标自身,也可能来自载体抖动、视角变化与非刚性背景导致的表观运动。此类运动使得单帧目标特征不稳定,并引入显著的时序误检与漏检风险。因此,运动检测的核心不再局限于简单叠帧,而是更加关注如何建模跨帧一致性、抑制运动背景并提升弱目标的时序可分性。基于方法论差异,现有研究可宏观概括为两条主线:基于优化驱动方法与基于深度学习方法。前者强调显式先验与可解释优化,后者通过端到端学习建立时空表征与判别函数。围绕这两条技术主线,本文结合不同工程应用场景下的关键挑战,对现有方法进行系统梳理,并进一步分析各类方法创新设计背后的问题动机,以归纳该方向潜在的发展趋势。鉴于现有方法在技术构成上往往具有一定交叉性,本文主要依据各方法解决核心问题时所采用的主导机制及其主要创新点进行归类,其他辅助模块则作为相应方法的组成部分加以讨论。

图1 运动红外小目标检测方法总体框架

优化驱动方法

基于优化驱动的方法通常将运动红外小目标检测视为一个显式建模后迭代求解的问题。该思想不依赖大规模标注训练,而是利用红外成像与运动序列的物理假设:在弱小目标场景中,目标往往呈现低对比度、低信噪比与小尺寸,单帧信息不足以稳定区分目标与复杂背景;而序列数据提供了可利用的时空冗余与一致性,使背景的可压缩性更强、目标的稀疏性更突出。据此构造一个可解释的目标函数,对于红外小目标的检测一般可抽象为背景、目标、噪声的鲁棒分解问题,并用交替方向乘子法迭代算法求解。给定观测张量D,经典分解形式为:

D = B + T + N

其中:B为低秩背景;T为稀疏目标项;N为噪声残差。对应的一般优化框架可写为:

min_{B,T} R_b(B) + λR_t(T) + μR_n(D ? B ? T)

其中:R_b代表背景低维结构,以秩函数为出发点寻求可求解代替形式;R_t描述目标稀疏特征,通常采用?0、?1等结构化稀疏形式;R_n建模噪声影响,因其近似高斯分布,一般采用Frobenius范数或?2型约束;λ > 0和μ > 0为权重参数,分别用于调节目标稀疏先验项和噪声残差项在目标函数中的相对贡献。在更复杂的结构下,也常引入总变分正则化刻画局部平滑性与时空连续性。

由上述模型可知,优化驱动方法的每个项都有明确物理含义,因此具有较强的可解释性,在标注稀缺或场景变化较大的条件下,可控性往往优于纯学习方法。然而,这类方法同样存在共性瓶颈,例如迭代求解带来的计算开销、超参数与张量构造对性能的敏感性,以及复杂背景中目标与结构残差之间较高的混淆度。随着研究深入,现有工作已不再停留于单纯的低秩张量分解框架,而针对现有局限逐步进行改进。据此,本节按照主要贡献将近年来的优化驱动方法归纳为时空张量结构设计、背景低秩结构表征以及目标干扰可分性约束三类,并分别展开讨论。

时空张量结构设计

优化驱动的运动红外小目标检测最初建立在一个清晰而有效的思想之上,即通过合理的数据重排,强化背景相关性、放大目标稀疏性,从而将检测转化为低秩稀疏分解问题。IPI、RIPT等方法主要通过滑窗方式将图像块重排为矩阵或图像块张量,从而利用背景图像块之间的非局部相似性。然而,在运动场景中,目标响应和背景扰动均具有跨帧变化,仅从单一空间结构出发难以充分利用目标运动线索和背景变化。

在这一路线中,Liu等的工作可以视为运动场景下具有代表性的时空张量分解。如图2所示,该方法不再仅仅把连续帧整帧堆叠,而是提出了以当前图像块为中心,联合其空间局部邻域与时间邻域采样图像块,组成时空图像块立方,并进一步将其表述为时空张量D。随后,作者将检测问题建模为经典的低秩张量恢复法,背景用核范数约束,目标用?1稀疏约束,将优化问题转为凸表述。

图2 STT的基本框架

然而,时空图像块立方的设计虽然加强了背景局部相关性,但重叠滑窗与重复图像块的引入会带来较高的数据冗余与计算负担。为此,Wang等提出非重叠图像块时空张量,如图3所示,该方法以步长等于图像块尺寸的非重叠方式对每帧图像进行分块,随后在当前帧内聚合其空间邻域图像块构成空间图像块张量,同时在前后相邻帧中提取同位置图像块构成时间图像块张量,再按帧序堆叠为时空图像块张量。并对传统的张量核范数引入一个截断阈值构造截断型张量核范数,通过对较小奇异值施加更强抑制而相对保留主奇异值实现更准确的背景低秩恢复,在保留局部时空信息的同时进一步降低了无效重复采样。

图3 NPSTT的基本框架

Li等提供了另一种思路,其设计的SRSTT引入扭转张量,通过改变张量观察视角,将原序列中位于同一空间位置、跨连续帧的像素组织为更具连续性的张量切片。原本在单帧视角下表现为小面积高对比的背景稀疏干扰,在扭转视角中会表现为沿时间轴的连续结构,从而削弱其与目标的相似度,更好地从时间域中提取稀疏低秩性质。方法还引入结构化稀疏诱导范数表征目标的局部连续性,并进一步与传统?1范数组成联合稀疏正则。

为避免将局部图像块关系与时间关系混叠在同一模态中,Wu等提出直接构造4D红外张量,并结合张量链分解及张量环分解进行低秩建模。TT可将高阶张量按链式核心结构进行分解,具有较好的压缩能力与计算效率;TR则在TT的基础上构造首尾相连的环状核心结构,能够以更灵活的方式描述不同模之间的关联。如图4所示,该方法设计的4D张量不再将所有图像块与时间信息混叠在第三维中,而是分离为两个维度,从而使时间连续性和局部图像块组织关系能够同时保留。随后利用TT、TR展开将其转化为若干更均衡的矩阵表示,再对这些展开矩阵施加加权核范数约束,以缓解不同模之间尺度失衡对低秩恢复的影响。

图4 4D红外张量模型的基本框架

基于相似的建模动机,Luo等也指出局部与全局时空信息在传统张量中未完全区分可能导致现有张量结构在复杂背景下仍存在背景估计偏差。作者构造了5D白化时空图像块张量,先通过增白操作抑制可由非目标的二阶统计表达的背景与噪声,再将一帧图像分割成3×3子块序列组成的三维空间局部结构,按照全局空间位置索引搭建四维空间,最后沿着时间维堆叠为5D的张量结构,以同时保留局部空间、局部时间以及全局时空信息。

综上,张量结构设计从单纯时间维开销优化,逐渐调整为以不同的时空观察方式解耦局部、全局与时间关系,进行数据重组使背景相关性更集中、目标异常性更突出,并在保留有效时空关联的同时避免过度冗余和复杂化。由此,该类设计的优势在于能够在优化前通过数据结构设计主动强化可利用的时空先验,但其性能较依赖张量构造与短时相关性假设。随着张量阶数、展开方式和结构约束不断增加,数据组织与迭代分解的计算开销也同步上升,因此高阶张量带来的结构表达增益尚难直接转化为实时处理能力,长序列和高分辨率条件下的求解效率仍是其工程部署面临的现实瓶颈。表1从时空组织方式、能力边界及适用条件等方面对上述方法进行更加详细的比较。

表1 时空张量结构设计比较

方法 | 时空数据组织 | 建模重点 | 主要优势 | 主要局限
STT | 重叠时空图像块张量 | 局部空间时间相关性累积 | 弱目标的跨帧响应 | 重叠冗余大,难适应明显位移
NPSTT | 非重叠时空图像块张量 | 减少重复采样降低构造和计算开销 | 块间连续性及位置对应受限 |
SRSTT | 扭转张量重组时空张量 | 改变时间信息的组织方向增强目标连续性与结构杂波的差异 | 对快速运动和窗口参数敏感 |
4D-TT/TR | 二维空间、块间顺序及时间走向四维重组 | 跨维相关性更完整保持空间时间结构 | 多次展开和SVD开销较大 |
5D-STFC | 二维空间、二维块位置及时间走向五维重组 | 局部、全局与时间联合结构背景结构表达更完整 | 张量构造和求解复杂 |

背景低秩结构表征

优化驱动方法将背景视为具有低秩性和可压缩性的分量,但低秩优化计算复杂,工程上往往难以直接求解,准确地表征运动过程中背景相关性也是检测的难点之一。传统优化思路以核范数之和或TNN作为秩的凸替代,但这一方式也逐渐表现出局限。

核范数会对所有奇异值施加统一收缩,容易造成背景主成分过度压缩,进而使目标图中残留背景结构。Liu等进一步探索了非凸秩代理与时空平滑联合建模。该文提出的非凸张量低秩近似不再对奇异值直接作线性求和,而是借助Laplace函数对奇异值进行非线性映射与自适应加权收缩,从而更接近真实秩并缓解传统核范数统一收缩带来的背景过压缩问题。与此同时,他们又引入非对称时空总变分正则化根据相邻帧与空间邻域的不同变化特性赋予差异化平滑强度,以更灵活地刻画背景的空间局部平滑性与时间连续性。二者结合后,使该方法不仅在低秩背景估计上更准确,也在复杂场景下具有更强的背景抑制与噪声抑制能力。

但大量依赖奇异值分解的求解在复杂张量模型下计算代价较高,很大程度影响了后续工程应用。Liu等提出的带有因子先验的非凸张量Tucker分解以Tucker分解作为背景低秩表示框架,将背景张量分解为核心张量与多个因子矩阵。随后,针对传统核范数对Tucker秩的近似偏差,该方法采用基于对数行列式的函数对因子矩阵施加非凸低秩先验,以避免经验性秩设定并保留主要谱信息。进一步地,该方法引入加权组稀疏总变分正则项来表征目标稀疏的共通性,以?2,1形式对加权空间差分进行组稀疏约束,增强背景杂波抑制能力。这样既避免了经验性秩选择,又能充分利用潜在因子矩阵中的结构信息,在较小因子矩阵上做SVD也能够降低计算复杂度。类似地,Luo等在STRL-LBCM工作中,先通过改进的GoDec+学习背景字典张量,再将背景张量表示为字典张量与低秩系数张量的乘积,并对系数张量引入全连接张量核范数约束。低秩约束由背景张量转移至表示系数张量,背景可通过字典进行更灵活的表达,也降低了计算复杂度。Yi等提出的STT-TRNR则是利用张量环正则化来近似背景张量秩,并通过对背景张量进行循环维度重排并构造多组环展开,在多个维度组合视角下分别施加核范数约束,再加权求和形成张量环核范数,通过增强不同模态间的相关性表达来缓解模型求解复杂度问题。Liu等提出的FGLR-MCP指出现有许多方法在像素或图像块层面建图,顶点数过大,进一步放大了复杂度。如图5所示,该方法不再在像素或图像块层面建图,而是以连续帧为顶点构建帧级图,并设计快速图拉普拉斯正则化替代核范数刻画背景低秩性,实现了无需SVD且具有闭式解的背景估计。

图5 FGLR-MCP的基本框架

总体看来,背景低秩结构表征的发展主要围绕准确的结构表达能力与求解效率逐步推进。相关研究一方面不断改进传统核范数对背景结构刻画过于粗略的问题,使不同背景成分能够得到更合理的约束;另一方面,也逐渐不再局限于直接对完整背景张量进行低秩建模,而是转向因子、系数或帧间关系等更灵活的表示形式,以降低复杂分解带来的计算负担。此类设计的主要优势在于能够以明确的低维结构假设描述背景,并通过不同表示空间提高复杂背景恢复的精细程度;但其有效性仍依赖背景在给定时空范围内具有足够稳定的相关性。当平台运动、非刚性背景变化或场景突变削弱低秩结构时,背景模型容易产生估计偏差,而复杂低秩代理又往往伴随较高的迭代计算和参数敏感性。表2则从低秩表征对象、主要优势及机制局限等方面进一步整理路线差异。

表2 背景低秩结构表征方法比较

方法 | 低秩表征 | 辅助约束 | 主要优势 | 主要局限
ASTTV-NTLA | Laplace非凸低秩近似 | 自适应空时TV | 减少奇异值过度收缩 | 计算量较大,噪声适应有限
NFTD | Tucker因子分解 | logdet与组稀疏TV | 降低大规模谱分解负担 | GSTV增加迭代开销,实时性不足
STRL-LBCM | 背景字典与低秩系数 | 局部对比度与加权TV | 灵活表示复杂背景 | 字典学习与多模块求解,耗时仍较长
STT-TRNR | 张量环核范数 | 局部对比度约束 | 保持多维相关性 | 多次展开和SVD开销较大
FGLR-MCP | 帧级图拉普拉斯正则 | MCP稀疏约束 | 无需SVD,更新较快 | 正则化参数需人工调节

目标干扰可分性约束

复杂背景中往往同时存在边缘、角点、线结构、云层边界、建筑轮廓以及局部高亮噪声等成分,它们在分解模型中同样可能表现为稀疏,从而与小目标共同进入目标项造成虚警、目标过收缩或形状畸变。因而,如何增强目标与背景干扰之间的可分性、寻找能够更本质地区分真实目标和伪目标背景残差的结构线索,也是检测过程的一个重点研究方向。

传统低秩稀疏分解方法虽可将背景视为低秩、目标视为稀疏,但复杂背景中强边缘与角点同样是稀疏结构,若统一使用全局稀疏惩罚,则这些背景残差极易与目标混淆。Zhang等提出的ECA-STT针对这一问题设计了边缘角感知指标,先分别定义边缘指标和角点指标,再通过一个可调参数β融合两者对目标项加权,从而更好地区分真实目标与背景残差。同时该方法在背景项上结合基于张量的非局部总变分利用背景的非局部自相似性与局部平滑性更稳妥地处理背景中的边缘结构。如图6所示,Luo等提出的IMNN-LWEC则将整个图像张量显式分解为背景、目标、线性稀疏结构和噪声四个分量,并在目标项和干扰项两侧同时增强判别能力:一方面,基于图像信息熵与多尺度局部对比度构造局部加权熵对比先验,先利用熵算子突出点状显著区域、压制平坦区域,再结合结构张量对点特征、线特征和平坦区域进行判别,通过先验信息滤波器抑制线特征对应的无效先验并增强点状目标先验,从而使稀疏约束更偏向真实目标;另一方面,针对建筑边缘等具有线性稀疏性的干扰,该方法设计管向稀疏正则化将干扰从目标项中单独分离出来,以减少线状背景残差误入目标分量的可能。

图6 IMNN-LWEC的基本框架

也有研究不再局限于几何结构可分性,而是转向方向可分性建模。Zhou等提出的SDD框架指出真实小目标在不同空间展开与差分方向下存在着局部稀疏响应差异,目标存在强非方向性。基于此,作者先在Tucker分解框架下将低秩背景进一步分解为空间因子与时间因子,再对空间因子在不同方向上构造一阶差分图像,并根据不同方向差分后的稀疏模式差异,分别施加?1与?2,1的混合稀疏约束;同时,对时间因子的连续差分引入?2约束以表征局部时间连续性,从而将背景干扰的方向性与目标的非方向性显式纳入分解模型。进一步地,针对分解过程中目标亮度衰减和背景显著残留的问题,作者又设计了基于结构张量的自适应显著性一致性指数图,通过角点、边缘与一致性等多种局部结构测度构造显著性增强因子,并将其作用于目标项约束,以在迭代过程中持续增强真实目标、抑制高亮背景残差。

综合来看,目标干扰可分性约束的研究方向,是由单纯依赖稀疏性逐渐转向利用更具判别性的结构与时序特征。由于边缘、角点和局部高亮杂波同样可能产生稀疏响应,仅凭低秩稀疏分解已难以稳定区分真实目标。相较于单纯依赖稀疏性的分解模型,该分支能够进一步利用几何结构、显著性及方向等信息抑制目标样背景残差,因此更适合处理复杂场景中的虚警问题。但其判别依据多由人工设计,不同先验通常只刻画目标与干扰差异的某一侧面,当目标形态、运动状态或背景结构发生变化时,稳定性仍受限。表3从可分性依据、主要针对的干扰及机制局限等方面对上述目标干扰可分性约束代表性路线进行比较。

表3 目标干扰可分性约束方法比较

方法 | 建模方式 | 针对的干扰 | 主要局限
ECA-STT | ECA加权稀疏 + TenNLTV | 强边缘与角点 | 依赖局部几何结构描述
IMNN-LWEC | LWEC目标先验 + 独立线性稀疏分量 | 线状结构、高亮杂波 | 多种人工先验增加模型复杂性
SDD | 混合方向稀疏约束 + ASCE | 方向性背景结构及显著杂波 | 对方向及局部时空统计假设存在依赖

深度学习方法

基于深度学习的检测方法通常直接学习从序列观测到检测结果的端到端映射。其基本思想是利用带标注数据使网络在大量样本上自动学习目标与背景的判别表征与时序一致性,将多帧的时空冗余以特征层融合的方式转化为对弱小目标的可分性增强与对复杂背景误响应的抑制。给定长度为T的输入序列,学习一个如图7所示的映射:

图7 基于深度学习的运动红外小目标检测一般映射

首先输入时空骨干网络,提取得到多尺度特征;而后通过多尺度交互、特征融合生成统一预测特征图,再根据检测需求通过检测头生成逐帧预测。在框级检测设定下,B_t表示目标的边界框与置信度;在像素级分割设定下,M_t表示目标概率图或二值掩膜,训练通常以监督损失最小化为目标。尽管上述方法均通过数据驱动方式从连续序列中学习时空信息,但不同网络对帧间关系的组织与利用方式存在明显差异。根据时序信息在网络中的表征形式及其参与特征融合的方式,现有方法可大致归纳为三类,分别侧重于运动关系的显式引导、跨帧相关性的自适应建模以及时序状态与动态规律的隐式表征,下文将围绕这三条技术路径展开分析。

显式运动线索引导的时空融合

在深度学习框架下,运动信息不仅可以作为网络从连续帧中自主学习的时序特征,还可以通过特定形式进行显式表征,并进一步作为先验信息引导时空特征提取与融合。基于这一思路,本节方法围绕帧间变化、目标位移及跨帧对应关系构建运动线索,通过背景配准、帧间差分、光流估计等方式获得显式运动描述,并将其用于目标增强、特征校正或跨帧信息聚合。随着网络建模能力的增强,该类方法又由依赖人工或解析运动描述,逐步发展到方向编码、可形变偏移和动态查询等可学习机制,使运动线索从输入或预处理层面的辅助信息逐渐深入到特征空间中的动态对齐与匹配过程。

如图8所示,Yan等的设计在序列输入网络前先进行背景对齐来突显运动变化线索,对历史帧与当前帧分别提取尺度不变特征变换特征,并通过随机采样一致性算法将历史帧变换到当前帧视角,从而削弱由成像平台运动造成的背景位移影响。随后,方法通过背景亮度变化、目标运动变化与当前帧空间信息三类特征融合后形成时间多尺度特征,再通过空间多尺度特征细化模块在增强语义表达的同时尽量保留小目标位置信息。训练阶段,STDMANet进一步采用掩膜加权热图损失,将检测常用的中心点标注转化为二维高斯热图监督,以缓解极小目标边界模糊和前景背景极度不平衡的问题。

图8 STDMANet的基本框架

Huang等提出的LMAFormer的核心观点是将局部运动作为显式线索引入时空建模框架,通过光流计算跨帧偏移作为运动感知特征提取模块,从而在复杂运动背景下提升跨帧对齐与特征融合的可靠性。此外,该方法在解码端进一步引入多帧联合查询模块,以增强多帧细节表征与运动背景建模能力。

Li等提出的DTUM以另一种方式显式引入运动场,如图9所示,该方法不直接回归连续光流,而是将运动方向离散化为若干方向索引,并通过方向编码卷积块等将方向先验注入时序特征融合过程。其本质仍是将可解释的位移线索作为条件,引导跨帧信息的对齐式聚合,只是将连续运动场降维为离散索引,增强可解释性。

图9 DTUM的基本框架。(a) DTUM结构;(b) DCCB结构;(c) Conv3D层结构;(d) Conv2D层结构。

同样基于方向信息编码,He等提出双编码器与解码器多帧红外小目标检测网络DEMNet,将空间表征与运动信息提取分为两个相对独立的阶段。首先利用多层编码与解码结构对配准后的各帧图像进行多尺度空间特征提取;随后依据目标运动一致性,在运动信息编码器中分别构建帧间运动编码与帧内位置编码,对目标随时间变化的运动特征及其空间位置信息进行映射与重构,并结合三维卷积完成多帧运动信息融合。该设计将时序线索由一般的联合卷积响应进一步转化为具有明确运动与位置含义的编码表示。

为进一步利用显式差分线索,Fang等提出TDCNet,将时间差分与3D卷积统一到时间差分卷积中,通过在卷积权重中隐式编码帧间差分关系,使网络在提取时空特征的同时显式感知运动变化。其设计又通过短、中、长时间跨度的TDC分支捕获不同尺度的运动上下文,并在推理阶段将多分支重参数化为单一3D卷积,从而在增强复杂背景下运动辨识能力的同时避免额外的多分支推理开销。

Luo等提出的DFAR时序可形变对齐模块,进一步将位移线索转化为可形变卷积的采样偏移与调制权重,并在对齐后通过注意力与可变形融合进行时空特征精炼,实现端到端的连续形变对齐,训练时额外引入对齐质量的运动补偿损失约束对齐稳定性。此外,当序列出现大位移或复杂背景运动时,传统的固定感受野的对齐往往稳定性有限,DFAR通过空洞卷积注意力融合块的多尺度空洞感受野自适应预测帧间偏移,并在注意力引导可形变融合块中以金字塔偏移进行像素级融合。

另有研究聚焦于背景运动与目标运动的区分,Deng等提出DQAligner,通过快速尺度资源分配器、跨帧运动交互模块以及动态场可形变对齐模块,对复杂多尺度运动进行分解与对齐,并进一步借助类查询记忆迭代学习跨帧动态查询表征,使网络由刚性对齐转向更具弹性的匹配式关联,在大位移、低信噪比和复杂动态背景下表现出更强的目标一致性建模能力。其核心思路仍然是以显式的跨帧对齐与运动补偿为主线,但将固定偏移建模替换为动态查询驱动的可变形匹配框架。

运动建模不断深入特征表征的同时,相关研究也开始将其用于基础模型的任务适配。Xu等提出IRDINO,将DINOv3引入运动红外小目标检测,并针对通用视觉特征对弱小红外目标局部细节感知不足的问题进行轻量空间适配。其主要思路在于引入二阶运动感知,通过连续帧的二阶时间变化描述目标运动状态的变化趋势,利用目标较连续运动规律与背景随机扰动之间的差异增强目标杂波可分性,从而使通用预训练表征具备面向红外序列的运动判别能力。实现基础视觉模型、红外小目标的局部结构和专门运动线索的任务适配。

综合上述方法可以看出,显式运动线索的利用逐渐由输入层面的背景运动校正和帧间变化突出,发展为对运动方向、连续位移及空间位置等信息的显式表征,并进一步深入到特征空间中的自适应采样补偿与大范围目标关联。其核心变化并非单纯增加运动特征,而是不断增强运动信息对跨帧特征聚合过程的约束能力,使参考帧中的有效目标信息能够围绕当前帧目标位置进行更稳定的累积。由此,该类方法优势在于在帧间错位明显时具有较强的位置对应和目标增强能力,同时运动方向、位移或采样位置具有较明确的作用含义,可解释性强。另一方面,这种明确约束也使方法性能较依赖运动线索本身的可靠性,弱目标、复杂背景以及大范围非线性运动均可能增加配准及偏移估计难度,而扩大运动补偿范围又会带来额外计算负担。其关键在于运动描述精度、有效搜索范围与复杂运动适应能力之间的平衡。不同显式运动机制的具体能力及局限如表4所示。

表4 显式运动线索引导方法比较

引导方式 | 代表方法 | 能力侧重 | 适用场景 | 主要局限
配准后差分 | STDMANet | 削弱全局背景错位 | 背景运动可稳定配准 | 弱纹理下配准不稳
光流对齐 | LMAFormer | 连续描述位移并提供粗对齐 | 明显位移及动态背景 | 弱小目标运动易受干扰
方向编码 | DTUM | 低成本利用运动方向一致性 | 短时连续的小范围运动 | 大运动表达不足
运动位置联合编码 | DEMNet | 显式强化运动变化与空间位置 | 配准后弱目标运动 | 依赖预对齐效果
多尺度时间差分卷积 | TDCNet | 兼顾空间表征与显式运动感知 | 复杂动态场景,低信噪比 | 依赖背景对齐
可形变对齐 | DFAR | 自适应特征补偿 | 复杂局部运动 | 局部感受野受限
动态匹配 | DQAligner | 全局搜索缓解大位移的跨帧错配 | 大位移、复杂动态场景 | 计算复杂度较高
运动线索适配基础模型 | IRDINO | 弥补基础模型运动判别能力 | 基础模型向红外序列迁移 | 需要红外域适配处理,长时序易引入冗余

基于跨帧相关性的时序特征融合

显式对齐往往带来较高计算开销,并且对对齐误差较为敏感。相比之下,本节方法根据不同帧、空间位置或特征单元之间的相似程度建立跨帧对应关系,并据此选择和融合与当前目标相关的时序信息。按照相关关系的构建方式,可进一步概括为基于注意力权重的特征相关建模和基于相关体的空间对应搜索两种形式:前者通常利用查询、键、值交互或时空自注意力,在特征空间中自适应衡量不同帧及不同位置对当前表征的重要程度;后者则直接计算当前特征与参考帧候选区域之间的匹配响应,通过相关权重完成跨帧信息补偿。

一种典型方式是以待检测帧为中心,通过其与邻近参考帧之间的特征相关性进行选择性信息聚合。Zhu等提出的TMP,以关键帧为中心取固定长度序列作为输入,时域分支不显式估计运动场,而是把关键帧特征作为Q、参考帧特征作为K及V,通过多头注意力机制学习跨帧相关性匹配,以获得更稳定的运动目标表征。同时引入空间辅助增强分支,利用参考帧特征生成门控去调制关键帧空间特征,缓解细节损伤。两分支输出不做简单拼接,而通过互补对称加权实现跨域自适应融合,从结构上避免某一域信息长期压制另一域。

在此基础上,Tong等提出的ST-Trans进一步将跨帧相关性的建模扩展到多尺度时空联合建模。其以空间骨干生成多尺度特征,再通过时空Transformer模块建立连续帧时空依赖,实现软对齐融合。如图10所示,STTM由两层多头自注意层组成,第一层在不重叠3D窗内做注意力;第二层将窗口划分沿各维度方向引入跨窗连接,增强全局时空信息捕获能力。该设计一方面通过窗口化机制在可控复杂度下引入时序上下文,并在消融中验证扩大窗口带来的收益;另一方面结合如NWD loss等监督策略,缓解小目标边界框对像素级偏差过于敏感的问题,从训练目标层面提升定位鲁棒性。

图10 STTM的基本框架

随着跨帧相关范围的扩大,弱小目标在进入时序交互前能否保持足够可靠的局部表征也成为影响相关性建模质量的重要因素。Shen等提出轻量混合网络LVNet,指出传统视觉Transformer采用线性投影生成图像块表示时,对红外小目标所依赖的局部结构和尺度敏感特征刻画不足。为此,该方法首先构建浅层卷积U形网络,并利用多尺度特征融合模块在不同感受野下提取目标边缘、邻域过渡及背景上下文信息,在此基础上进一步采用U形video swin Transformer对连续帧进行多尺度时空交互,使局部细粒度表征能够在跨帧相关性建模过程中得到持续保留。

与多数逐帧检测后接时序精炼的两阶段范式不同,Qin等提出的OSFormer指出该范式会破坏时序完整性,并引入额外时序模块导致复杂度上升。如图11所示,其提出一步式检测范式,将视频序列编码为图像立方形式,在一次推理中完成跨帧联合分析,从而最大化时序信息利用,其核心体现在其可变尺寸图像块注意力:通过不同尺度的图像块划分与池化算子,在保持效率的同时更聚焦小目标特征,并形成多阶段层级特征用于后续预测,进而弥补固定图像块导致的小目标特征丢失与高计算代价问题。

图11 OSFormer的基本框架

上述方法主要通过注意力权重在特征空间中学习跨帧依赖,而对于高速、不规则运动,相关建模还需要考虑候选对应区域能否覆盖真实帧间位移。Gao等针对这一问题构建了包含低信杂比、高速及不规则运动目标的MIST数据集,并提出基线网络MISTNet。其移位邻域补偿模块不直接估计运动位移,而是在多层时空金字塔中,将当前帧像素分别与历史帧不同尺度邻域计算特征相关性,并根据归一化后的相关权重对参考特征进行加权补偿;同时通过分组移位为局部匹配引入多个潜在位移方向,在较低计算代价下扩大有效搜索范围。进一步地,渐进式蒸馏解码器依据信息瓶颈思想逐层压缩多帧聚合特征,在保留目标判别信息的同时过滤动态背景等目标无关因素,从而提高复杂运动条件下跨帧信息利用的有效性。

综合可见,一方面,跨帧信息交互由以关键帧为中心的短时序列形式,逐步扩展至多尺度时空窗口、视频特征层级以及多帧联合表征,相关关系由局部帧间交互向更完整的时空上下文建模发展;另一方面,面对高速或不规则运动造成的跨帧位置变化,相关性建模又进一步由特征级联合交互转向候选空间搜索,以扩大有效对应范围。该类方法总体优势在于无需显式建模具有明确物理含义的位移信息,而是直接构建当前帧与参考帧之间的相关关系,根据匹配强度选择信息来源和聚合位置。因此,其优势主要体现在跨帧信息利用的选择性和空间对应灵活性,能够从多个候选帧或位置中主动筛选对当前目标更有价值的特征。但其有效性也更依赖跨帧特征本身的可辨识程度,小目标与背景干扰具有相似响应时容易产生错误关联,而较大位移又可能使真实目标超出有效匹配范围。扩大关联窗口能够改善对应能力,但同时会增加无关候选和计算开销。其核心问题逐渐转化为如何在关联范围与匹配可靠性之间取得平衡。表5进一步从跨帧关系构建方式、关系组织范围、能力侧重及主要局限等方面对代表性方法进行比较。

表5 基于跨帧相关性的构建方式比较

跨帧关系构建方式 | 代表方法 | 关系组织范围 | 能力侧重 | 主要局限
关键帧查询式跨帧注意 | TMP | 关键帧与邻近参考帧 | 筛选与当前目标相关的参考信息 | 大位移下跨帧相关匹配稳定性下降
多尺度窗口式时空自注意 | ST-Trans | 多尺度局部时空窗口 | 联合建模空间与时间依赖 | 扩大时空关联范围增加计算开销
U形视频窗口时空自注意 | LVNet | 多尺度视频特征层级 | 兼顾目标局部表征与时空上下文 | 显著帧间错位干扰时空一致性
立方序列编码与变尺度融合 | OSFormer | 采样多帧压缩建模 | 增强多帧时序信息的整体利用 | 均匀采样压缩可能遗漏时序变化
多邻域相关体匹配与分组移位 | MISTNet | 当前位置与历史候选邻域多尺度搜索 | 跨帧对应并聚合匹配特征 | 搜索范围因邻域与移位的设置受限

隐式时序表征与特征建模

此类方法并不以恢复具体位移或建立明确帧间对应为主要目标,而是将连续序列中的动态变化编码为隐藏状态、记忆等其他内部特征,并通过持续传播和特征重构增强目标与背景的区分能力。研究重点涵盖短时状态累积与长期信息保持,并进一步发展出多域动态表征及时间规律建模等方式。

典型代表如卷积长短期记忆网络。其状态更新可简写为:

(H_t, C_t) = ConvLSTM(X_t, H_{t?1}, C_{t?1})

其中:X_t表示第t帧输入特征;H_t和C_t分别表示隐状态与记忆单元。

已有研究人员发现在红外小目标检测中ConvLSTM可通过卷积门控在保持空间结构的同时利用隐状态捕捉运动线索,以累积弱目标响应并抑制随机噪声。基于该思想,Liu等进一步将单向记忆扩展为双向记忆,在编码端使用Bi ConvLSTM以前向、后向两条时间链路同时建模,引入未来帧信息以提升当前时刻表征的稳定性与可分性。随后将各时刻输出堆叠形成特征矩阵,并通过3D-Conv在时间维扩大感受野以融合序列上下文,从而在空间上难以分辨的场景下借助连续运动线索增强判别能力。为进一步提升时序建模的结构化表达,Chen等代表性贡献在于提出Cross-slice ConvLSTM,在时序网络中不仅建模片内时空输入,还显式引入跨切片连接,使隐状态能够在片间传递更长程的运动信息,从而同时捕获来自过去与未来帧的运动特征。训练阶段结合运动协调损失以强化运动一致性约束,提升复杂背景下运动小目标的检出稳定性,其总体架构如图12所示。

图12 SSTNet的基本框架

此外,针对现有多数运动红外小目标检测方法主要依赖空间域与时间域特征,频率域信息的利用不足,Duan等提出了三域特征学习框架Tridos,将特征来源由传统的时空域扩展为时空频率联合表征。具体而言,该方法首先通过记忆增强空间关系模块建模关键帧与参考帧之间的空间联系,并借助记忆增强单元保存与查询跨帧目标关系;随后通过时序动态增强模块利用差分学习与残差增强编码运动动态;同时,局部-全局频率感知模块基于傅里叶变换分离并增强频域特征,以补充时空域难以充分刻画的目标与背景差异。考虑到不同域特征在学习路径和响应分布上可能存在不匹配,Tridos进一步设计残差补偿单元对空间、时间与频率特征进行自适应融合。

在跨切片时序传播基础上,固定长度时间窗对历史信息利用范围的限制进一步受到关注。Feng等提出MTTU-Net,在编码器与解码器之间引入记忆时序Transformer模块,利用双输出ConvLSTM将连续输入中的时空信息递归更新为键和值形式的历史记忆,使已有时序状态能够随序列持续传递。在信息读取阶段,以当前帧空间特征作为查询,通过时间通道交叉Transformer和时间空间交叉Transformer分别从记忆中提取与目标增强和背景感知相关的信息,由此将有限时间窗内的一次性时序融合扩展为历史状态的持续更新与选择性利用。

随着状态空间模型的发展,Mamba等因线性复杂度和长程依赖建模能力开始被引入红外小目标检测。现有研究首先在单帧空间序列建模中验证了其有效性。但在MIRSTD中,以SSM为核心时序建模的高影响力工作仍相对稀缺。Zhang等提出的代表性贡献在于:一方面在切片层次通过运动上下文建模模块提取序列整体的运动差异信息,并将该信息嵌入动态卷积核;另一方面在帧级层次引入Mamba结构,设计由多个权重共享的位移感知Mamba模块组成的位移建模网络,并不直接套用常见线性选择,而是提出时间插值与差分感知选择性扫描,通过时空差分卷积与帧内插值构造位移序列,再用Mamba的扫描模块在序列中累积帧间位移证据,捕捉运动信息。

受流行视觉语言模型启发,一些工作结合图神经网络展开。图神经网络将目标、区域或运动描述抽象为节点,将语义关联抽象为边,并通过邻域消息传递更新节点表征,这种结构有助于表达目标间或目标背景间的非欧式关系,尤其适合用于细粒度运动先验、目标轨迹关联和区域关系建模。Chen等提出的MoPKL以IRSTD的视觉语言框架为出发点,用结构化的运动文本描述去定向引导视觉分支学习运动先验,并用图注意力进一步精炼细运动特征。文章将运动拆成若干可组合的离散语义槽,从相邻帧的目标位置计算速度及方向,从而构造一致格式的文本描述,用于提供更细的运动线索,与多帧视觉特征对齐后得到节点特征集合N,经运动关系挖掘建立候选区域之间的边连接集合E,进而将运动先验知识构建为关系图G=(N,E),再通过图注意力沿节点间的关联关系聚合特征,获得更稳健的运动知识特征并回注到检测分支。

值得注意的是,也有工作反思堆叠过多时空信息的收益与代价。Li等指出在复杂背景下过度聚合可能带来不稳定与冗余计算,有必要强调时间轮廓在复杂条件下的判别价值,进而提出仅在时间维基于时序探针进行计算的DeepPro,将检测重构为一维时间信号异常检测问题,以较高效率获得具有竞争力的检测性能。该路线从复杂的时空融合回到更匹配任务结构的时间证据,为运动ISTD提供了轻量化与鲁棒性并重的另一种设计范式。

此外,近期研究开始从时序表征对象本身重新审视弱小目标检测。Duan等在CVPR 2026提出因果引导的层次异常感知框架CHAL,将传统目标中心式检测转化为背景中心的异常发现过程。该方法首先利用时空神经场结合场景编码和时空位置编码学习背景的连续演化规律,形成对序列背景正常状态的隐式表征;随后通过层次异常感知机制先提取偏离背景模式的表观异常,再结合跨帧运动一致性验证潜在目标。在此基础上,因果关系引导模块通过特征干预抑制云边缘、噪声等背景混杂因素形成的伪相关,使最终表征更多保留与真实目标相关的信息。由此,时序信息的利用进一步由目标运动特征增强延伸至背景动态规律建模及其异常偏离分析。

总体看来,隐式时序建模呈现出由短时状态累积向长时信息保持、由单一时空特征向结构化动态表征、再向长期时间规律建模逐步扩展的趋势。递归状态、跨切片传播和历史记忆等方式扩大了运动信息的有效利用范围,使单帧中微弱且不稳定的目标响应能够在时间维持续积累。随后,频率信息、运动上下文、位移特征等运动先验被进一步引入内部表征,以增强目标与背景动态差异。近期研究又开始从长期时间轮廓及背景时空演化规律中建立判别依据,使时序信息的作用由局部运动增强延伸至长期异常识别。该类方法并不以逐帧匹配为主要目标,而是将历史动态持续编码到状态、记忆或时间特征中,因此,其优势主要体现在弱目标证据的持续累积和长期时序规律的利用,尤其适合单次帧间响应不足以形成稳定对应的情况。然而,这种内部编码也会弱化历史信息与具体空间位置之间的直接联系。随着序列延长,有限状态中的信息压缩以及背景和运动状态变化还可能使有效历史与无关动态发生混合。其关键问题在于,如何在扩大时序信息利用范围的同时长期保留具有判别力的信息并抑制无效历史干扰。表6进一步从建模方式、能力侧重和主要局限三个方面对代表性方法进行比较。

表6 隐式时序表征与特征建模方法比较

建模方式 | 代表方法 | 能力侧重 | 主要局限
双向递归状态与3D时空编码 | Bi-Conv-LSTM+3D-Conv | 适应运动参数变化,增强低对比目标的时序判别能力 | 缺少针对复杂背景与杂波的专门抑制机制
跨切片递归状态传播 | SSTNet | 扩大运动状态利用范围,提升弱目标时序可辨识性 | 性能对切片与层级配置较敏感
时空频率多域联合表征 | Tridos | 补充频域判别信息,增强目标运动细节与轮廓表征 | 多域变换与融合计算开销较大但收益不明显
记忆驱动的长时序更新 | MTTU-Net | 自适应长段历史信息,兼顾弱目标增强与动态背景抑制 | 隐式记忆受隐藏状态容量限制
运动上下文与位移感知 | MOCID | 强化目标与背景运动差异,提高细微位移下的定位可靠性 | 长时序中的显著运动变化会削弱建模稳定性
先验引导的运动关系图 | MoPKL | 细化目标运动表征,减弱背景运动对目标关注的干扰 | 缺少明确位移约束,复杂运动下的空间对应能力有限
长时序时间轮廓 | DeepPro | 放大长期时间差异,增强弱目标与噪声杂波的区分能力 | 缺少邻域空间辅助,强噪声下判别能力受限
背景时空演化与层次异常感知 | CHAL | 绕开弱目标表征不足,降低背景混杂引起的虚警 | 目标与背景动态趋同时,异常判别依据减弱

优化驱动与深度学习融合方法

前述优化驱动方法与深度学习方法分别体现了知识驱动与数据驱动两种不同的技术路径。优化驱动方法依托低秩、稀疏及时空平滑等先验进行显式建模,具有标注依赖低、可解释性强等特点,但容易受到先验失配和迭代求解效率的限制;深度学习方法能够从数据中自适应学习复杂的帧间动态关系,在复杂场景中具有更强的表征能力,但通常依赖训练数据与计算资源,且内部特征缺乏明确的物理解释。两类方法在标注依赖、推理效率、可解释性、动态杂波适应与跨场景泛化等方面的差异如表7所示。总体而言,两类方法在先验约束与数据表征能力方面具有较明显的互补性,由此逐渐形成了将模型先验与深度学习相结合的一类融合研究。其发展并非对前述两类技术路线的替代,而主要体现为模型先验介入学习与优化过程的位置不断拓展、融合程度逐步加深。

表7 优化驱动与深度学习主要特性比较

比较维度 | 优化驱动方法 | 深度学习方法
标注依赖 | 通常无需检测标注,主要依赖先验知识分解 | 依赖一定规模的训练数据与标注
推理效率 | 逐序列迭代求解,高维分解计算开销较大 | 训练后采用快速前馈推理,但复杂网络仍可能计算量较高
可解释性 | 模型假设、约束项及变量具有明确含义 | 特征由数据自动学习,内部判别机制相对难以解释
动态背景适应性与泛化 | 取决于结构先验的有效性和参数适配 | 复杂背景表征能力较强,但易受数据分布偏移影响
硬件部署门槛 | 无大规模训练需求,但迭代计算限制实时部署 | 训练阶段依赖GPU资源,但部署阶段推理迅速

较早的融合方法仍以传统优化模型为主体,主要利用深度网络补充难以显式构造的先验。Liu等提出WSWTNN-PnP,如图13所示,在低秩-稀疏分解框架下采用加权张量核范数之和刻画背景低秩结构,并通过即插即用机制将预训练FFDNet作为深度去噪先验嵌入背景更新过程,利用ADMM完成各变量的交替求解。其核心融合方式是保留原有优化模型和求解框架,由预训练网络替代部分人工设计的噪声正则项,使数据学习得到的去噪先验与低秩、稀疏等解析先验共同参与目标背景分离。

图13 WSWTNN-PnP的基本框架

从优化模型的角度看,WSWTNN-PnP仍然遵循经典的低秩-稀疏分解框架,只不过在背景项之外额外注入了深度学习去噪先验。其优化模型写为:

min_{B,T} ‖B‖_{WSWTNN} + λ‖T⊙W‖_1 + λ_1 φ(B) s.t. D = B + T

其中:W为目标稀疏权重张量;φ(·)是由FFDNet所提供的隐式去噪正则。

除利用预训练网络提供外部深度先验外,另一类方法开始利用网络结构本身所具有的隐式先验。Ulyanov等提出的深度图像先验表明,未经训练的卷积网络也能够通过其结构特性刻画一定的图像统计规律。受此启发,Zhang等提出3DSTPM,在低秩稀疏时空张量分解框架中引入未经预训练的3DCNN,直接以网络参数化背景张量,并通过针对输入序列的无监督优化学习潜在时空结构;与此同时,背景仍受到卷积TNN低秩约束和嵌套总变分局部平滑约束,目标则保持稀疏约束。由此,网络不再作为外部固定去噪器,而是直接参与传统优化变量的表示,使神经隐式先验与解析先验在同一目标函数中联合优化。

在此基础上,Wu等提出NeurSTT,进一步将神经表示引入时空张量建模过程。该方法依据红外背景低秩特性构造神经化背景表示,并设计神经三维总变分,利用连续神经表示在空间和时间维度上的变化约束背景平滑性与时间连续性;目标分量仍采用稀疏约束和软阈值更新完成分离。其融合重点由单纯增加深度隐式先验进一步扩展为利用红外领域先验指导神经时空表示及正则过程的构造,使低秩、时空平滑和目标稀疏等先验直接参与神经表示的优化。

上述方法仍需要围绕具体输入进行优化求解。另一类思路则通过深度展开将优化模型本身转化为可训练网络。Wu等提出RPCANet,将红外小目标检测建立在松弛的鲁棒主成分分析模型之上,并将背景估计、目标提取和图像重构等迭代步骤分别映射为背景估计模块、目标提取模块和图像重构模块,分阶段处理来对应传统迭代过程。此时,数学模型主要用于确定网络中的变量含义、信息流及更新关系,而具体非线性映射由数据学习获得,因此其融合方式可概括为以优化算法为网络结构原型,将显式迭代过程展开为端到端可训练网络。需要说明的是,RPCANet主要面向单帧红外小目标检测,本文将其作为深度展开这一模型数据融合范式的代表,其思想仍可为运动场景中的时空模型展开提供参考。

当数学模型不再作为待求解的目标函数时,模型先验还可以直接转化为深度检测器中的信息组织机制。Zhang等提出Hybrid Modeling方法,将光滑粒子流体动力学与马尔可夫决策过程引入运动红外小目标检测。其中,SPH用于将连续红外序列组织为三维时空关系并进行图像级增强,MDP则用于指导参考帧选择、时序特征聚合及历史检测结果传播。此时,SPH和MDP并不对应独立的优化求解过程,而是作为时空增强和时序推理的模型依据嵌入端到端检测网络。

类似地,解析运动模型也可以直接参与多帧信息的构造。MIST-Net首先利用Taylor展开近似多帧间的运动变化,以位移、速度和加速度等项描述主要运动状态,并结合不同时间尺度下的运动响应将连续帧压缩为紧凑的运动表征;随后,运动信息与待检测帧分别进入相应分支进行特征提取和交互。其核心思路是在深度特征学习之前利用解析运动规律组织时序输入,使模型先验直接指导网络获取和利用运动信息的方式。这一设计进一步将模型驱动思想由优化约束拓展到了输入表示和网络信息流层面。

综合来看,现有优化驱动与深度学习融合方法在具体实现上呈现出多种形式,不同方案在先验约束强度、网络参与程度、训练与求解方式以及模型解释性等方面各具特点,具体比较如表8所示。尽管实现路径不同,其共同出发点均在于发挥模型知识与数据学习能力之间的互补作用:低秩、稀疏、平滑及运动规律等先验知识用于限定目标背景分离或时序信息组织的基本结构,而神经网络则主要负责描述复杂噪声统计、非线性背景变化及时空关系等难以准确解析建模的部分。不过,现有融合方式总体仍以预先设定的模型结构、先验形式及作用强度进行耦合,模型知识与数据表征之间的协同关系通常在设计阶段即被固定。当背景结构、噪声统计或运动状态发生变化时,模型对不同先验可靠性的判断与动态调节能力较有限。总体而言,真正实现模型先验与数据表征自适应协同的研究仍然较少,如何根据场景变化判断并动态调整不同先验的作用强度,仍是有待解决的关键问题。

表8 优化驱动与深度学习代表性融合方式比较

融合方式 | 代表方法 | 模型先验作用 | 深度网络作用 | 主要特点
深度先验嵌入优化 | WSWTNN-PnP | 保留低秩、稀疏优化模型 | 预训练去噪网络抑制复杂噪声 | 依赖预训练去噪网络,检测阶段保留迭代求解
神经隐式表示联合优化 | 3DSTPM | 保留低秩、平滑与稀疏约束 | 未训练网络提取潜在时空特征 | 无需标注与预训练,但需针对输入序列优化
领域先验引导神经表示 | NeurSTT | 利用低秩、平滑和稀疏先验约束目标背景分离 | 神经网络表征背景及时空变化 | 无需监督标注,对输入进行神经优化与交替更新
优化模型深度展开 | RPCANet | 以RPCA确定背景、目标和重构关系 | 网络学习各迭代步骤的更新过程 | 需监督训练,部署阶段采用前馈推理
模型先验指导网络设计 | Hybrid Modeling、MIST-Net | 利用数学模型或运动规律组织时序信息 | 网络完成特征学习与检测 | 需离线监督训练,检测阶段端到端前馈推理

运动红外小目标检测的评价指标

与静态图像检测相比,运动场景下的红外小目标检测评估不仅要考察单帧内目标的检测效果,还要进一步关注检测结果在时间维度上的连续性与稳定性。在运动红外小目标检测任务中,模型输出形式通常可分为两类:1)像素级输出,即给出目标在图像中的区域分布,常表现为目标掩膜或对应的响应强度图;2)框级输出,即以候选目标的位置、范围及其置信度为结果,用于描述目标的大致空间位置。由于不同方法的检测范式并不相同,评价指标也需要与具体输出形式相匹配:前者更关注目标区域是否被完整、准确地分割出来,后者则更关注目标是否被正确定位以及虚警框的多少。本节总结了这些常用于运动场景红外小目标检测的评估指标。

混淆矩阵与基本统计量

二元分类问题的混淆矩阵由四个数字组成,如图14所示。设真实掩膜为M_t,预测掩膜为M?_t,逐像素比较可得到四类计数:1)真正例:预测为目标且真实为目标的像素数;2)假正例:预测为目标但真实为背景的像素数;3)真反例:预测为背景且真实为背景的像素数;4)假反例:预测为背景但真实为目标的像素数。

图14 混淆矩阵

精确率表示预测为目标的样本中真实目标所占比例,反映模型抑制虚警的能力。召回率亦称真正例率代表真实为正的样本里有多少被检出,反映漏检情况。相对应的假正例率在二分类与评估曲线中都非常常用。决策阈值在平衡精确率和召回率方面起着至关重要的作用。提高阈值会使评估更加保守,从而减少误报,提高精确率,但代价是增加漏报,降低召回率。相反,降低阈值可以让更多候选项被分类为目标,从而提高召回率,但也会引入更多误警,从而降低精确率。F1是两者的调和平均,该指标综合反映精确率与召回率之间的平衡关系。只有当精度和召回率都较高时,F1分数才会很高。

还采用目标级检测概率Pd与虚警率Fa评价检测性能。与逐像素混淆矩阵不同,Pd通常从目标级统计正确检出的目标比例,用于反映算法的目标检出能力;Fa则通常从像素级统计虚警数量,并用测试集总像素数进行归一化,用于衡量算法对背景误检的抑制能力。

其中:NTP_obj表示被正确检测出的真实目标数量;NFN_obj表示未被正确检测出的真实目标数量;NFP_pix表示被错误预测为目标的背景像素数量;N_img表示测试图像或测试帧总数;H_i和W_i分别表示第i幅图像的高度和宽度。因此,Pd本质上对应目标级召回率,而Fa反映单位像素范围内的虚警密度。

交并比及其评测方式

在运动小目标检测任务中,交并比是衡量预测结果与真实标注空间重叠程度的核心指标。它既可用于判断单个预测是否与真实目标正确匹配,也可用于评价分割结果对目标区域的还原程度,因此是计算检测类指标与分割类指标的重要基础。

在框级指标下给定第i个预测框b_i与第j个真实框g_j,其IoU定义为两个框的交集面积与并集面积之比。其中:实际评测时通常先按照预测框置信度从高到低进行排序,再依次将每个预测框与当前尚未匹配的真实框计算IoU,并选择其中IoU最大的真实框作为匹配对象。若最大IoU不小于阈值θ,则该预测计为TP,否则为FP,未被匹配的真实框计为FN。

对于像素级评测,IoU用于衡量预测掩码与真实掩码在像素层面的重叠程度,更适合反映模型对目标区域轮廓和范围的恢复能力。在运动场景中,若第t帧的真实掩码和预测掩码分别记为M_t与M?_t,则像素级IoU可定义为。其中:TP_t、FP_t和FN_t分别表示像素层面的真正例、假正例和假反例的像素数量。具体而言,它们是将图像中每个像素视为一个二分类单元后,对预测结果与真实标注逐像素比较得到的统计总数。

最基础的多帧评测方式是对每帧计算单帧交并比,再在时间上取平均,从而得到整个序列上的整体性能。其中:T表示序列总帧数;IoU_t表示第t帧的交并比。该指标能够综合反映模型在视频序列中的连续检测或分割表现。

ROC曲线、AUC指数、PR曲线与AP指标

当模型输出像素级概率图或目标响应图时,通过阈值θ∈[0,1]将其二值化可得到不同的TPR(θ)与FPR(θ),形成受试者特征曲线。ROC曲线反映模型的整体判别能力,越靠近左上角,算法性能越好。其对应的ROC曲线下的面积用于对ROC曲线进行定量评价,面积越大,表示模型整体判别能力越强。类似地,也可以通过改变二值化阈值θ得到不同的精确率Pr(θ)与召回率Re(θ),从而形成精确率-召回率曲线。PR曲线以召回率为横轴、精确率为纵轴,相较于ROC曲线对正负样本比例更加敏感,因此在红外小目标检测这类目标像素极少、背景像素占绝大多数的类别不均衡场景中,PR曲线及其面积通常能够更直接地反映模型在目标检出与虚警抑制之间的平衡关系。PR曲线越靠近右上角,说明算法性能越好。其曲线下面积称为平均精度,可表示为:

AP = ∫?1 Pr(r) dr

其中:Pr(r)为召回率取r时对应的精确率。由于运动小目标场景类别严重不均衡,PR曲线与AP往往比ROC曲线与AUC更能反映模型性能差异。

而在框级目标检测评价中,AP的计算通常先固定交并比匹配阈值,再按照预测框置信度从高到低排序,逐步累积真正例和假正例得到PR曲线。AP50表示在IoU=0.5作为匹配条件时计算得到的AP;mAP50则通常表示在IoU=0.5条件下对各类别AP50取平均后的结果。

优化驱动方法中的AUC扩展

优化驱动的运动红外小目标检测方法通常直接输出目标响应图、背景估计图或多帧检测结果,因此除常见的评价量:信杂比增益、背景抑制因子、局部信噪比增益、对比度增益等通用指标外,近年也引入了三维ROC及其派生AUC指标。该类指标以检测阈值τ、真正率TPR和虚警率FPR为基础,从不同角度刻画目标检测能力与背景抑制能力。其中,AUC(FPR, TPR)表示常规ROC曲线下面积,用于衡量整体检测性能;AUC(τ, TPR)衡量阈值变化过程中目标保持能力,其值越大说明目标检测能力越强;AUC(τ, FPR)衡量阈值变化过程中的虚警变化情况,其值越小表示背景抑制能力越好。在此基础上,有研究进一步定义了综合派生指标:

AUC_BS = AUC(FPR, TPR) ? AUC(τ, FPR)
AUC_TD = AUC(FPR, TPR) + AUC(τ, TPR)
AUC_TDBS = AUC(τ, TPR) ? AUC(τ, FPR)
AUC_ODP = AUC(FPR, TPR) + AUC(τ, TPR) ? AUC(τ, FPR)
AUC_SNPR = AUC(τ, TPR) / AUC(τ, FPR)

其中:AUC_BS主要反映背景抑制能力,AUC_TD主要反映目标可检测性,AUC_SNPR则通过目标检测相关AUC与背景抑制相关AUC的比值进一步表征检测-抑制综合增益。AUC_TDBS用于综合衡量目标检测与背景抑制之间的平衡,AUC_ODP用于评价整体检测性能。除AUC(τ, FPR)外,上述指标通常数值越大表示性能越优。

计算复杂度与推理效率

除检测精度外,模型计算复杂度与推理效率也是衡量运动红外小目标检测方法实际应用能力的重要因素。常用指标主要包括参数量、浮点运算量以及每秒处理帧数或单次推理时延。参数量表示网络中需要存储和更新的模型参数总数,主要反映模型规模及存储开销;FLOPs用于估计模型在给定输入条件下完成一次前向传播所需的理论计算量,其数值与输入分辨率、输入帧数及网络结构密切相关;FPS表示单位时间内能够处理的图像帧数,而推理时延表示完成一次前向推理所需的时间,二者主要反映模型的实际运行效率,受到硬件平台、实现框架、并行策略及批大小等因素影响。在运动红外小目标检测中,输入帧数和输入分辨率还会显著影响时空特征计算开销。

算法总结与性能分析

前文已围绕运动红外小目标检测中的主流方法展开了分类讨论,为进一步从整体上把握该方向方法演进脉络及其性能特点,本节从方法结构和实验结果两个层面对代表性方法进行统一总结。

本节进一步从数据构建方式、背景建模、目标建模以及优化求解策略的四个维度,对以显式优化模型为基础的代表性方法及其深度融合扩展进行统一归纳,形成表9,可以更直观地反映出当前方法的发展趋向:1)数据构建方式上,方法由早期的低阶时空堆叠逐步走向局部图像块重组、高阶张量扩展以及神经隐式表示,追求更充分地解构空间与时间、局部与全局的关联信息;2)背景建模上,由标准核范数等凸低秩代理逐步发展到截断、加权、非凸及因子化、图正则化等更精细的低秩近似,由基本低秩描述走向更加准确、高效的结构表征;3)目标建模上,由统一的?1稀疏先验逐渐衍生出加权稀疏、结构化稀疏以及显著性引导稀疏,从单纯强调目标稀疏性逐步转向提高目标与背景残差的可分性;4)优化求解上,则由传统ADMM主导的显式迭代逐步扩展到PnP、近端交替最小化、自适应矩估计及神经更新策略,在保持求解稳定性的同时,逐渐兼顾复杂模型的计算效率。

表9 优化模型及其深度融合扩展方法的结构化总结

优化模型及其深度融合扩展方法的结构摘要

方法 | 年份 | 建模重点 | 数据构造 | 背景建模 | 目标建模 | 优化方法
STT[38] | 2020 | 时空张量结构设计 | 3D STT | NN | ?1稀疏 | ADMM
NPSTT[39] | 2022 | NPSTT | TCNN | ?1稀疏 | ADMM
SRSTT[40] | 2023 | 扭曲张量 | TNN | 结构化?1/?∞稀疏 | ADMM
4D-TT/TR[41] | 2023 | 4D张量 | 加权NN | ?1稀疏 | ADMM
5D-STFC[42] | 2025 | 5D白化ST分块张量 | 时空因子范数 | Moreau包络稀疏 | 多块ADMM
ASTTV-NTLA[43] | 2022 | 背景低秩结构表示 | 3D STT | NTLA, ASTTV | ?1稀疏 | ADMM
NFTD[44] | 2023 | Tucker表示 | logdet因子先验 | 加权?2,1 | GSTV稀疏 | ADMM
STRL-LBCM[45] | 2023 | 字典系数表示 | FCTNN | LBCM引导稀疏 | 交替迭代
STT-TRNR[46] | 2023 | 非重复ST分块张量 | TRNN | 局部对比引导稀疏 | ADMM
FGLR-MCP[47] | 2025 | 逐帧图 | FGLR | MCP稀疏 | ADMM
ECA-STT[48] | 2021 | 目标-干扰可分性约束 | 3D STT | 截断NN, TenNLTV | 边缘角感知加权稀疏 | ADMM
IMNN-LWEC[49] | 2022 | 非重叠ST分块张量 | IMWTNN | LWEC引导加权?1稀疏 | ADMM
SDD[50] | 2024 | Tucker因子建模 | Tucker低秩先验 | ASCE引导加权?1稀疏 | PAM
WSWTNN-PnP[77] | 2023 | 深度先验融合建模 | IPT | WSWTNN | 加权?1稀疏目标 | PnP-ADMM
3DSTPM[79] | 2023 | STT, 未训练3D-CNN | Conv-TNN, NTV | ?1稀疏, NTV抑制 | Adam
NeurSTT[80] | 2026 | 神经ST张量表示 | Neur3DTV | 低秩引导神经近似 | ?1稀疏 | Adam

表10进一步选取传统优化模型及保留显式优化框架的深度融合扩展方法,在统一AUC评价体系下,从阈值变化过程中的检测率、虚警率、综合检测能力、背景抑制能力以及目标显著性保持能力等角度,对其检测性能进行对比。可以看出,优化驱动方法的性能提升并未随张量阶数或低秩模型复杂度呈现简单的单调关系,仅依靠更复杂的数据结构或秩近似并不能同时解决目标保持与背景抑制问题。相比之下,引入深度先验后,方法在目标检测、综合检测以及目标显著性保持等指标上总体表现出更好的平衡,其中简单的网络辅助优化已能够增强目标响应,但性能提升仍受到传统分解框架的限制。深度先验融合目前主要改善的是模型表达能力和检测稳定性,尚未根本解决实时性、参数自适应和跨场景一致性问题。后续研究需要在保持背景目标分解可解释性的基础上,探索动态参数估计、自适应停止、快速初始化和统一评测机制,从而将性能优势转化为可复现、可部署的实际能力。

表10 AUC基准下优化模型及其深度融合扩展方法的性能比较[80]

方法 | AUC(虚警率,检测率)↑ | AUC(阈值,虚警率)↓ | AUC(阈值,检测率)↑ | AUC背景抑制↑ | AUC目标检测↑ | AUC目标检测背景抑制↑ | AUC输出峰值↑ | AUC显著性保持↑
STT[38] | 0.8986 | 0.0059 | 0.5281 | 0.8927 | 1.4267 | 0.5222 | 1.4208 | 92.9090
NPSTT[39] | 0.8070 | 0.0051 | 0.4312 | 0.8019 | 1.2382 | 0.4261 | 1.2331 | 84.7533
ASTTV-NTLA[43] | 0.8907 | 0.0552 | 0.5394 | 0.8355 | 1.4302 | 0.4843 | 1.3750 | 11.9482
WSWTNN-PnP[77] | 0.8781 | 0.0114 | 0.7151 | 0.8667 | 1.5932 | 0.7037 | 1.5818 | 90.4155
3DSTPM[79] | 0.9344 | 0.0052 | 0.8610 | 0.9291 | 1.7954 | 0.8558 | 1.7901 | 168.9257
NeurSTT[80] | 0.9721 | 0.0050 | 0.9350 | 0.9671 | 1.9071 | 0.9300 | 1.9021 | 186.7184

综合前述方法可以看出,深度学习运动红外小目标检测的网络结构并未沿单一架构持续演进,而是围绕运动信息表征、跨帧关系构建和时序状态建模形成了多种并行的实现形式。首先,在运动信息利用方面,相关设计由输入层面的背景配准与帧间变化增强,逐渐扩展到光流、方向编码等显式运动描述,并进一步发展为可形变采样偏移和动态查询等特征级运动补偿与关联机制,使运动信息能够直接约束跨帧特征聚合。其次,对于不显式恢复运动参数的方法,跨帧信息交互由关键帧与参考帧之间的相关性选择,扩展至多尺度窗口时空注意、多帧联合表征以及候选邻域相关搜索,以适应不同范围的时序依赖和帧间位置变化。与此同时,另一类网络通过递归状态、跨切片传播和历史记忆持续累积时序信息,并进一步引入时空频率联合表征、状态空间建模、长期时间轮廓和背景时空演化等机制,使时序建模由局部运动响应延伸至长期动态规律。

在基础特征提取方面,卷积神经网络及U形编码解码结构仍广泛用于保持弱小目标的局部空间特征,Transformer则通过窗口注意和多尺度交互增强跨帧上下文建模,状态空间模型及其混合结构进一步用于长程动态信息和位移关系表征,由此形成卷积、Transformer、递归网络和状态空间模型相互结合的结构体系。在任务输出方面,现有方法根据数据标注和检测范式分别采用热图、像素掩膜和边界框等形式,近期方法还通过多帧联合编码和一步式预测减少逐帧检测与后续时序精炼之间的信息割裂。总体而言,网络结构的发展重点已由单纯扩展空间特征提取能力,逐渐转向如何以更合适的方式组织跨帧运动、相关关系及长期动态信息。

为进一步比较代表性深度学习方法的检测性能,表11汇总了不同方法在公开数据集上的主要实验结果。考虑到现有研究在输出形式、数据集划分及评价协议等方面存在差异,本文仅选取第3节已介绍的评价指标进行整理,并注明结果的具体来源。表12用以衡量运算效率。由于不同研究使用的硬件平台、实现框架及统计方式仍存在差异,相关结果主要用于分析不同方法的计算规模与效率特征,而不作为严格统一条件下的性能排名。综合检测性能与计算效率可以看出,现有深度学习方法在精度和计算代价之间呈现出较明显的差异。较充分的跨帧交互、特征对齐和多尺度时空建模能够增强复杂运动条件下的信息利用,但通常伴随更高的计算量;部分方法则通过压缩时序表示、限制空间交互范围或重新组织时间信息,在保持检测性能的同时降低模型复杂度。与此同时,由于现有结果仍受到数据集、输入设置和测试环境差异的影响,单一精度或速度指标均难以全面评价方法性能。因而,运动红外小目标检测模型的实际应用还需要综合考虑检测精度、时间信息利用范围、模型复杂度和推理效率。

表11 代表深度学习方法的性能比较

方法 | 年份 | 输出形式 | 评价指标 | 数据集 | 代表性结果 | 数据来源
DTUM[53] | 2025 | 掩膜 | mAP50/精确率/召回率/F1 | DAUBIRDST | 0.8824/0.9515/0.9360/0.9437 0.8098/0.9062/0.9046/0.9054 | 在DFAR中统一重测
TDCNet[55] | 2026 | 边界框 | mAP50/精确率/召回率/F1 | IRSTD-UAVIRDST | 0.9383/0.9799/0.9627/0.9712 0.9479/0.9812/0.9771/0.9791 | 原文
DFAR[56] | 2026 | 边界框 | mAP50/精确率/召回率/F1 | DAUBIRDST | 0.9656/0.9882/0.9862/0.9872 0.8988/0.9591/0.9466/0.9528 | 原文
DQAligner[57] | 2026 | 掩膜 | IoU/F1/峰值检测率/虚警率 | IRDSTNUDT-MIRSDT | 69.4650/81.9820/98.3210/7.5140 86.7230/92.8890/94.1010/0.8090 | 原文
ST-Trans[60] | 2024 | 边界框 | mAP50/精确率/召回率/F1 | DAUBIRDST | 0.9341/0.9687/0.9769/0.9728 0.8295/0.9193/0.9103/0.9148 | 在DFAR中统一重测
OSFormer[62] | 2025 | 边界框 | mAP50/mAP50-95 | AntiUAVInfraredUAV | 0.9200/0.4960 0.7800/0.2790 | 原文
MISTNet[63] | 2026 | 掩膜 | IoU/峰值检测率/虚警率 | NUDT-MIRSDTMISTMIST-Hard | 0.8685/0.9919/0.2770 0.7048/0.9483/0.2490 0.6114/0.9015/0.2410 | 原文
SSTNet[66] | 2024 | 边界框 | mAP50/精确率/召回率/F1 | DAUBIRDST | 0.9559/0.9808/0.9810/0.9809 0.7155/0.8856/0.8192/0.8511 | 原文
MTTU-Net[68] | 2025 | 掩膜 | 精确率/召回率/F1/IoU/虚警率 | IRDSTIDSMT | 93.78/94.82/94.30/60.71/1.02 97.57/93.49/95.48/76.52/0.41 | 原文
MOCID[72] | 2025 | 边界框 | mAP50/精确率/召回率/F1 | DAUBIRDST | 0.9593/0.9912/0.9734/0.9822 0.9474/0.9892/0.9686/0.9788 | 原文
MoPKL[74] | 2025 | 边界框 | mAP50/精确率/召回率/F1 | ITSDT-15KIRDST | 0.7978/0.9329/0.8680/0.8992 0.7454/0.8904/0.8474/0.8684 | 原文
DeepPro[75] | 2025 | 热图 | 峰值检测率/虚警率/AUC | NUDT-MIRSDT | 98.50/0.72/0.9973 | 原文
CHAL[76] | 2026 | 边界框 | mAP50/精确率/召回率/F1 | DAUB-HNUDT-MIRSDTIRDST-R | 0.5428/0.7308/0.7526/0.7415 0.7525/0.8635/0.8849/0.8741 0.7137/0.8658/0.8302/0.8476 | 原文

注:数据来源列标示报告结果取自原文还是后续统一重测。

表12 代表性深度学习方法的计算效率比较

方法 | 输入帧数 | 输入尺寸/像素 | 参数量/M | 浮点运算量/G | 帧率延迟 | 数据来源
DTUM[53] | 5帧 | 544×544 | 2.79 | 117.10 | 7.58帧/秒 | 在DFAR中统一重测
TDCNet[55] | 5帧 | 640×640 | 24.76 | 95.67 | 18.50帧/秒 | 原文
DFAR[56] | 5帧 | 544×544 | 7.53 | 100.87 | 7.60帧/秒 | 原文
DQAligner[57] | 5帧 | 512×512 | 0.55 | 110.24 | 12.43帧/秒 | 原文
ST-Trans[60] | 5帧 | 544×544 | 26.98 | 366.45 | 6.36帧/秒 | 在DFAR中统一重测
OSFormer[62] | 5帧,3采样 | 640×640 | 7.21 | 4.01 | 18.30毫秒 | 原文
MISTNet[63] | 5帧 | 384×384 | 0.85 | 19.31 | 76.62帧/秒 | 原文
SSTNet[66] | 5帧 | 512×512 | 11.95 | 123.59 | 9.24帧/秒 | 原文
MTTU-Net[68] | 5帧 | 256×256 | 20.06 | 141.85 | 15.07帧/秒 | 原文
MOCID[72] | 5帧 | 512×512 | 13.05 | — | 24.39帧/秒 | 原文
MoPKL[74] | 5帧 | 512×512 | 9.46 | 119.64 | 10.03帧/秒 | 原文
DeepPro[75] | 40帧 | 480×720 | — | 5.31 | 55.40帧/秒 | 原文
CHAL[76] | 5帧 | 512×512 | 15.69 | 137.04 | 12.96帧/秒 | 原文

注:数据来源列标示报告结果取自原文还是后续统一重测。

5. 结语与展望

本文围绕优化驱动方法、深度学习方法及二者融合的发展脉络,对近年来运动红外小目标检测的代表性研究进行了系统梳理。现有研究在时空信息利用、目标运动建模、背景抑制及弱目标增强等方面已经取得明显进展。优化驱动方法通过低秩稀疏分解、张量建模、时空正则化等手段提升目标与背景分离能力,并逐步引入神经网络改善传统模型的表示能力与求解效率;深度学习方法则利用卷积网络、Transformer、递归网络、状态空间模型、动态查询和跨帧相关建模等结构提取复杂时空特征,在动态背景和弱目标条件下表现出较强的特征学习能力。与此同时,模型先验与深度网络的结合也为兼顾可解释性、适应性和计算效率提供了新的研究思路。尽管如此,现有方法在真实连续场景中的稳定应用仍受到数据、运动建模、跨场景泛化、计算资源及模型可信性等因素制约,以下问题仍值得重点关注。

1) 统一评测协议与跨范式基准平台仍有待完善。现有运动红外小目标检测方法在建模范式、输出形式和实验协议方面存在较大差异,使不同技术路线之间难以进行严格的横向比较。现有统一评测平台总体上仍呈现出面向特定任务和输出形式的特点,例如:TensorISTD[6]主要服务于矩阵与张量优化模型,BasicIRSTD[84]侧重单帧掩膜输出,MIST[63]主要面向多帧像素级检测,而现有混合评价工具也尚未覆盖检测框、目标响应图、概率热图和像素掩膜并存的全部情形。与此同时,不同深度学习研究在数据划分、输入帧数、时间采样、空间分辨率、预处理和目标匹配规则等方面仍存在明显差异。

因此,后续研究仍需在现有统一评测工作的基础上进一步建立面向优化驱动、深度学习及二者融合方法的跨范式公共基准。近期工作可依托现有公开数据集,进一步统一数据划分、输入帧数、目标匹配、虚警统计和端到端运行时间的报告方式,发布可复用的规范评测脚本,并划分高速运动、平台扰动和低信杂比等困难测试子集。在此基础上,长期研究则需建立兼顾目标响应图、概率热图、像素掩膜和检测框的跨范式评价机制,并建设多机构持续维护的跨传感器、跨平台和跨硬件公共基准,从而为运动建模、泛化能力和部署效率的研究提供稳定的比较基础。

2) 目标运动与平台、背景运动之间仍缺少可靠的解耦机制。低信噪比、强杂波、运动模糊与平台扰动往往同时出现,使跨帧运动信息的可靠提取更加困难。运动模糊会降低目标局部峰值并扩展其能量分布,使基于点状响应、局部显著性或严格稀疏性的判别依据受到破坏;平台抖动和视角变化则会使大范围背景产生同步位移,导致帧间差分、固定空间位置建模或局部相关匹配产生伪运动响应。在此条件下,多帧信息并不必然带来增益,错误对应反而可能在连续融合过程中累积。

近年来可形变对齐、相关匹配和动态查询等方法已经改善了大位移条件下的跨帧对应,但局部搜索范围、参考帧质量和背景运动仍会影响信息融合效果。尤其当参考帧中目标受到遮挡、模糊或强杂波干扰时,错误对应可能在多帧融合过程中持续累积,反而削弱当前帧目标响应。当前工作仍可围绕运动信息的有效性,探索全局背景运动补偿、局部残余运动估计、参考帧质量评价和匹配置信度门控等设计的实用性,在跨帧对应不可靠时减少低可信信息参与融合。长期难点则是在缺少稳定参考帧、非刚性背景运动、运动模糊和短时遮挡并存的条件下,可靠地实现目标运动、平台运动与背景运动的联合可辨识建模,并抑制错误对应在长时序融合中的持续累积。与此同时,可靠的运动解耦不能仅依赖模型结构,还需要更具代表性的数据提供支撑。

3) 数据分布覆盖不足仍制约跨场景泛化能力。现有运动红外小目标数据集虽然数量有所增加,但现有数据在运动模式、平台状态和复杂背景方面仍存在明显偏置。部分数据主要覆盖低速、短时连续运动和相对稳定的平台条件,容易使网络依赖局部运动连续性和有限搜索范围建立时序对应。当目标出现高速机动、非线性轨迹、短时遮挡或显著位移时,这类时序关系容易失效。

MIST[63]及其困难子集的实验已经表明,复杂轨迹、高速运动和极低信杂比会显著增加跨帧匹配与目标增强的难度。此外,近期CoMoE[85]的研究通过跨数据集联合学习提升了模型在多个已知域上的适应能力,但在未见域上仍存在明显性能下降,说明增加训练域能够缓解域偏移,却尚不能获得稳定的跨域表征。可见,后续研究或可从数据覆盖和域不变表征两个层面共同推进。当前工作可继续从数据层面,增加高速与不规则运动、平台扰动、低信杂比、遮挡和真实成像退化等条件,并建立跨传感器、跨平台和未见背景的数据划分;长期来看,则要在模型层面,进一步削弱传感器响应、背景统计、分辨率和帧率等域相关因素对特征的绑定,研究尺度归一化、时间归一化、相对运动表征、多域预训练、域泛化及测试时自适应等机制,使模型能够从多源数据中学习更稳定的目标结构和运动规律,而不是主要依赖特定数据集中的统计特征。

4) 实时性需要结合完整时序处理过程进行评价。运动红外小目标检测通常应用于连续监视和预警系统,对延迟和资源占用具有较高要求。优化驱动方法往往涉及矩阵或张量分解、奇异值计算和多轮迭代,在长序列和高分辨率条件下计算负担较重。深度学习方法虽然在训练完成后可以直接前馈推理,但多帧网络通常还需要重复提取邻帧特征、保存历史状态、执行跨帧匹配和时空融合,实际计算成本与输入帧数和时序模块结构密切相关。固定时间窗也会带来重复计算问题。相邻检测窗口中包含大量重复帧,如果每次均重新提取和融合特征,会造成明显的计算冗余。

MTTU-Net[68]等方法采用持续更新的历史记忆减少固定窗口带来的限制,DeepPro[75]则表明,针对时间轮廓进行更有针对性的建模能够在保持较强检测能力的同时显著降低空间计算量。这些研究说明,时序信息的有效利用不必然依赖更大的网络和更多输入帧。后续工作可进一步探索历史特征缓存与复用、动态时间窗口、稀疏帧采样、早退出、模型剪枝量化和局部高分辨率精炼等机制,重点分析其在不同运动状态、序列长度和硬件条件下的适用性,并结合检测精度、端到端延迟、吞吐率、显存占用和能耗评估实际收益与代价。长期来看,则需建立检测率、虚警率、时延和能耗之间的联合优化机制,使模型能够根据场景变化和目标置信度动态分配时空计算资源,并满足嵌入式平台对最坏情况时延和长期稳定运行的要求。

5) 模型先验与深度学习的融合仍缺少对先验有效性的自适应判断。低秩性、稀疏性、时空平滑性和运动连续性等先验能够为目标背景分离提供明确约束,也是优化驱动方法具有较强可解释性的主要原因。但这些先验通常只在一定场景和时间范围内成立。平台大幅运动、快速云层变化、强热源干扰和非平稳背景都会降低背景低秩性;目标低速运动、短暂停留或长时间出现在相近位置时,也可能与背景结构产生混淆。固定先验及固定权重难以同时适应不同运动状态和背景条件。

深度展开、PnP、隐式神经表示和神经时空张量等方法已经证明,传统优化知识可以嵌入网络结构或训练过程,并在一定程度上兼顾模型约束与数据学习能力。但现有方法更多关注如何将先验引入网络,对先验在当前序列中是否成立、应当作用多强以及何时需要降低其影响考虑不足。近期研究可围绕先验有效性的在线估计,尝试利用背景结构、帧间相关度、运动状态、分解残差和预测不确定性调节低秩性、稀疏性、时空平滑性及运动连续性等约束,并分析不同调节机制对检测稳定性、参数敏感性和模型可解释性的影响。长期难点在于如何使模型主动识别先验失效,而不仅是学习固定或可训练的先验权重。同时还应考察不同先验之间的冲突关系、动态切换过程的稳定性,以及先验可信程度能否获得可解释、可校准的表达。

6) 低标注学习与预训练知识迁移有待进一步深化。连续红外监视系统能够产生大量视频数据,但目标尺度小、边界模糊且需要逐帧确认,使高质量标注的获取成本较高。相比继续依赖大规模完全监督数据,半监督、自监督及预训练模型迁移仍存在较大空白。

近期SeViL[86]表明,视觉语言先验与半监督学习能够在较少标注条件下保持较好的检测性能;IRDINO[58]也验证了通用视觉预训练表征经红外局部结构和运动信息适配后用于运动红外小目标检测的可行性。据此,后续可进一步探索时序一致性学习、遮挡重建、运动预测、伪标签半监督训练和参数高效适配等路径,并系统比较不同预训练任务、标注比例和目标运动条件对迁移效果的影响,识别伪标签误差和预训练偏差可能造成的性能退化。长期工作需要持续关注自然图像语义表征与红外弱小目标局部结构之间的差异,研究通用视觉知识、红外成像特征与运动先验应如何协同,并进一步验证基础模型在极少标注或无标注、跨传感器及未知背景条件下的可靠性和失效边界。

综上,运动红外小目标检测仍需要重点解决复杂动态条件下的运动解耦、跨成像域泛化、有效时序信息利用、实时处理以及模型先验自适应等问题。低信噪比、强杂波、运动模糊和平台抖动等红外成像特有因素相互耦合,使单纯增加张量约束、输入帧数或网络规模难以持续获得稳定收益。后续研究需要进一步加强真实复杂场景数据建设,提升目标与背景运动关系的建模能力,并结合自适应先验、跨域学习、自监督预训练和轻量时序网络改善模型在实际系统中的稳定性和部署效率。相应的评价体系也应更加关注复杂运动、低信杂比、跨平台泛化及资源受限条件下的综合性能,以促进算法研究与实际应用需求之间的衔接。

作者贡献

田文文:大纲整理以及主要的论文写作;罗俊海:指导论文选题、论文修改;王奥钦:负责部分图表的制作与审查;邱翔昱,戎亿:研究资料的收集、分析、整理以及论文的整体审查。

利益冲突

所有作者声明无利益冲突
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号