《Engineering Science and Technology, an International Journal》:Tracking with attention: A review of transformer-based object tracking
传统的目标跟踪方法通常基于卷积神经网络(Convolutional Neural Network, CNN)和手工设计的特征提取技术,并取得了显著的成功。然而,这些方法在捕捉复杂场景中的全局依赖和上下文关系方面仍存在局限性。Transformer(Transformer)最初被引入自然语言处理领域,通过利用自注意力机制(Self-Attention Mechanism)和全局特征建模能力,已经彻底改变了视觉任务。受Transformer使用影响最大的任务之一是目标跟踪任务。本综述探讨了基于注意力的架构在目标跟踪中的变革性影响,并对当前框架及其核心原理进行了全面分析。注意力机制能够捕捉局部和全局依赖关系,并关联帧间查询,这有助于基于Transformer的模型实现最先进的性能。近年来,Transformer在目标跟踪中的应用急剧增加,开创了新的“注意力追踪”(tracking-by-attention)范式。本研究聚焦于Transformer架构在单目标跟踪(Single Object Tracking, SOT)和多目标跟踪(Multi-Object Tracking, MOT)中的不同应用,其中每个任务进一步按方法论进行划分。还讨论了利用额外数据进行跟踪的端到端(End-to-End, E2E)方法和混合融合模型。所讨论的模型按其主要方法和Transformer使用方式进行分类,并概述了计算成本和可扩展性等挑战,以及基于成功方法所揭示的未来研究机会。通过审视最近的进展,本综述旨在增进对基于Transformer的跟踪能力的理解,并促进这一快速发展领域的持续创新。
**2. Object tracking**
目标跟踪是计算机视觉中的基础任务,旨在跨视频帧识别并持续跟随一个或多个目标,建立帧间检测的对应关系并保持身份一致性。根据应用场景,可分为单目标跟踪(Single Object Tracking, SOT)和多目标跟踪(Multi-Object Tracking, MOT)。SOT注重在杂乱环境中跟踪单一目标,而MOT需处理目标交互、身份一致性和大量目标。传统方法依赖手工特征和确定性模型,如卡尔曼滤波器和均值漂移算法。深度学习,尤其是卷积神经网络(Convolutional Neural Network, CNN)和孪生网络(Siamese Neural Network, SNN),显著提升了特征学习和端到端优化的能力。近年来,Transformer凭借其自注意力机制和长程依赖捕捉能力,在目标跟踪中日益普及,推动了“注意力追踪”范式的兴起。
**2.1 Challenges in object tracking**
当前跟踪算法仍面临遮挡(occlusion)、外观变化(appearance variation)、背景杂乱(background clutter)和实时性(real-time performance)等挑战。遮挡会导致身份切换或跟踪失败,外观变化(如亮度、尺度、姿态变化)可能误导视觉特征,背景杂乱易引发虚警和漂移。实时性要求对资源有限的应用(如自动驾驶车辆及无人机)尤为关键,而Transformer自注意力机制的高计算复杂度(与输入尺寸呈二次关系)进一步加剧了效率问题。为应对这些挑战,研究人员发展出轻量化架构、剪枝、量化和知识蒸馏等技术,并探索多模态跟踪(融合LiDAR、雷达或热成像数据)以及自监督学习以减少标注依赖。此外,运动建模、外观预测、背景建模和身份重识别等方向也在持续演进,同时需关注隐私和伦理问题。
**2.2 Previous studies in object tracking**
在深度学习兴起前,目标跟踪主要依赖手动设计的特征和确定性模型。卡尔曼滤波器适用于线性高斯运动,但难以处理非线性动力学;粒子滤波器虽能应对非线性和非高斯模型,但计算成本高。相关滤波器(如MOSSE)利用快速傅里叶变换(Fast Fourier Transform, FT)实现实时模板匹配。深度学习的引入带来了关键转变:2016年,全卷积孪生网络(SiamFC)将跟踪定义为相似性学习问题,避免了手工特征设计;2017年,DeepSORT通过CNN外观模型与简单在线实时跟踪(SORT)算法结合,有效解决了MOT中的身份切换问题。尽管CNN模型在长程依赖建模上存在局限,基于Transformer的跟踪器正迅速发展,有望成为下一代主导方法。
**3. Transformers**
2017年提出的Transformer模型通过并行化的自注意力机制替代了循环神经网络(Recurrent Neural Network, RNN)和长短期记忆网络(Long Short-Term Memory, LSTM)的序列处理,消除了梯度消失问题并显著提升了可扩展性。它采用编码器-解码器架构,集成多头自注意力、交叉注意力和前馈网络,能够同时捕捉局部和全局依赖。位置编码(positional embedding)为令牌(token)引入序列顺序信息。Transformer在自然语言处理(NLP)中催生了BERT及GPT等架构,并在语音识别、多模态学习(如视频描述和视觉问答)中取得突破。然而,自注意力的计算复杂度随输入长度呈二次增长,促使研究人员发展稀疏、可形变和局部感知的注意力机制。混合架构(如Transformer与CNN结合)以及硬件加速器的进步正进一步提升其效率。
**4. Transformers in object tracking**
视觉Transformer(Vision Transformer, ViT)于2020年首次将Transformer应用于计算机视觉,通过将图像分割为非重叠图像块并添加位置编码,利用标准Transformer层捕捉全局关系。自ViT以来,Transformer被广泛用于目标跟踪,催生了多种基于注意力机制的跟踪模型。本部分按单目标跟踪和多目标跟踪两大任务划分,并进一步按方法类别组织。
**4.1 Single object tracking**
SOT专注于连续跟踪视频流中的一个目标,需应对运动模糊、形状变化和背景干扰,同时避免跟踪漂移。本节综述了多种基于Transformer的SOT模型:
**4.1.1 Early transformer-based SOT**
Chen等人提出的Transformer Tracker(TransT)包含主干网络(ResNet-50)、基于注意力的特征融合模块和预测头。融合模块采用自注意力(ego-context augment)和交叉注意力(cross-feature augment)替代传统相关操作,选择性突出边缘和相似目标等关键特征,提升分类与回归精度。
**4.1.2 One-stream frameworks**
单流框架(如OSTrack)将模板和搜索区域从最早层开始联合处理,通过共享嵌入空间实现密集的早期特征交互,利用渐进式令牌聚合和局部-全局注意力机制在保持空间精度的同时保留长程上下文。
**4.1.3 Hierarchical feature transformer**
用于航拍视频的层级特征Transformer(HiFT)结合层级特征提取与Transformer结构,采用轻量化AlexNet主干,通过高分辨率特征编码依赖性和低分辨率特征解码语义信息,改善小目标和动态视点下的特征辨别性。
**4.1.4 Spatial-temporal transformer**
AQAtrack引入自适应查询细化机制,利用自回归目标查询随时间迭代调整目标状态,结合时空Transformer同时编码当前和历史帧信息,有效应对遮挡、快速运动和外观变形。
**4.1.5 Spatial-frequency transformer**
空间-频率Transformer(SFTransT)基于孪生网络架构,采用跨尺度融合Swin Transformer和多头交叉注意力,通过空间-频率注意力模型在保持空间关系的同时强调高频特征,避免特征饱和。
**4.1.6 Lightweight tracking**
轻量化层级Transformer(HiT)通过高效层级结构编码多尺度视觉信息,在降低模型复杂度和推理延迟的同时维持竞争性性能,适用于资源受限场景。
**4.1.7 Multi-template transformer**
多模板Transformer(MTT)利用Swin Transformer分别提取多个模板和搜索区域的特征,通过编码器-解码器生成相似性图,并采用双头网络(全连接分支和卷积分支)进行分类和回归,提升跟踪性能。
**4.1.8 Domain adaptive transformer**
域自适应Transformer跟踪(DATransT)将模板视为源域、搜索区域视为目标域,通过ResNet-50提取域特定图像块特征,并在域自适应Transformer模块中处理,增强对环境和遮挡变化的适应性。
**4.1.9 Target-aware transformer**
目标感知Transformer跟踪(TATrack)采用孪生架构和可形变注意力模块,使用双Swin Transformer并行提取模板与搜索图像特征,通过可形变卷积实现自适应感受野,在TrackingNet上达到82.1%的曲线下面积(Area Under the Curve, AUC)。
**4.1.10 Mixed attention transformer**
可分离自注意力和混合注意力Transformer(SMAT)在单目标跟踪中将注意力分离为自注意力和混合注意力,分别用于特征令牌细化与模板-搜索关联,降低了标准多头注意力的计算冗余。MixFormerV2通过蒸馏策略和浅层主干统一混合注意力架构,在不降低性能的前提下减少计算开销。
**4.1.11 Token fusion transformer**
注意力加权令牌融合Transformer(ATFTrans)通过为令牌分配学习重要性权重,将搜索令牌分为相关和背景组,丢弃不必要背景令牌并融合剩余背景令牌以保留上下文,实现了与令牌剪枝方法相当的可靠性。
**4.1.12 Segmentation-based tracking**
SAMURAI基于Segment Anything Model(SAM),将SAM2的可泛化分割与运动感知记忆模块结合,实现零样本跟踪。该模型无需额外训练数据即可跟踪开放目标,在多个基准上达到了最先进性能。
**4.1.13 Unified tracking**
OmniTracker统一了SOT、MOT、视觉实例分割(VIS)和视频对象分割(VOS)任务,利用RFE模块和可形变DETR(Detection Transformer)架构;SUTrack则将RGB、热成像、事件和自然语言等多种数据模态集成到共享嵌入空间中。
**4.1.14 Performance of SOT models**
实验表明,在LaSOT数据集上,ATFTrans、SAMURAI和MixFormerV2取得最高AUC;在TrackingNet和GOT-10k上,SAMURAI、MixFormer和MixFormerV2领先。整体而言,令牌融合、混合Transformer、空间-频率Transformer和基于自监督分割的模型表现最佳。
**4.2 Multi object tracking**
MOT需同时跟踪多个目标,核心挑战在于数据关联——将新检测与现有轨迹正确匹配,并应对重叠包围框、遮挡和相似外观导致的身份切换。本部分综述了多种基于Transformer的MOT模型:
**4.2.1 Early transformer-based MOT**
TransTrack是早期MOT模型之一,通过CNN主干提取特征,经Transformer编码器融合当前帧与前一帧特征,利用IoU匹配和二分位置匹配算法实现检测与跟踪关联。ViTT(Vision Transformer Tracker)直接将序列化图像块送入Transformer编码器,联合预测目标位置和外观嵌入。
**4.2.2 DETR based tracker**
TrackFormer基于DETR框架,将检测和跟踪统一到单个Transformer中,通过自注意力和交叉注意力维护帧间身份,在MOT17和MOT20上取得MOTA(Multi-Object Tracking Accuracy)分别为74.1%和68.6%。MOTR和MOTRv2引入查询交互模块和时间聚合网络,并结合YOLOX检测器提升性能。MeMOTR通过长期记忆和时间交互模块增强时间一致性。
**4.2.3 Spatial-temporal fusion**
TransMOT利用空间-时间图Transformer建模物体跨帧交互,通过自注意力捕捉帧内外依赖。FFTransMOT融合空间、时间和外观特征。STDFormer采用混合Transformer架构,并行分析空间、时间和运动特征,在MOT17上达到MOTA 78.8%。
**4.2.4 Memory based transformer**
MeMOT利用扩展的空间-时间记忆存储目标长期状态,通过假设生成、记忆编码和记忆解码模块维持轨迹、重识别遮挡对象并检测新目标。TGFormer采用组跟踪查询和遮挡感知记忆注意力模块,提升遮挡场景性能。
**4.2.5 Locality-based model**
Locality模型在TransTrack框架中集成CNN局部特征提取器,通过全局注意力捕捉帧间关联,局部卷积细化细微区域,减少身份切换。
**4.2.6 Anchor-based tracking**
ABQ-track采用基于锚点的查询系统,动态更新锚点以绑定目标,通过检测层自动添加新对象,并利用模板匹配模块维护参考模板,结合自注意力和交叉注意力捕捉全局依赖和身份一致性。
**4.2.7 Assignment decision network**
基于Transformer的分配决策网络(TADN)专注于数据关联,通过单分支或双分支结构在编码器-解码器中处理检测与目标嵌入,确保数据关联由上下文感知的相似性驱动。
**4.2.8 Contrastive transformer**
对比Transformer(ContrasTR)通过实例级对比损失和高效采样算法,在DETR模型中生成判别性身份级表示,促进身份重分配,在MOT基准上超越未应用对比学习的基线。
**4.2.9 Data fusion transformer**
MotionTrack融合LiDAR或图像与LiDAR数据,利用查询增强模块增强检测。HGT-Track通过异构图Transformer融合可见光(RGB)和热成像数据,在微小目标跟踪中依赖可靠模态。
**4.2.10 Attention-based diffusion model**
DiffusionTrack采用生成式扩散框架,从随机初始化的含噪包围框提议逐步去噪,通过YOLOX主干和扩散头(含RoI池化、自注意力和时空融合模块)迭代细化目标位置,有效处理遮挡和随机运动。
**4.2.11 Online UAV tracker**
Liu等人提出针对无人机的在线Transformer跟踪器,基于编码器-解码器结构生成目标查询,关联前一帧特征与当前检测,在MOT15上取得MOTA 64.1%。
**4.2.12 Transformer-based referring multi-object tracking**
引用多目标跟踪(RMOT)利用自然语言描述引导跟踪。TransRMOT采用ResNet-50和RoBERTa分别提取视觉和语言特征,通过交叉模态编码器融合,在解码器中计算关联。DeepRMOT进一步通过深层双向交叉模态编码器实现逐层融合,提升高阶跟踪精度。
**4.2.13 Performance of MOT models**
在MOT17上,BUSCA、TransMOT和OmniTracker取得最高IDF1(Identity F1 score)和MOTA;在MOT20上,BUSCA和TransMOT领先。扩散模型、多模态融合和记忆增强方法展现了显著性能提升。整体而言,基于Transformer的MOT模型数量逐年增加,性能持续进步。
**5. Discussion**
SOT模型分为层级/多分支设计、注意力机制修改和完全端到端流水线等类型。在SOT方面,令牌融合(如ATFTrans)、混合Transformer(如MixFormerV2)和自监督分割(如SAMURAI)达到最优性能。MOT模型可归纳为端到端检测+跟踪(如TrackFormer、MOTR)、记忆/图结构(如MeMOT、STDFormer)以及数据融合(如TransRMOT、HGT-Track)三类。实验结果进一步证实了Transformer在SOT和MOT中的优势,零样本和高性能模型有望在未来主导该领域。
**6. Conclusions**
本综述系统回顾了基于Transformer的目标跟踪模型的发展,突出了自注意力机制在捕捉局部和全局依赖、处理遮挡和背景杂乱等方面的优势。通过层级特征提取、可形变注意力、令牌融合和记忆增强等创新方法,Transformer在SOT和MOT任务及零样本、引用跟踪等新领域取得了显著进展。尽管面临高计算成本和数据集依赖等挑战,硬件加速、轻量化设计和自监督学习正提供应对方案。结合图注意力、多模态输入和扩散模型的混合架构将进一步推动跟踪性能的提升,并促进跨学科合作以解决技术和伦理问题。