UniMAT:一种基于多注意力机制的联合检测与跟踪框架,用于实现鲁棒的多目标跟踪
《Expert Systems with Applications》:UniMAT: A Multi-Attention Joint Detection and Tracking Framework for Robust Multi-Object Tracking
【字体:
大
中
小
】
时间:2026年05月08日
来源:Expert Systems with Applications 7.5
编辑推荐:
何俊尧|王文胜
北京信息科技大学机电工程学院,北京,100192,中国
摘要
传统的多目标跟踪(MOT)方法通常遵循分离检测和跟踪的两阶段范式。然而,这种方法在时间一致性建模、特征交互和错误抑制方面存在显著限制,往往导致跟踪过程中轨迹片段化和身份漂移。为了解决这些问题,本文提
何俊尧|王文胜
北京信息科技大学机电工程学院,北京,100192,中国
摘要
传统的多目标跟踪(MOT)方法通常遵循分离检测和跟踪的两阶段范式。然而,这种方法在时间一致性建模、特征交互和错误抑制方面存在显著限制,往往导致跟踪过程中轨迹片段化和身份漂移。为了解决这些问题,本文提出了一种基于多注意力机制的统一检测和跟踪框架,称为UniMAT(统一多注意力跟踪器)。该框架能够在统一架构内实现检测、运动建模和特征融合的联合优化。具体而言,UniMAT结合了三种互补的注意力机制来模拟空间、时间和运动维度上的多层次依赖关系。时间自注意力捕获长期依赖关系,以增强轨迹连续性和遮挡恢复能力;跨模态注意力促进检测特征和轨迹特征之间的双向信息交换,从而在目标外观相似的拥挤场景中提高身份一致性;运动感知注意力根据目标速度和加速度自适应调整外观特征的权重,在快速运动和相机抖动条件下保持稳定和鲁棒的特征表示。此外,还设计了一个轻量级的注意力融合模块,根据内容自适应整合来自TSA、CMA和MAA的多源特征,形成具有全局时空一致性的统一表示,以便后续的对象关联和轨迹更新。在MOT20数据集上的实验结果表明,UniMAT在IDF1、HOTA和MOTA等关键指标上优于DeepSORT、TrackFormer、ByteTrack和FairMOT等主流算法。具体来说,IDF1和HOTA的平均得分提高了5%以上,而身份切换(IDSW)显著减少。此外,将提出的模块集成到两个代表性检测器YOLOv11和Deformable DETR中的跨检测器实验也获得了持续的性能提升,验证了该框架的通用性和迁移能力。总体而言,本文基于物理约束、时间记忆和模态融合开发了一个层次化的统一模型,并实现了检测、运动建模和特征融合的集成优化。该框架为复杂动态场景中的多目标跟踪提供了一个全面的解决方案,平衡了准确性、稳定性和可扩展性。
引言
近年来,由于应用范围广泛,对象检测和跟踪受到了越来越多的关注。基于深度神经网络的检测器显著提高了准确性和实时性能,为多目标跟踪(MOT)的发展奠定了坚实基础。随着计算机视觉和深度学习技术的快速发展,对象检测和跟踪已成为计算机视觉领域中最关键和最具挑战性的分支之一。这些技术已广泛应用于自动驾驶、异常检测、机器人导航、运动分析和对象识别等领域。作为视频分析的核心任务,多目标跟踪在理解动态场景中的对象行为和交互方面发挥着关键作用,成为视觉感知研究的主要焦点。MOT的目标是在连续的视频帧中检测并保持多个对象的身份一致性,从而通过精确的时空建模支持高级行为分析和场景理解。在这个过程中,检测和跟踪形成了一种顺序关系:跟踪以检测为基础,旨在估计对象的运动轨迹并将其与其对应的路径关联起来(Pal, Pramanik, Maiti, & Mitra (2021))。
尽管检测精确度的提高提升了整体跟踪性能,但主流的MOT方法仍然主要遵循“检测-关联”范式。这些方法通常以检测结果为输入,应用卡尔曼滤波、匈牙利匹配和外观重识别等算法来更新轨迹并保持身份一致性。包括DeepSORT、ByteTrack和OC-SORT在内的代表性方法在准确性和效率之间取得了合理的平衡(Zhu et al. (2020), Zhang et al. (2022))。然而,由于检测和跟踪模块独立运行,这些方法经常面临时间一致性有限、信息融合不足和累积误差传播的问题。在遮挡密集和运动复杂的场景中,它们特别容易发生频繁的身份切换和轨迹漂移。
在MOT20数据集上的实验结果表明,所提出的方法在关键评价指标(包括识别F1(IDF1)、高阶跟踪精度(HOTA)和多目标跟踪精度(MOTA)(Luiten et al. (2021))上实现了与主流算法相当或更好的性能。具体而言,在我们的对照比较中,IDF1和HOTA的平均得分提高了5%以上,身份切换(IDSW)显著减少。此外,将提出的模块集成到两个代表性检测器YOLOv11和Deformable DETR中的跨检测器实验也获得了持续的性能提升,验证了该框架的通用性和迁移能力。总体而言,本文开发了一个基于物理约束、时间记忆和模态融合的层次化统一模型,并实现了检测、运动建模和特征融合的集成优化。该框架为复杂动态场景中的多目标跟踪提供了一个全面的解决方案,平衡了准确性、稳定性和可扩展性。
章节片段
相关工作
近年来,由于频繁的遮挡、轨迹初始化/终止、对象间高相似性和复杂交互,多目标跟踪(MOT)变得更加复杂(Luo et al. (2021))。因此,现有研究主要集中在四个方向:(a)检测器增强;(b)时空关联学习;(c)运动建模和过滤;(d)多传感器融合/任务特定适应;以及(e)联合检测和跟踪范式。
方法
多目标跟踪(MOT)的核心目标是在视频序列中同时检测并保持多个对象的身份一致性,即准确捕捉每个对象在时空维度上的轨迹,同时保持其稳定的身份。传统的检测-跟踪分离范式在模拟时间依赖关系和特征交互方面存在固有局限性:检测和跟踪的分离导致...
实验
在本实验部分,采用MOT20公共数据集作为评估基准,所有实验均基于该数据集进行。为了公平比较,基准模型使用各自算法提供的官方实现,没有任何额外的微调或专门训练。所有基准模型都在COCO数据集上进行了预训练。与MOT16和MOT17相比,MOT20更关注高度拥挤的行人场景。因此,这项工作...
结论
本文提出了UniMAT,这是一个模块化的联合检测和跟踪框架,结合了BiLSTM–卡尔曼运动建模、TSA/CMA/MAA交互和基于AFN的自适应融合。在MOT20上的实验表明,与代表性跟踪器相比,UniMAT在IDF1、HOTA和MOTA方面实现了竞争性或更好的性能,而与每帧分配基准相比,IDSW显著减少;与DeepSORT和ByteTrack等标准跟踪器相比,UniMAT也在身份一致性指标上有所提升,尽管...
CRediT作者贡献声明
何俊尧:概念化、方法论、软件、验证、形式分析、调查、撰写——原始草稿、撰写——审阅与编辑、可视化。王文胜:项目管理、资金获取、资源提供。
利益冲突声明
作者声明他们没有已知的财务利益或个人关系可能影响本文中的工作。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号