Track-On2:利用内存提升在线点追踪性能

《IEEE Transactions on Pattern Analysis and Machine Intelligence》:Track-On2: Enhancing Online Point Tracking with Memory

【字体: 大 中 小 】 时间:2026年03月19日 来源:IEEE Transactions on Pattern Analysis and Machine Intelligence 20.4

编辑推荐:

  摘要:在本文中,我们研究了长期点跟踪问题,该问题要求在图像出现显著变化、存在运动和遮挡的情况下,仍能准确识别不同视频帧中的点。我们的研究聚焦于在线场景,即逐帧跟踪点,这一方式适用于实时应用和流媒体应用。我们将之前的模型Track-On改进为Track-On2,这是一种简单高效的基

  

摘要:

在本文中,我们研究了长期点跟踪问题,该问题要求在图像出现显著变化、存在运动和遮挡的情况下,仍能准确识别不同视频帧中的点。我们的研究聚焦于在线场景,即逐帧跟踪点,这一方式适用于实时应用和流媒体应用。我们将之前的模型Track-On改进为Track-On2,这是一种简单高效的基于变换器的在线长期跟踪模型。通过架构优化、更高效地利用内存以及改进的合成训练策略,Track-On2在性能和效率方面都有所提升。与那些依赖完整序列处理或迭代更新的现有方法不同,我们的模型以因果方式处理帧,并通过内存机制保持时间一致性,这有助于在无需未来帧的情况下处理图像偏移和遮挡问题。在推理阶段,我们首先进行粗略的块级分类,然后再进行精细化处理。除了架构方面,我们还系统研究了合成训练方案及其对内存行为的影响,阐明了这些方案如何提升模型在长序列中的时间稳定性。通过大量实验,Track-On2在五个合成数据集和真实世界数据集上的表现均处于领先水平,不仅超越了现有的在线跟踪器,甚至也优于那些能够利用双向上下文的强大离线方法。这些结果证明了仅基于合成数据训练的因果式、基于内存的架构,可以作为解决现实世界点跟踪问题的高效方案。项目页面:https://kuis-ai.github.io/track-on2。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号