探索点级弱监督时间行动定位的时间一致性

《Pattern Recognition》:Exploring the temporal consistency for point-level weakly-supervised temporal action localization

【字体: 大 中 小 】 时间:2026年09月30日 来源:Pattern Recognition 9.1

编辑推荐:

  •分析了点监督时间-action localization(TAL)方法中缺乏明确的时间一致性建模目标的问题。•探讨了时间一致性对动作定位的好处。•提出了三种基于点的辅助任务以辅助时间一致性学习。•在包括THUMOS14在内的四个基准测试中展现了出色的性能。引言时间动作定位(TA

  
  • •
    分析了点监督时间-action localization(TAL)方法中缺乏明确的时间一致性建模目标的问题。
  • •
    探讨了时间一致性对动作定位的好处。
  • •
    提出了三种基于点的辅助任务以辅助时间一致性学习。
  • •
    在包括THUMOS14在内的四个基准测试中展现了出色的性能。

引言

时间动作定位(TAL)在视频理解领域发挥着关键作用[1],其目标是预测给定未裁剪视频中每个动作实例的开始和结束时间戳。得益于精确的动作边界标注,传统的全监督时间动作定位(FTAL)[2],[3]方法取得了显著进展。然而,动作实例的帧级标注工作繁琐且耗时。为了降低标注成本,研究人员越来越多地转向弱监督时间动作定位(WTAL)[4],[5],[6],这些方法仅使用视频级标签。尽管取得了显著进展,但由于缺乏细粒度标注,其性能仍然有限。
为了更好地平衡标注成本和模型性能,提出了点监督时间动作定位(PTAL)作为一种可靠的解决方案,因为它每个动作实例只需要一个标记帧,而不需要精确的边界。作为开创性方法,SF-Net[7]采用迭代策略挖掘伪动作和背景帧,从而在整个训练过程中提供额外的监督。后续研究通过探索有效策略来利用这种有限的监督,进一步扩展了这一范式。通常,LACP[8]使用贪心算法生成一个密集的最优序列,并利用点注释来学习动作实例的完整性。CRRC-Net[9]通过协同监督特征学习和概率标签挖掘来解决动作内的变化和伪标签噪声问题。最近,SNPR[10]提出了两种基于邻居的策略来提高训练效率并减少由稀疏标注和不可靠预测引起的标签噪声。
尽管取得了进展,但大多数现有方法对点注释的使用仍然仅限于片段级分类的监督。具体来说,在训练过程中,动作定位器依赖点注释在片段级别进行动作分类,并不断挖掘伪标签以丰富监督信息,如图1中的任务1所示。然而,这些方法没有明确建模动作内部的时间关系,尽管这些关系对于理解动作的时间结构和定位完整动作至关重要。为了解决这一限制,我们引入了在点监督下的时间一致性学习,旨在帮助模型捕捉不同视频中同一类别动作实例共享的时间结构。在这项工作中,我们从三个方面考虑时间一致性:时间背景、时间顺序和动作规律性。因此,我们设计了三个基于点注释的自监督辅助任务,如图1中的任务2、3和4所示。动作完成关注时间背景建模,动作顺序理解促进时间顺序理解,动作规律性理解鼓励动作规律性学习。这三个基于点的辅助任务描述如下:
(i) 动作完成(图1 任务2):根据前后帧预测带有注释的动作片段的掩码特征,从而帮助动作定位器更好地建模动作的时间背景。
(ii) 动作顺序理解(图1 任务3):推断动作序列是否在时间上被反转,以增强模型对动作顺序的意识。
(iii) 动作规律性理解(图1 任务4):确定动作序列是否在时间上是连续的,从而提高模型对动作规律性的理解。
这三个辅助任务与主要的片段分类任务在统一的多任务学习框架中共同优化,使得共享表示能够捕获更丰富的动作定位时间结构。通过从稀疏的点监督中提取更丰富的时间信息,我们的方法进一步改善了PTAL中标注效率和定位性能之间的平衡。此外,所提出的框架仅在训练期间引入紧凑的辅助分支,在推理期间这些分支会被移除,不会引入额外的推理开销或需要重大的架构重新设计。在四个广泛使用的数据集上的大量实验证明了我们方法的有效性。
我们的贡献总结如下:
  • •
    我们分析了当前点监督方法中缺乏明确的时间一致性建模目标的问题,并探讨了时间一致性建模对动作定位的好处。
  • •
    我们通过将三个基于点的辅助任务(即动作完成、动作顺序理解和动作规律性理解)集成到稀疏点监督的TAL设置中,提出了一个统一的多任务时间一致性学习框架。这些任务鼓励模型学习时间背景、时间顺序和动作规律性,从而促进时间一致性学习。
  • •
    在四个广泛使用的数据集(THUMOS’14、GTEA、BEOID和ActivityNet 1.3)上的广泛实验结果表明,与几种最先进的方法相比,我们提出的方法更加有效。

章节片段

时间动作定位

全监督时间动作定位依赖于动作开始和结束时间戳的精确标注,在训练阶段为每个片段分配精确的动作标签。这种精确的标注在动作分类和定位方面都取得了出色的性能。当前的方法主要包括:(1) 基于提议的方法[11],[12],它们生成表示动作边界的时间窗口,并使用回归模块对这些边界进行细化。(2) 无提议的方法

方法论

在本节中,我们首先给出了PTAL的问题定义、我们的基线架构以及第3.1节中的基线优化损失。然后,在第3.2节中介绍了我们的多任务学习设置。之后,我们在第3.3节介绍了我们提出的三个基于点的自监督辅助任务的细节。最后,在第3.4节中阐述了训练和推理过程。

数据集和评估

我们在四个常用的时间动作定位数据集上进行了实验,包括THUMOS’14[27]、BEOID[28]、GTEA[29]和ActivityNet 1.3[30]。
THUMOS’14[27]是一个具有挑战性的时间动作定位数据集,包含20个动作类别的413个未裁剪的视频。每个视频的平均动作实例数量为15个。该数据集被分为200个视频用于训练和213个视频用于测试,按照标准划分。
BEOID[28]提供了58

结论

在本文中,我们指出现有方法主要依赖于点监督的片段分类进行模型训练,但缺乏对时间一致性的有效建模。为了克服这一差距,我们引入了三个基于点注释的自监督任务,包括动作完成、动作顺序理解和动作规律性理解。这些任务分别使模型能够推理动作背景、时间顺序和规律性模式。我们结合了这些

CRediT作者贡献声明

马云川:写作——审稿与编辑,撰写——原始草稿,可视化,验证,软件,项目管理,方法论,形式分析,数据整理。青来云:写作——审稿与编辑,监督,资源获取。李国荣:资源,形式分析。刘宇晴:写作——审稿与编辑。齐源凯:写作——审稿与编辑。黄清明:资源。

利益冲突声明

作者声明他们没有已知的利益冲突或个人关系可能影响本文报告的工作。

致谢

本研究部分得到了国家自然科学基金(项目编号:62272438和62521007)的支持,部分得到了北京市自然科学基金(项目编号:L25700)的支持,以及中央高校基本科研业务费(项目编号:E2ET1104)的支持。齐源凯未获得上述基金的支持。
马云川|青来云|李国荣|刘宇晴|齐源凯|黄清明
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号