动作增量器:面向时序动作分割的动作增量学习
《Computer Vision and Image Understanding》:Action-incrementer: Action-incremental learning for temporal action segmentation
【字体:
大
中
小
】
时间:2026年09月29日
来源:Computer Vision and Image Understanding 3.6
编辑推荐:
•我们提出了一种新颖的动作增量学习框架,用于时序动作分割(TAS)。•所提出的基于掩码的分割方法在增量学习中保持了时序一致性。•自适应知识蒸馏缓解了已学动作的灾难性遗忘问题。•基于掩码的伪标签减少了背景语义漂移。•Action-Incrementer 在TAS上优于代表性的持
•我们提出了一种新颖的动作增量学习框架,用于时序动作分割(TAS)。•所提出的基于掩码的分割方法在增量学习中保持了时序一致性。•自适应知识蒸馏缓解了已学动作的灾难性遗忘问题。•基于掩码的伪标签减少了背景语义漂移。•Action-Incrementer 在TAS上优于代表性的持续学习基线方法。
引言
时序动作分割(Temporal Action Segmentation, TAS)旨在将未剪辑的长视频划分为时序一致的动作片段,以实现程序性理解,应用于机器人(Krüger等人,2007;Riek,2017;Sliwowski和Lee,2025)、配备可穿戴摄像头的辅助系统(Serpush等人,2022;Udayakumar等人,2025)以及增强现实系统(Zhang等人,2018;Jiang等人,2020;Ma等人,2024)等领域。在实际部署中,可识别的动作集合很少是固定的,因为新的动作类别会随时间不断涌现,这就要求模型在持续学习新动作的同时,保持对已学知识的掌握。例如,一个训练用于识别操作类动作的服务机器人,可能之后需要引入新出现的动作类别。
先前针对TAS的增量学习研究(Ding等人,2024)通常通过高层视频活动(如"制作咖啡"或"制作茶")引入新的动作类别。在这种设置下,增量单元不是单个原子动作类,而是与特定活动关联的一组动作类。因此,即使构成新引入活动的大部分动作已经被学习过,活动级协议仍然要求对该活动的完整动作集进行标注。这导致了对已学动作的冗余标注成本,且不反映实际增量学习场景——在真实场景中,标注工作应集中在新引入的动作类上。相比之下,我们定义并研究了一种动作增量TAS设置,将增量单元从与活动关联的动作集转变为单个原子动作类,仅对新引入的动作使用监督信号,而非对每个新活动关联的完整动作集进行重复标注。
这种动作增量学习设置为TAS引入了独特的挑战。如图1所示,新任务的训练视频可以包含已学动作(例如"搅拌"、"倾倒")的片段,但仅对新引入的动作片段提供标注。因此,在当前任务中,旧动作片段并未以其原始类别身份进行标注,也没有获得直接的旧类别监督信号,尽管它们在时间上与标注的新动作交替出现。在具有时序结构的视频中,这种监督信号缺失会沿序列传播,破坏维持一致动作片段所需的时序依赖关系。因此,面向TAS的动作增量学习不仅应被视为灾难性遗忘(McCloskey和Cohen,1989;French,1999)问题,更应被视为在动作类别扩展和部分监督下保持时序一致性的问题。
除时序一致性之外,面向TAS的动作增量学习还会引发背景语义漂移问题。在这种设置下,监督信号仅限于新引入的动作,未标注的旧动作片段因此可在训练期间被视为背景类。结果,旧动作类的语义会逐渐被吸收进背景类中,削弱模型区分已学动作与背景片段的能力。这一问题与类别增量语义分割(CSS)中的背景语义漂移相关(Douillard等人,2021;Cermelli等人,2020;Shang等人,2023),在其中,未标注的旧类像素同样被压缩进背景类。然而,在TAS中,这种语义漂移影响的是时序有序的动作片段,而不仅仅是空间区域。因此,基于逐帧分类的传统TAS形式化方法(Li等人,2020;Yi等人,2021;Liu等人,2023;Ding等人,2023)可能难以在连续任务中保持旧动作的语义信息,导致片段破碎和动作边界不准确。
为应对这些挑战,我们提出了一种名为Action-Incrementer(Act-Inc)的面向TAS的动作增量学习框架。我们不再预测逐帧标签,而是将TAS重新表述为一个解耦的基于掩码的分割问题,预测类别无关的时序掩码及其对应的动作标签。该表述在掩码层级显式建模动作片段,鼓励时序一致的片段表示,并提高了在动作增量学习过程中对类别扩展的鲁棒性。在此基础上,我们引入了自适应知识蒸馏以缓解已学动作的灾难性遗忘,以及基于掩码的伪标签以恢复未标注的旧动作片段,在学习新引入动作的同时减少背景语义漂移。这些组件共同使Act-Inc能够在部分监督条件下学习新动作类别,同时保持对新旧动作的时序一致分割。
在评估方面,我们使用Breakfast(Kuehne等人,2014)和YouTube Instructional(Alayrac等人,2016)两个广泛使用的时序动作分割基准数据集,构建了多种动作增量学习场景。我们在不同任务数量和类别数量的多种类别增量设置下评估了本框架。实验结果表明,Act-Inc在各种增量场景下始终优于经适配用于TAS的代表性持续学习基线方法(Li和Hoiem,2017;Kirkpatrick等人,2017;Cermelli等人,2020;Douillard等人,2021)。我们的贡献总结如下:
•我们定义了一种面向TAS的新动作增量学习设置,其中增量单元是原子动作类,而非高层活动。•为了在新引入和已学动作之间保持时序一致性,我们提出了一种解耦的基于掩码的分割表述方法,预测类别无关的时序掩码及其对应的动作类别。•我们提出了Action-Incrementer(Act-Inc)框架,结合自适应知识蒸馏和基于掩码的伪标签来缓解灾难性遗忘和背景语义漂移。•在多种动作增量学习场景上的实验结果表明,Act-Inc始终优于经适配用于TAS的代表性持续学习基线方法。
相关段落摘要
时序动作分割
现有的大多数时序动作分割(TAS)方法(Li等人,2020;Yi等人,2021;Kim和Kim,2022;Bahrami等人,2023;Lu和Elhamifar,2024)都是为从预定义的动作类别集中学习而设计的。即使采用替代监督机制,如基于时间戳的方法(Li等人,2021;Hirsch等人,2024)或半监督学习(Singhania等人,2022),这些方法仍然假设所有目标动作类别是预先已知且固定的。
问题定义
时序动作分割(TAS)旨在将一个未剪辑的视频划分为动作片段,并为每个片段分配一个来自预定义动作集合??的标签。给定一个包含??帧的视频,TAS模型?_θ输出逐帧标签{??_??}_{??=1}^{??},其中??_??∈??∪{??},??表示背景类。动作片段通过将具有相同标签的连续帧进行分组来获得。在本工作中,我们研究面向TAS的动作增量学习,使模型能够在时间推移中学习新的动作类别,同时……
数据集
我们使用了流行的时序动作分割(TAS)数据集Breakfast(Kuehne等人,2014)和YouTube Instructional(Alayrac等人,2016),来评估面向TAS的动作增量学习。Breakfast包含1712个第三方视角的烹饪视频,总时长77小时,涵盖48个动作类别。评估使用四折交叉验证。YouTube……
结论
在本工作中,我们提出了一种新颖的面向时序动作分割的动作增量学习框架,命名为Act-Inc。我们将传统的逐帧分类重新表述为基于掩码的动作分割,将TAS视为一个直接集合预测问题,使用解耦的类别无关时序掩码和对应的动作标签。这种表述通过减少逐帧方法引起的片段化,帮助在增量学习期间保持时序一致的动作片段。
CRediT作者贡献声明
Gyeong-hyeon Kim:撰写——审阅与编辑,撰写——初稿,验证,方法论,形式化分析,概念化。Hyundong Jin:验证,方法论,概念化。Dongyoon Han:撰写——审阅与编辑,验证,方法论,概念化。Eunwoo Kim:撰写——审阅与编辑,验证,监督,资源,方法论,概念化。
利益冲突声明
作者声明不存在可能影响本论文所述工作的已知竞争性经济利益或个人关系。
致谢
本工作部分由韩国政府(MSIT)资助的韩国信息通信技术规划与评估院(IITP)拨款支持[RS-2021-II211341,人工智能研究生院项目(中央大学)],以及中央大学2023年研究生研究奖学金资助。
Gyeong-hyeon Kim | Hyundong Jin | Dongyoon Han | Eunwoo Kim
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号