测试时自适应的视觉-语言对齐技术,用于零样本群体活动识别

《Pattern Recognition》:Test-Time Adaptive Vision-Language Alignment for Zero-Shot Group Activity Recognition

【字体: 大 中 小 】 时间:2026年01月04日 来源:Pattern Recognition 7.6

编辑推荐:

  零样本群组活动识别(ZS-GAR)面临模型无法适应新类别分布的挑战,本文提出动态测试时自适应框架,通过演员随机掩码增强(学习关键个体关系)和语义原型对比学习(对齐视觉特征与未见过类语义原型),有效解决跨域适应问题,并在VD-C、CAD-C等新基准上验证方法鲁棒性。

  
曾润豪|王一瑞|彭文福|朱雄林|张荣浩|王志华
深圳 MSU-BIT 大学人工智能研究所,中国广东省深圳市 518172

摘要

零样本群体活动识别(ZS-GAR)旨在识别训练期间未见过的活动。然而,传统方法使用的模型在测试时参数是固定的。这种静态特性使得模型无法适应未见类别的分布变化,严重影响了其泛化能力。为了解决这个问题,我们提出了一种测试时适应(TTA)框架,该框架通过采用两种协同的自监督机制在推理过程中动态调整模型。首先,Actor-Drop 特征增强策略利用群体关系结构作为强大的自监督信号,通过对随机遮盖个体的样本强制预测一致性来实现这一点。其次,我们的 Label-Semantic 对比学习机制从高置信度预测中生成伪标签,并使用动态记忆库将特征与其推断出的语义原型对齐。这一过程不仅增强了未见类别的视觉-语言对齐,还在两个新的基准测试 VD-C 和 CAD-C 上证明了其对数据损坏的鲁棒性,这两个测试包含了多种类型的损坏。在标准的 ZS-GAR 基准测试上的广泛实验表明,我们的方法显著优于现有技术,验证了 TTA 在这项任务中的有效性。

引言

群体活动识别(GAR)旨在识别视频中涉及多个协作个体的活动,这对于智能监控和增强现实等应用至关重要。现有的 GAR 方法 [1] 在所有活动类别都预先定义的标准基准测试上表现优异。然而,由于任何有限训练集的覆盖范围有限,这些方法往往难以泛化到未见类别。为了解决这一限制,引入了零样本群体活动识别(ZS-GAR)任务,其目标是识别训练期间未出现的新活动。
然而,ZS-GAR 本身也带来了重大挑战。这项任务的主要范式依赖于计算视觉特征和文本特征之间的相似性,使用通常在已见类别集上训练的视觉-语言模型。当部署时,这种预训练模型会遇到显著的类别偏移,因为训练(已见)和测试(未见)标签空间之间存在差异。这种固有的分布变化严重损害了学习到的视觉-语言对齐的泛化能力,导致性能大幅下降,如图 1 所示。此外,在现实测试场景中,无法访问原始训练数据,这意味着模型无法重新训练,只能提供这些未见类别的未标记测试数据。这些挑战的结合提出了一个关键问题:我们能否仅使用未标记的测试数据本身,使预训练的视觉-语言模型适应未见类别的分布?
一个有前景的研究方向是测试时适应(TTA)。TTA 旨在在测试过程中优化模型,以便更好地适应目标数据分布,而无需标签。最近,TTA 在基于图像的 [2] 和视频任务 [3] 中在适应领域变化方面取得了显著进展。这些方法通常利用自监督学习策略 [4] 来处理损坏。例如,ViTTA [5] 对齐来自不同时间视角的预测,而曾等人 [6] 使用对比学习提取独特的运动特征。
将 TTA 应用于 ZS-GAR 提出了一个独特且更复杂的挑战。现有的视频 TTA 方法主要关注适应领域变化(例如,损坏)。在 ZS-GAR 中,模型不仅必须适应新的视觉领域,还必须适应类别变化中固有的新语义概念。此外,GAR 模型依赖于细粒度特征,如演员级特征 [9] 或令牌级特征 [10] 来模拟复杂的多人交互。当前为视频或帧级特征设计的 TTA 技术不适合利用这些关键的关系线索。因此,我们的目标是设计一个专门针对 ZS-GAR 的 TTA 框架,能够通过有效利用群体活动中的细粒度关系信息来 robustly 处理类别和领域变化。
在这项工作中,我们提出了第一个专为 ZS-GAR 设计的 TTA 方法。我们的方法包括两种为 GAR 模型的主要组件设计的协同策略:主干网络和演员关系建模模块。首先,受到并非所有演员对群体活动都至关重要的观察启发,我们设计了一种Actor-drop 特征增强策略。通过强制原始特征和随机移除演员后的特征之间的预测一致性,我们的模型学会了关注关键个体。这种一致性约束为关系建模组件提供了强大的自监督信号。其次,为了适应未见语义类别的主干网络,我们设计了一种语义原型对比学习策略。使用从高置信度预测生成的伪标签,该策略提供了更新主干网络的关键监督,使其特征表示与目标未见类别的语义原型对齐。尽管这些自监督机制是为 ZS-GAR 的主要挑战设计的,但它们本质上对视觉损坏具有鲁棒性。因此,我们的框架也有效地适用于由噪声数据引起的领域变化问题,成为解决这两个挑战的统一方案。
我们的贡献可以总结如下:
  • •
    据我们所知,我们是第一个提出专门针对零样本群体活动识别(ZS-GAR)的测试时适应(TTA)框架的团队。我们的框架作为一个统一解决方案,能够 robustly 处理 ZS-GAR 中固有的类别偏移和由数据损坏引起的领域偏移。
  • •
    我们提出了一种专为 GAR 设计的演员-drop 特征增强策略,确保在演员移除前后预测结果的一致性;我们还设计了一种语义原型对比学习策略,优化了主干网络的特征提取,从而提高了模型对损坏数据的鲁棒性。
  • •
    我们在标准的 ZS-GAR 基准测试以及两个新构建的损坏基准测试(VD-C 和 CAD-C)上进行了广泛实验。结果表明,我们的方法在两种具有挑战性的场景中显著优于现有的 TTA 基线,验证了其作为统一解决方案的有效性。
  • 章节片段

    群体活动识别

    与传统动作识别不同,群体活动识别(GAR)专注于理解多人场景视频中个体之间的关系,从而推断群体活动。早期的 GAR[8]、[11] 主要依赖于循环神经网络(RNNs)[12] 或长短期记忆(LSTM)[13] 来捕获时空信息并增强个体特征表示。近年来,GAR 方法根据建模方法进行了分类

    问题表述

    在这项工作中,我们专注于零样本群体活动识别(ZS-GAR)的测试时适应(TTA)这一挑战性问题。总体目标是在测试阶段,仅使用未标记的测试样本,将具有参数 Θ 的源模型 fΘ 适配到目标测试集 T。形式上,模型 fΘ 是在包含来自一组已见类别的样本的源数据集 S={1,,s} 上预训练的。然而,目标测试集 T 完全由未见类别的视频组成

    实验

    在本节中,我们首先描述了实验设置的详细信息。然后,我们与标准零样本设置下的最先进 TTA 方法进行了比较,并在两个新构建的数据损坏场景数据集上进行了测试。此外,我们进行了消融研究和可视化分析,以进一步验证我们提出方法的有效性。

    结论

    在本文中,我们提出了一种新颖的测试时适应(TTA)框架,用于零样本群体活动识别(ZS-GAR)。我们的方法使用两种互补的自监督策略来适应未见类别:Actor-Drop 特征增强(AFA)用于学习 robust 的关系线索,以及语义原型对比学习(SPCL)用于将视觉特征与未见类别的语义对齐。广泛的实验表明,我们的框架取得了

    未引用的参考文献

    表 12。

    CRediT 作者贡献声明

    曾润豪:撰写 – 审稿与编辑、监督、资源管理、项目管理、方法论、资金获取、形式分析、概念化。王一瑞:撰写 – 原始草稿、验证、软件开发、调查。彭文福:撰写 – 原始草稿、验证、调查、数据管理。朱雄林:撰写 – 原始草稿、验证、调查、数据管理。张荣浩:软件开发、调查、形式分析、数据管理。王志华:方法论,

    利益冲突声明

    作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。

    致谢

    本工作部分得到了中国国家自然科学基金(NSFC)项目 62202311、广东省基础与应用基础研究基金项目 2023A1515011512、深圳市科学技术基金项目 JCYJ20250604173210013、广东省教育厅重点项目 2024ZDZX3012、深圳市优秀科学技术创新人才培训计划项目的支持
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号