《Image and Vision Computing》:IVCP: Instruction-Guided Video Context Prompting for video action recognition
编辑推荐:
•指令条件提示引导时空解码。•LLM解释任务意图以生成自适应视觉提示。•统一框架连接语义意图与视觉感知。•通过阶段感知的时间注意力提高可解释性。•在五个视频基准测试上取得一致的增益。引言视频识别是高层视频理解中的基础任务,支持人体动作分析、事件检测和体育分析等应用。更广泛地说
- •
指令条件提示引导时空解码。
- •
LLM解释任务意图以生成自适应视觉提示。
- •
统一框架连接语义意图与视觉感知。
- •
通过阶段感知的时间注意力提高可解释性。
- •
在五个视频基准测试上取得一致的增益。
引言
视频识别是高层视频理解中的基础任务,支持人体动作分析、事件检测和体育分析等应用。更广泛地说,在数据驱动工程应用中,包括RINEX GPS数据的大气校正、GNSS–LiDAR定位、能量优化和被动冷却系统,预处理、多传感器集成、基于学习的优化和系统级分析均得到了研究 [1]、[2]、[3]、[4]。现代3D卷积网络和视频Transformer可以从带标签或自监督视频数据中学习强大的时空表示 [5]、[6]、[7]、[8]、[9]。然而,其任务规范通常隐式地包含在固定的闭集分类器中。多模态大语言模型(MLLMs)提供了一种不同的接口:它们可以同时处理自然语言指令和视觉输入 [10]、[11]、[12]、[13]、[14]。因此,本研究探讨的问题不是常规视频模型是否具有时空建模能力,而是显式的通用任务指令如何条件化语义读出状态并引导其与视觉标记在判别式动作识别中的交互。
近期工作已为视觉-语言模型引入了基于提示的学习方法。如图1(a)所示,提示通常从学习到的嵌入、文本模板 [15]、LLM生成的描述 [16]、[17] 或视觉原型 [18]、[19]、[20] 中初始化。这些机制改进了迁移和对齐,但任务规范通常由固定的提示或双编码器相似度目标来编码。MLLMs支持更灵活的指令接口,但自由形式的生成并不一定是为判别式闭集视频识别优化的。这促使我们设计一种接口,在保留自然语言任务条件的同时显式保留视频标记以供下游时空解码使用(见图2)。
为研究该接口,我们提出了指令引导的视频上下文提示(IVCP),如图1(b)所示。采样的视频和通用动作识别指令共同提供给Qwen2.5-VL。保留的ACT标记被放置在助手端序列中,并在单次教师强制多模态前向传递中提取其最后一层隐藏状态。这些状态不是自回归生成的类别标签,而是由指令和视频标记共同上下文化的学习到的读出槽位。此外,视觉编码器标记被投影并作为交叉注意力的键和值提供给基于Transformer的时空解码器。因此,IVCP结合了隐式多模态ACT路径和显式解码器视觉路径。
我们的实验评估了分类性能、组件行为、计算成本和定性注意力模式。注意力图作为案例研究呈现,说明与语义指导一致的行为;在没有定量定位地面真实数据的情况下,它们不被视为空间对齐一致性的证明。主要定量比较限于已发表的VSL/VN-Match MLLM结果、内部VSL风格的生成基线以及IVCP。强专用视觉识别模型在相关工作中单独讨论,因为其任务特定架构、预训练数据、输入采样和评估协议与我们的设置不直接可比。
我们的主要贡献总结如下:
- •
我们引入了用于有监督视频动作识别的显式指令条件接口。通用任务指令和视频标记共同上下文化Qwen2.5-VL中保留的ACT读出状态。
- •
我们设计了判别式时空解码流水线,其中ACT状态查询单独投影的视觉标记,从而结合隐式多模态读出路径与显式解码器级别的视觉条件。
- •
我们在五个动作识别基准测试上评估了IVCP,并提供了提示变化测试、匹配的解码器设计消融实验以及类别监督匹配的Direct Qwen对照实验。结果支持对所测试指令变化的鲁棒性,同时跨数据集和开放词汇泛化仍超出当前证据范围。
章节片段
视频识别与时空建模
视频动作识别旨在从时空序列中识别人类活动。早期工作使用手工设计的轨迹 [26];随后双流网络 [27]、[28]、3D卷积模型 [5]、[6] 和循环架构 [29]、[30] 学习了越来越具表现力的时间表示。TimeSformer [7] 和ViViT [8] 等视频Transformer通过时空自注意力扩展了这一进展。
这些发展确立了专用视觉模型具有
概述
IVCP的目标是将显式任务指令与判别式时空解码连接起来。给定视频 和通用指令 ,多模态骨干在单次前向传递中处理视频标记、用户指令以及包含保留ACT标记的助手端模板。ACT位置的最终隐藏状态作为紧凑的语义查询。单独的视觉标记序列被投影到解码器空间,通过视觉自注意力精炼,并
实验设置
我们在UCF-101 [24](101类)、HMDB-51 [25](51类)、Something-Something V2 [21](174类)、NTU RGB+D 60 [22] 和 NTU RGB+D 120 [23] 上评估IVCP。所有实验仅使用RGB输入。UCF-101和HMDB-51遵循其三个官方划分,报告的主体结果为划分平均值。除非另有说明,视频以8 fps采样。Top-1和Top-5准确率是主要指标。
结论
我们提出了IVCP,一种指令引导的视频动作识别框架,从Qwen2.5-VL中提取多模态上下文化的ACT读出状态,并将它们用作判别式时空解码器中对显式视觉标记的语义查询。结果表明,与比较中评估的MLLM基线相比,IVCP取得了一致的改进。与为特定任务基准性能优化的专用视觉模型不同,IVCP使用LLM引入显式的语言条件
CRediT作者贡献声明
Shichao Kan: 撰写–原稿,监督,资源,方法学,概念化。Wentao Li: 验证,软件,调查,形式分析。Peifu Wang: 调查,概念化。Yigang Cen: 撰写–审稿与编辑,资金获取。Linna Zhang: 撰写–审稿与编辑,资金获取。Lihui Cen: 撰写–审稿与编辑,资源,方法学。
利益冲突声明
作者声明不存在已知可能影响本文所报告工作的竞争性财务利益或个人关系。
致谢
本工作部分得到国家重点研发计划(2024YFB4105202)、国家自然科学基金(资助号62473033和62463002)以及北京市自然科学基金(资助号L231012)的支持。我们感谢中南大学高性能计算中心对本工作的部分支持。
Shichao Kan|Wentao Li|Peifu Wang|Yigang Cen|Linna Zhang|Lihui Cen