《Computer Vision and Image Understanding》:Temporal video segmentation with natural language using text-video cross attention and Bayesian order-priors
编辑推荐:
本文推荐一篇关于视频时序定位的研究。为解决长视频中重复动作的步骤定位难题,研究人员提出Bayesian-VSLNet模型,通过贝叶斯时序先验和概率化建模,在Ego4D数据集上实现SOTA性能,为机器人感知和辅助技术提供新思路。
随着可穿戴设备和机器人技术的快速发展,视频感知系统已成为辅助技术应用的核心组成部分。无论是帮助视障人士超市购物的AR系统,还是工业操作员的程序指导工具,亦或是家庭服务机器人的日常任务执行,这些创新应用都离不开对视频内容的深度理解。其中,步骤定位(step grounding)作为视频理解的关键任务,旨在根据自然语言描述在长视频中精确定位特定动作的时间边界,这项技术对于构建具有情景记忆能力的智能系统至关重要。
然而,现实世界中的视频数据往往呈现出诸多挑战:长达数小时的未修剪视频包含大量无关帧,如同"大海捞针";重复性动作(如烹饪过程中的"加盐")会多次出现,造成定位模糊;传统方法依赖固定动作标签集,缺乏对自由形式语言描述的灵活性。更棘手的是,现有方法通常将每次出现视为独立事件处理,难以利用步骤间的时序关系,导致对重复动作的区分能力不足。
针对这些挑战,发表于《Computer Vision and Image Understanding》的研究提出了一种创新解决方案——Bayesian-VSLNet。该研究团队来自西班牙萨拉戈萨大学,他们巧妙地将贝叶斯统计与视频-语言预训练模型相结合,开创性地解决了长视频中重复步骤的精确定位问题。
研究人员采用的核心技术方法包括:基于多模态视频-语言预训练模型(VLP)的特征提取,融合了Omnivore-L、EgoVLPv2和EgoVIDEO等多种视觉编码器的优势;概率化的视频片段定位网络,将传统的双头预测简化为单头似然预测;贝叶斯时序先验机制,在推理阶段通过顺序信息消除重复动作的歧义;使用Ego4D Goal-Step数据集进行验证,该数据集包含851个总时长368小时的自我中心视频,涵盖日常程序性活动。
4.1. 文本和视频表示
研究团队采用多编码器融合策略,从不同预训练模型中提取视频特征。对于每个视频,首先通过稀疏采样技术将长视频划分为K个均匀片段,然后计算每个片段的平均特征表示。文本查询同样经过专门编码器处理,最终将多源特征拼接形成联合表示,为后续的跨模态对齐奠定基础。
4.2. Bayesian-VSLNet
研究对基线模型VSLNet进行了两大关键改进:一是将原有的起点和终点双头预测简化为单一的概率分布预测,每个视频片段输出一个似然分数,表示该片段包含查询步骤的概率;二是引入贝叶斯推理框架,将网络输出的似然分布与基于步骤顺序的时序先验相结合,通过后验分布精确锁定特定 occurrence 的位置。
训练策略
在训练阶段,研究采用了分组训练策略。对于描述相同的所有步骤实例,将其合并为一个二值目标向量,训练模型同时为所有出现位置赋予高似然值。这种策略增强了对视觉-文本模式的学习鲁棒性,克服了传统方法独立处理每次出现的局限性。
推理机制
在推理阶段,当面对重复步骤时,模型会生成多个概率峰值。此时,贝叶斯时序先验发挥作用——它编码了查询步骤在任务中的预期顺序位置,通过调整似然分布,抑制无关匹配,将概率质量集中在目标出现区域周围,从而准确区分看似相同但处于不同顺序位置的步骤。
6.1. 定量结果
在Ego4D Goal-Step数据集上的实验表明,Bayesian-VSLNet显著超越基线方法。在主要评估指标R@1,mIoU-IndOrder=0.3上,Bayesian-VSLNet-v0相比VSLNet基线提升了49.5%,而改进版Bayesian-VSLNet++更是实现了95.5%的性能提升。在CVPR 2024 EgoVis workshop的步骤定位挑战赛中,该方法以35.18的得分夺得冠军,证明了其优越性。
6.2. 超参数选择与配置研究
研究团队通过系统化的网格搜索确定了最佳超参数配置。实验发现,当片段数K=1024,百分比阈值α=95,先验分布参数β=0.1时,模型性能最优。消融研究证实,多特征融合和适当的时序先验强度对性能提升至关重要。
6.3. 定性结果
定性分析显示,Bayesian-VSLNet能够有效处理重复步骤的定位问题。在包含多次"加入可可粉"和"混合牛奶"的烹饪视频中,模型能准确区分不同顺序的相同描述步骤,证明了时序先验在消除歧义方面的有效性。
6.4. 在其他数据集上的结果
为了验证方法的普适性,研究还在TACoS和ActivityNet Captions数据集上进行了测试。Bayesian-VSLNet在所有基准测试中均一致优于VSLNet基线,特别是在长视频处理方面展现出明显优势。
6.5. 辅助机器人数据的定性结果
在真实机器人场景的定性实验中,Bayesian-VSLNet在Mobile Aloha项目数据上表现出色,能够准确定位家务任务中的各个步骤,平均处理时间仅为125毫秒/查询,满足了实时性要求,展现了在嵌入式设备上应用的潜力。
该研究的核心贡献在于将步骤定位问题重新表述为完整的概率框架,通过贝叶斯推理自然处理重复动作的歧义问题。相比传统方法,这种表述不仅提高了定位精度,还增强了结果的可解释性。同时,简化后的网络结构降低计算成本,更适合资源受限的应用场景。
值得注意的是,该方法仍存在一定局限性。在极长视频中,稀疏采样可能导致细粒度时序信息丢失,短暂时动作的定位精度有待提升。此外,模型性能在一定程度上依赖于步骤顺序先验的准确性,对于顺序不固定的任务可能需要进一步调整。
这项研究的实际意义远不止于算法性能提升。对于辅助机器人领域,精确的步骤定位能力意味着机器人可以更准确地理解和学习人类演示的任务,为模仿学习(imitation learning)和强化学习提供高质量的训练数据。对于可穿戴设备,这种技术可以用于开发更智能的辅助系统,如实时指导用户完成复杂程序性任务,或帮助认知障碍者回忆和执行日常活动。
从更广阔的视角看,这项工作代表了视频理解领域向更实用、更灵活方向的发展趋势。通过融合自然语言理解和概率建模,研究者打破了固定动作词汇表的限制,使系统能够适应开放世界的无限多样性。随着视频数据的持续增长和辅助技术需求的日益迫切,这种能够理解长视频中复杂程序性内容的技术,必将为人机交互、机器人学习和智能辅助系统开辟新的可能性。
未来工作可探索更精细的时序建模方法,结合多模态信息(如音频、深度数据)进一步提升定位鲁棒性,并将该框架扩展到更广泛的视频理解任务中,如动作质量评估、程序错误检测等应用场景。