用于时间视频异常检测的单帧监督方法

《Neurocomputing》:Single-frame supervision for temporal video anomaly grounding

【字体: 大 中 小 】 时间:2025年12月11日 来源:Neurocomputing 6.5

编辑推荐:

  针对视频异常检测中细粒度辨别不足和跨模态整合有限的问题,本文提出基于单帧监督的GCPG框架,通过跨模态对齐机制和动态提案优化实现高精度异常事件定位,显著降低标注成本并提升实时性。

  
【中文深度解读】视频异常事件精准定位与跨模态对齐技术突破

一、研究背景与核心挑战
在公共安全领域,视频监控数据量呈现指数级增长,但现有异常检测技术存在两大瓶颈:其一,细粒度事件区分不足,现有方法依赖预设的异常类别划分,虽能实现大类分类却难以捕捉同类事件中的细微差异。例如在"人员冲突"类别中,可能存在推搡、踢打、持械斗殴等不同行为模式,传统方法难以精准识别;其二,跨模态信息融合存在缺陷,多数研究仅利用视觉模态,导致无法有效回答"具体是什么异常行为"和"何时发生"的关键问题。以"蓝色外套男子袭击路人"的文本描述为例,现有系统仅能输出异常评分,却无法明确指出袭击者身份、具体动作或精准的起止时间。

二、TVAG任务创新与解决方案
针对上述问题,研究者提出视频异常事件定位(Temporal Video Anomaly Grounding, TVAG)新范式。该任务突破传统二分类框架,要求在开放域视频流中根据自然语言描述(如"蓝色外套男子 punches passerby")实现:
1. 事件语义匹配:准确识别文本描述中的关键要素(颜色、服装、动作、对象)
2. 时间边界限定:精确定位异常行为的时间窗(起止帧)
3. 实体实例区分:区分不同个体或物品的参与情况(如明确袭击者是蓝色外套男子而非旁观者)

核心创新在于构建双通道协同框架:
(1)PGL伪单帧对齐模块:通过语义感知的双分支网络,将视频时序特征与文本关键词进行动态关联。该模块创新性地将单帧监督与多模态对齐相结合,既降低标注成本(仅需在目标时序内随机选取1-2帧标注),又通过注意力机制实现跨模态语义对齐。例如在"玻璃破碎"事件中,可自动关联文本中的"broken"词与视觉中的碎片飞溅特征。

(2)GPO时序优化模块:采用动态权重分配策略,通过:
- 关键词-单帧对齐度计算:建立文本描述与伪单帧的语义关联强度
- 多候选掩膜聚合:生成5-10个候选区域后,基于关键词分布重建最优掩膜组合
- 时序一致性约束:确保相邻帧的异常特征连续性

该模块在UCA数据集上实现0.3IoU精度时,计算效率较传统方法提升40%,同时保持90%以上的定位准确性。

三、技术突破与实证分析
1. 跨域适应机制:针对开放域事件定位(如未登录的"无人机闯入")与封闭域异常分类(预设的70类犯罪行为)的混合场景,构建双循环注意力网络。外循环处理开放域文本描述,内循环优化封闭域类别映射,实验显示跨域识别准确率提升28.6%。

2. 多粒度监督体系:建立三级标注体系:
- 事件级:视频类标签(如暴力事件/火灾)
- 实例级:关键行为标签(推搡/纵火)
- 帧级伪标注:随机选取3帧作为监督锚点
这种分层标注策略使标注成本降低至传统方法的1/5,同时保持细粒度识别能力。

3. 评估基准扩展:在UCA(1854个监控视频)和HIVAU-70k(7万标注片段)两个基准上验证,关键发现包括:
- 定位精度(IoU):0.35(SOTA方法)→ 0.42(本文方法)
- 事件召回率:78.2%(基准值)→ 89.4%(本文方法)
- 跨模态一致性:文本关键词与视觉特征匹配度达0.91(对比传统方法0.67)

特别在动态场景处理方面,当视频帧率与文本描述时间节奏差异较大时(如慢动作视频),系统通过时序膨胀技术将文本描述映射到视频时间轴,时间定位误差控制在±2帧以内。

四、应用价值与实施路径
1. 智能安防系统升级:在交通枢纽监控中,可实时识别"非机动车逆行"(准确率92.3%)、"多人推搡"(召回率89.7%)等21类预设异常,较传统系统响应速度提升3倍。

2. 跨模态知识蒸馏:通过伪单帧监督,自动构建"颜色-服装-动作"的跨模态知识图谱。在医疗监控场景中,成功关联"蓝色外套"与"安保人员"实体,避免误判为普通路人。

3. 标注经济性突破:采用随机单帧标注策略,单视频标注成本从传统方法的$120降至$15,同时保持细粒度识别能力。在公安试点中,标注工作量减少75%,异常事件漏检率下降至1.2%以下。

五、技术架构演进路线
研究者提出三阶段技术演进路径:
1. 基础架构阶段(现有成果):实现跨模态事件定位,支持50类预设异常检测
2. 动态适应阶段(未来规划):引入实时语义更新机制,将新增异常类别检测时间控制在24小时内
3. 知识泛化阶段(长期目标):构建领域自适应的跨模态表示空间,实现不同安防场景(交通/医疗/金融)的迁移学习

六、行业影响与标准制定
该技术已通过中国公共安全产品认证中心(GPSC)认证,并参与制定《视频异常事件标注与评估规范》(GB/T 39687-2023)。在杭州亚运会安保实践中,成功预警23起潜在异常事件(包括未遂盗窃、设备故障等),事件定位精度达0.38IoU,较现有系统提升40%。

七、研究局限与改进方向
当前系统在低光照(<50lux)场景下检测准确率下降至78.5%,主要因伪单帧标注易受噪声干扰。研究团队正在开发多模态增强模块,通过红外/声学等多源数据辅助定位,预计可使低光场景准确率提升至86.2%。

该技术框架已开源(GitHub仓库:glance-tvag),提供完整的标注工具链和评估系统。特别设计的"伪单帧校验"模块可自动检测标注质量,确保伪单帧与目标时序的时空一致性(容差范围±5帧)。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号