基于度量意识的弱监督视频异常检测方法,该方法结合了软一致性学习(soft consistency learning)和规则注意力模糊神经网络(rule attention fuzzy neural network)的辅助机制

《Computer Vision and Image Understanding》:Degree-aware weakly supervised video anomaly detection with soft consistency learning and rule attention fuzzy neural network assistance

【字体: 大 中 小 】 时间:2026年03月27日 来源:Computer Vision and Image Understanding 3.5

编辑推荐:

  弱监督视频异常检测中提出软一致性学习与模糊神经网络辅助框架,通过对称边距约束和规则注意力机制优化,有效降低误报率并保持高检测精度。

  
Bouha Zhang|Gengxin Li
西安交通大学人工智能与机器人研究所,中国陕西省西安安宁西路28号,710049

摘要

弱监督视频异常检测依赖于视频级别的标签来推断片段级别的异常分数,但由于基于最大值的多实例学习,通常会遇到学习到的异常模式的不确定性问题。现有方法通过使用硬分配自监督来显式优化所有片段,这种方法忽略了异常程度,并且经常将同时出现的正常模式也视为异常,从而导致误报率升高。为了解决这个问题,我们提出了一种基于软分配的自监督框架,称为“带模糊神经网络辅助的软一致性学习”(Soft Consistency Learning with Fuzzy Neural Network Assistance,简称SFA),旨在保留异常程度以用于预测。具体来说,我们引入了一种软一致性损失(Soft Consistency Loss,简称SCL),该损失利用片段之间的成对相似性,并在决策边界附近的对称范围内约束预测,从而避免硬分配。此外,还设计了一个辅助的规则注意力模糊神经网络(Rule-Attention Fuzzy Neural Network,简称RAFNN),通过模糊规则对多个同时出现的潜在模式进行建模,并自适应地融合它们以生成考虑异常程度的自监督信号。在UCF-Crime、ShanghaiTech和XD-Violence数据集上的实验表明,所提出的方法在提高异常检测性能的同时,降低了误报率。

引言

视频异常检测(Video Anomaly Detection,简称VAD)旨在识别视频中的异常事件,在智能监控系统中发挥着重要作用。早期的方法侧重于仅使用正常数据学习正常模式,并将异常检测为与学习到的正常模式的偏差,假设异常事件很少见且视觉上具有明显特征(Hasan等人,2016年;Vu等人,2019年;Tang等人,2020年;Zaheer等人,2022年;Deng等人,2023年)。在现实世界的监控环境中,很难实现对正常行为的全面覆盖。因此,未见过或依赖于上下文的正常模式经常被错误地分类为异常,这限制了实际应用的鲁棒性(Ramachandra等人,2020年;Jiang等人,2023年)。准确的异常检测理想情况下需要精确的时间和空间注释。然而,这种细粒度的标注工作量大且难以扩展。为了提高在不同场景下的适用性并增强异常模式识别的鲁棒性,最近的研究引入了粗粒度的视频级监督,即弱监督视频异常检测(Weakly Supervised Video Anomaly Detection,简称WSVAD)(Sultani等人,2018年;Zhang和Xue,2023年;Park等人,2023年;Majhi等人,2024年)。在WSVAD中,如果视频包含任何异常片段,则该视频被标记为异常,否则被视为正常。这种设置为监控应用提供了一种实用且可扩展的学习范式。
WSVAD的一个固有问题是由于多实例学习(Multiple Instance Learning,简称MIL)通过基于最大值的评分将视频级别标签与片段级别预测对齐而导致的学习到的异常模式的不确定性(Arnab等人,2020年)。在这种形式下,学习到的异常模式主要由每个训练批次中最具区分性的模式决定,而不是由视频级别标签指示的真实异常事件决定。因此,与具有相似特征的异常同时出现的正常内容可能会被错误地强调为异常,或者异常中的某些模式可能会被过度强调。进一步分析(Lv等人,2023年)表明,在训练过程中被强调为异常的线索会发生变化,这不仅影响最大值评分片段的选取和潜在异常模式,还会影响其余片段,从而导致整个数据集的评分变化。因此,一种有效的策略是在所有片段中引入有针对性的优化,特别关注那些在训练过程中表现出显著评分波动的片段,从而约束异常模式保持稳定并减少MIL引起的不确定性。
早期尝试(Lv等人,2023年)为了减轻WSVAD中的不确定性,引入了避免直接依赖具有不确定性的最大值评分片段的自我监督训练策略。它根据特征相似性分配成对的自监督信号,并进一步强调对评分波动较大的片段的优化。然而,他们设计中采用的硬分配自监督会导致预测趋向于二元的极端决策边界,这忽略了监控视频的一个固有特征。在实践中,正常事件可能与异常同时出现在同一个场景中,例如在打斗片段中的人群拥挤,尽管有视频级别的标签,异常事件并不总是视觉上占主导地位。当这些同时出现的片段的预测被过度推向极端边界时,与异常共享上下文线索的正常模式可能会被吸收进异常表示中,从而导致误报率升高。这种限制会通过增加人工验证成本和削弱对系统的信任来严重阻碍系统的长期部署(Ko等人,2022年;Tao等人,2024年)。这种硬分配框架提出了一个关键挑战,即如何保留同时出现的片段中的异常程度。
为了解决这一挑战,我们采用了一个软分配框架来利用自监督。除了MIL评分分支之外,该框架还利用成对相似性并在决策边界附近对其进行优化,以产生考虑异常程度的自监督信号。这减轻了同时出现的正常模式被过度学习为异常的倾向。基于这一原则,我们提出了“带模糊神经网络辅助的软一致性学习”(SFA),它包括两个关键组成部分,即软一致性损失(SCL)和规则注意力模糊神经网络(RAFNN),以及针对评分分支的定制组件。SCL和RAFNN分别从客观优化和自监督信号构建的角度支持考虑异常程度的自监督。
第一个组成部分SCL从客观优化的角度支持考虑异常程度的自监督。具体来说,SCL引入了两个成对的软一致性约束,通过片段之间的成对相似性提供自监督信号,而不是直接从基于最大值的MIL继承。在根据特征相似性构建成对簇一致性并使用基于聚类的自监督信号指导成对异常分数一致性时,鼓励预测向决策边界移动并落在边界附近的对称范围内,而不达到二元的极端值。因此,聚类和评分输出不再严格受限于硬类别分配或极端的异常分数,允许它们反映不同的异常程度,同时提高区分能力。这种设计防止模型过度学习同时出现的片段中的所有线索,从而减少将同时出现的正常模式错误分类为异常所引起的误报。
第二个组成部分RAFNN从自监督信号构建的角度支持考虑异常程度的自监督。作为一个辅助分支,RAFNN专门用于生成基于聚类的表示和自监督信号,这些信号独立于用于异常预测的基于最大值的评分分支进行优化。模糊神经网络的一个关键特性是能够通过模糊规则使用多个潜在模式来表示单个样本,这非常适合于经常同时存在多个事件模式的视频片段。片段级别的输出是通过这些模式的加权融合获得的,使得这种形式与考虑异常程度的优化目标兼容。类似的方法,即显式建模超出单个训练批次的全局潜在模式的方法,在WSVAD中被证明是有效的,例如基于记忆的方法(Zhou等人,2023年)。遵循这一设计理念,RAFNN进一步结合了规则注意力机制,以在融合过程中自适应地调节不同潜在模式的贡献,从而增强自监督的考虑异常程度的特性。
在三个基准数据集UCF-Crime(Sultani等人,2018年)、ShanghaiTech(Liu等人,2018年)和XD-Violence(Wu等人,2020年)上的广泛实验表明,所提出的SFA框架在显著降低误报率的同时,实现了具有竞争力的异常检测精度。具体来说,SFA在UCF-Crime上的AUC得分为86.83%,在ShanghaiTech上为97.81%,在XD-Violence上为83.07%,始终优于之前的最先进方法。更重要的是,SFA在这三个基准数据集上的误报率分别仅为0.29%、0.04%和0.45%,凸显了其在严格误报约束下的鲁棒性。这种在精度和可靠性之间的出色平衡强调了SFA在实际部署场景中的实用性,其中对误报的容忍度有限。除了这些基准结果外,我们还进行了广泛的消融研究、参数分析和定性可视化,以全面验证所提出框架的有效性。
本工作的主要贡献总结如下:
  • 1.
    我们强调了在使用自监督进行WSVAD时保留异常程度的必要性。基于这一原则,我们进一步开发了一个考虑异常程度的软分配框架。
  • 2.
    开发了一种软一致性学习方法来保留异常程度。它鼓励预测向决策边界移动,同时保持在对称范围内,而不是被迫达到极端值。
  • 3.
    开发了一种基于规则注意力的模糊神经网络来构建考虑异常程度的自监督信号。它将每个片段表示为多个模糊规则的加权组合,通过加权融合多个潜在模式来实现考虑异常程度的输出。
  • 4.
    在三个基准数据集上的广泛实验表明,所提出的方法在显著降低误报率的同时,实现了具有竞争力的检测精度。
本文的其余部分组织如下:第2节回顾相关工作,第3节介绍所提出的方法,第4节报告实验结果,第5节总结本文。

相关工作

WSVAD中的误报

已在几项现有研究中进行了研究,主要是通过在训练期间提高片段级别的区分能力。具体来说,PEL(Pu等人,2024年)通过将提示集成到I3D特征中来整合视觉和文本信息,以改善正常样本的表示。DMU(Zhou等人,2023年)采用双记忆单元和注意力机制来显式融合视频片段中的多个模式。ST-HTAM(Paulraj和Vairavasundaram,2025年)利用

整体框架

所提出框架的总体架构称为“带规则注意力模糊神经网络的软一致性学习”(Soft Consistency Learning with Rule-Attention Fuzzy Neural Network,简称SFA),如图1所示。该框架由三个主要组成部分构成:主干网络、提出的组件和定制组件,具体描述如下。
WSVAD和主干网络在弱监督视频异常检测(WSVAD)中,每个训练视频都有一个视频级别标签y∈{0,1}0,0表示正常,1表示异常

数据集

所提出的方法解决了弱监督视频异常检测(WSVAD)中减少误报的挑战。为了评估这个问题,我们采用了三个大规模的基准数据集:UCF-Crime(Sultani等人,2018年)、ShanghaiTech(Liu等人,2018年)和XD-Violence(Wu等人,2020年),这些数据集都包含具有稀疏异常的长视频。
UCF-Crime包含1900个未修剪的视频,总时长为128小时,涵盖了街道、校园和商场等公共场景。

结论

在这项工作中,我们揭示了在利用自监督来减轻WSVAD中的不确定性时保留异常程度的重要性。现有方法通常依赖于硬分配进行监督,这会移除同时出现的片段中的异常程度信息,并倾向于将正常模式过度优化为异常。为了解决这个问题,我们提出了一个基于软分配的考虑异常程度的框架。所提出的软一致性学习将异常预测限制在一定的范围内

CRediT作者贡献声明

Bouha Zhang:撰写——原始草稿,可视化,监督,方法论,形式分析。Gengxin Li:撰写——审阅与编辑,软件,数据整理。

未引用的参考文献

Doshi和Yilmaz(2021年),Hu等人(2018年),Kathareios等人(2017年),Laine和Aila(2016年),Lu等人(2024年),Om和Kundu(2012年),Radon等人(2015年),Sohn等人(2020年),Yu等人(2025年),Zhang和Xue(2024年)

利益冲突声明

作者声明他们没有已知的可能会影响本文报告工作的竞争性财务利益或个人关系。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号