大规模枪击事件继续对公共健康和安全构成重大威胁,正如枪支暴力档案(GVA)2025年的调查所强调的那样,这突显了采取科学和系统化预防方法的必要性(NYT 2018)。在公共场所广泛安装了大量闭路电视(CCTV)摄像头,以监测固定位置的人类典型行为和视觉特征;然而,持续的人工监控是不切实际的(Adam, Rivlin, Shimshoni, & Reinitz 2008)。因此,视频片段大多在事件发生后用于调查目的,而不是用于实时警报。此外,手动搜索存储的视频流以寻找异常事件既缓慢又容易出错。最近,使用深度学习(DL)的自动化视频分析在实时和事件后检测方面受到了关注,帮助单个操作员高效地监控多个摄像头(Rao, Kainth, Bhattacharya, & Amgoth 2024)。
在监控系统中,准确识别视频中的火器对于确保高风险场景(如拥挤区域和抢劫事件)的公共安全至关重要(Darker, Gale, Ward, & Blechko 2007)。在现实世界环境中部署DL模型来检测火器等威胁不仅需要高性能,还需要特别强调安全性和可靠性。由于以威胁姿势展示的火器通常是禁止的,并且代表了新颖或不常见的实例,因此可以将火器检测视为异常检测(AD)问题。AD问题已在各种术语和用例下得到了广泛研究,特别是用于识别数据中的意外模式和趋势(Goldstein, Uchida, & Seiichi 2016)。
AD旨在识别结构化数据中的偏差或异常值(Chandola, Banerjee, & Kumar 2009)。一个密切相关任务是新颖性检测,它专注于发现以前未见或罕见的实例,并揭示数据中的新或未观察到的模式(Chalapathy & Chawla 2019)。AD中使用的技术通常也适用于新颖性检测,反之亦然,因为这两种任务具有相似的原理。AD是多个领域中的关键挑战,包括欺诈检测(Abdallah, Maarof, & Zainal 2016)、医学诊断(Schlegl, Seeb?ck, Waldstein, Langs, & Schmidt-Erfurth 2019)以及监控视频中的异常事件识别(Sultani, Chen, & Shah 2018)。在传统的机器学习方法中,最广泛使用的无监督方法之一是支持向量机(SVM)(Sch?lkopf, Williamson, Smola, Shawe-Taylor, & Platt 1999)。这种技术属于一类分类(OCC)的范畴,当异常样本不可用、稀缺或定义不明确时特别有效。在OCC框架中,异常类代表新颖实例,而正常类在训练数据中得到了很好的表示(Ruff et al. 2018)。
在图像数据等高维领域,原始特征空间中的传统距离度量通常变得无效,需要将其转换为更有意义的表示空间。像自编码器(AE)这样的DL架构(Vincent et al. 2010)在学习紧凑的潜在表示和从这些隐藏编码中重建原始输入方面表现出强大的能力。近年来,基于AE重建误差的AD方法(Chen, Yeo, Lee, & Lau 2018)得到了广泛探索,特别是在视频AD场景中(Nayak, Pati, & Das 2021)。然而,AE对异常样本产生的重建损失高于正常样本的假设越来越受到质疑(Bouman & Heskes 2025)。为了解决标准AE中的非结构化潜在空间等限制并提高视频AD的性能(Fan et al. 2020),变分自编码器(VAE)作为一种有前景的替代方案出现。VAE通过将编码与先验分布对齐来强制一个结构化的潜在空间,并在整个潜在空间提供生成能力(Kingma & Welling 2019)。最近的工作引入了一种基于VAE的AD数据驱动方法,称为VAE-SIMCA(Petersen & Kucheryavskiy 2025)。在这种方法中,分类是通过计算原始图像和重建图像之间的距离的线性组合来执行的。这些距离使用缩放的卡方分布进行建模,并通过在该分布的指定概率水平上应用理论分位数函数来确定决策边界。
为了进一步利用生成模型的能力,对抗性自编码器(AAE)(Makhzani, Shlens, Jaitly, Goodfellow, & Frey 2016)利用对抗性训练将潜在表示与预定义的先验分布对齐,从而促进更结构化和规范化的潜在空间。最近,使用AAE的无监督AD受到了广泛关注,特别是在区分图像数据中的正常和异常实例方面(Beggel, Pfeiffer, & Bischl 2020)。
通过分析轮廓的骨架来识别武装抢劫等人类活动在文献中已被广泛研究(Collins, Gross, & Shi 2002)。例如,一项研究(Dever, da Vitoria Lobo, & Shah 2002)检查了人体轮廓,并将它们与基于身体形状和步态的预定义活动模型进行比较,以检测特定行为。对于有效的监控系统,可以将潜在的视觉枪特征与动作识别技术结合起来,以提高基于DL的监控框架的性能(Ruiz-Santaquiteria, Mu?oz, Maigler, Deniz, & Bueno 2024)。
在这项工作中,我们提供了关于将AAE与动作识别相结合的可靠性的新见解,使用BlazePose(Bazarevsky et al. 2020)进行火器检测。据我们所知,这是第一项提出基于DL的方法,该方法利用对抗性训练来学习先验分布,以检测监控视频帧中的火器作为异常对象。总之,本文做出了以下关键贡献:
•一种结合AAE和基于身体关键点分析的动作识别的新方法,用于监控视频中的火器检测,将生成建模与从视频帧中提取的骨架线索相结合。
•对AAE进行深入评估,以检测火器,突出其在学习区分正常和异常视觉枪模式的结构化潜在空间方面的潜力和局限性。
•我们提出了一种新的异常分数指标,该指标源自一个统一的特征向量,它结合了视觉枪特征和动作识别线索,利用重建误差的分布来实现有效的火器检测。
本手稿的其余部分组织如下:第2节回顾了火器检测的相关工作。第3节描述了所提出的方法。第4节概述了实验设置,展示了结果,并包括了一个消融研究。最后,第5节总结了我们的发现并总结了这项研究。