基于对抗性自编码器上学习先验分布的强大枪械检测方法

《Expert Systems with Applications》:Robust Firearm Detection Based on Learning Prior Distributions on Adversarial Autoencoders

【字体: 大 中 小 】 时间:2025年12月30日 来源:Expert Systems with Applications 7.5

编辑推荐:

  检测视频监控中的异常行为,特别是枪支存在,传统方法依赖人工监督效率低且易出错。本文提出基于对抗自编码器(AAE)的无监督火枪检测框架,结合人体骨骼动作识别与重构误差计算异常分数,在VISILAB、UCF-Firearm等数据集上平均精度达95.6%,优于现有方法。

  
哈宾德·辛格(Harbinder Singh)|奥斯卡·德尼兹(Oscar Deniz)|胡安·D·穆尼奥斯(Juan D. Mu?oz)|赫苏斯·鲁伊斯-桑塔基特里亚(Jesus Ruiz-Santaquiteria)|雨果·阿尔班迪亚·梅里诺(Hugo Albandea Merino)|格洛丽亚·布埃诺(Gloria Bueno)
组织:VISILAB,卡斯蒂利亚-拉曼查大学(Universidad de Castilla-La Mancha),城市:雷阿尔城(Ciudad Real),邮政编码:13071,国家:西班牙

摘要

在视频监控中检测异常行为,尤其是火器异常,仍然是公共安全系统中的一个关键挑战。传统方法通常依赖于人工操作员手动监控监控视频流,这既效率低下又容易出错。深度学习(DL)的最新进展提供了一种有前景的替代方案,使模型能够在训练过程中无需依赖罕见且难以获得的正样本来识别异常事件。在本文中,我们提出了一种基于对抗性自编码器(AAE)网络的无监督火器检测框架。通过学习正常(负样本)训练数据的稳健表示,该模型能够在推理过程中识别出与火器相关的异常行为。火器检测的异常分数是通过重建误差计算的,这些误差基于测试样本与先验分布对齐的概率。我们的方法提高了火器相关异常检测(AD)的可解释性,并在基准火器数据集上展示了卓越的性能。实验结果表明,所提出的方法通过有效识别视频帧中的异常样本(OOD),超越了当前的最先进技术,这得益于AAE架构中学习到的先验知识。在包括VISILAB、UCF-Firearm和YouTube在内的基准火器数据集上的实验结果表明,我们的火器检测方法的平均精确度(AP)为95.2%,平均检测准确率(ACC)为95.6%。

引言

大规模枪击事件继续对公共健康和安全构成重大威胁,正如枪支暴力档案(GVA)2025年的调查所强调的那样,这突显了采取科学和系统化预防方法的必要性(NYT 2018)。在公共场所广泛安装了大量闭路电视(CCTV)摄像头,以监测固定位置的人类典型行为和视觉特征;然而,持续的人工监控是不切实际的(Adam, Rivlin, Shimshoni, & Reinitz 2008)。因此,视频片段大多在事件发生后用于调查目的,而不是用于实时警报。此外,手动搜索存储的视频流以寻找异常事件既缓慢又容易出错。最近,使用深度学习(DL)的自动化视频分析在实时和事件后检测方面受到了关注,帮助单个操作员高效地监控多个摄像头(Rao, Kainth, Bhattacharya, & Amgoth 2024)。
在监控系统中,准确识别视频中的火器对于确保高风险场景(如拥挤区域和抢劫事件)的公共安全至关重要(Darker, Gale, Ward, & Blechko 2007)。在现实世界环境中部署DL模型来检测火器等威胁不仅需要高性能,还需要特别强调安全性和可靠性。由于以威胁姿势展示的火器通常是禁止的,并且代表了新颖或不常见的实例,因此可以将火器检测视为异常检测(AD)问题。AD问题已在各种术语和用例下得到了广泛研究,特别是用于识别数据中的意外模式和趋势(Goldstein, Uchida, & Seiichi 2016)。
AD旨在识别结构化数据中的偏差或异常值(Chandola, Banerjee, & Kumar 2009)。一个密切相关任务是新颖性检测,它专注于发现以前未见或罕见的实例,并揭示数据中的新或未观察到的模式(Chalapathy & Chawla 2019)。AD中使用的技术通常也适用于新颖性检测,反之亦然,因为这两种任务具有相似的原理。AD是多个领域中的关键挑战,包括欺诈检测(Abdallah, Maarof, & Zainal 2016)、医学诊断(Schlegl, Seeb?ck, Waldstein, Langs, & Schmidt-Erfurth 2019)以及监控视频中的异常事件识别(Sultani, Chen, & Shah 2018)。在传统的机器学习方法中,最广泛使用的无监督方法之一是支持向量机(SVM)(Sch?lkopf, Williamson, Smola, Shawe-Taylor, & Platt 1999)。这种技术属于一类分类(OCC)的范畴,当异常样本不可用、稀缺或定义不明确时特别有效。在OCC框架中,异常类代表新颖实例,而正常类在训练数据中得到了很好的表示(Ruff et al. 2018)。
在图像数据等高维领域,原始特征空间中的传统距离度量通常变得无效,需要将其转换为更有意义的表示空间。像自编码器(AE)这样的DL架构(Vincent et al. 2010)在学习紧凑的潜在表示和从这些隐藏编码中重建原始输入方面表现出强大的能力。近年来,基于AE重建误差的AD方法(Chen, Yeo, Lee, & Lau 2018)得到了广泛探索,特别是在视频AD场景中(Nayak, Pati, & Das 2021)。然而,AE对异常样本产生的重建损失高于正常样本的假设越来越受到质疑(Bouman & Heskes 2025)。为了解决标准AE中的非结构化潜在空间等限制并提高视频AD的性能(Fan et al. 2020),变分自编码器(VAE)作为一种有前景的替代方案出现。VAE通过将编码与先验分布对齐来强制一个结构化的潜在空间,并在整个潜在空间提供生成能力(Kingma & Welling 2019)。最近的工作引入了一种基于VAE的AD数据驱动方法,称为VAE-SIMCA(Petersen & Kucheryavskiy 2025)。在这种方法中,分类是通过计算原始图像和重建图像之间的距离的线性组合来执行的。这些距离使用缩放的卡方分布进行建模,并通过在该分布的指定概率水平上应用理论分位数函数来确定决策边界。
为了进一步利用生成模型的能力,对抗性自编码器(AAE)(Makhzani, Shlens, Jaitly, Goodfellow, & Frey 2016)利用对抗性训练将潜在表示与预定义的先验分布对齐,从而促进更结构化和规范化的潜在空间。最近,使用AAE的无监督AD受到了广泛关注,特别是在区分图像数据中的正常和异常实例方面(Beggel, Pfeiffer, & Bischl 2020)。
通过分析轮廓的骨架来识别武装抢劫等人类活动在文献中已被广泛研究(Collins, Gross, & Shi 2002)。例如,一项研究(Dever, da Vitoria Lobo, & Shah 2002)检查了人体轮廓,并将它们与基于身体形状和步态的预定义活动模型进行比较,以检测特定行为。对于有效的监控系统,可以将潜在的视觉枪特征与动作识别技术结合起来,以提高基于DL的监控框架的性能(Ruiz-Santaquiteria, Mu?oz, Maigler, Deniz, & Bueno 2024)。
在这项工作中,我们提供了关于将AAE与动作识别相结合的可靠性的新见解,使用BlazePose(Bazarevsky et al. 2020)进行火器检测。据我们所知,这是第一项提出基于DL的方法,该方法利用对抗性训练来学习先验分布,以检测监控视频帧中的火器作为异常对象。总之,本文做出了以下关键贡献:
  • •
    一种结合AAE和基于身体关键点分析的动作识别的新方法,用于监控视频中的火器检测,将生成建模与从视频帧中提取的骨架线索相结合。
  • •
    对AAE进行深入评估,以检测火器,突出其在学习区分正常和异常视觉枪模式的结构化潜在空间方面的潜力和局限性。
  • •
    我们提出了一种新的异常分数指标,该指标源自一个统一的特征向量,它结合了视觉枪特征和动作识别线索,利用重建误差的分布来实现有效的火器检测。
  • 本手稿的其余部分组织如下:第2节回顾了火器检测的相关工作。第3节描述了所提出的方法。第4节概述了实验设置,展示了结果,并包括了一个消融研究。最后,第5节总结了我们的发现并总结了这项研究。

    相关工作

    相关工作

    在计算机视觉中,检测和定位火器是一个复杂的问题。在过去几年中,已经引入了许多火器检测方法。本节回顾了最近的火器检测方法,这些方法通常分为三类:隐蔽火器检测、可见枪器检测和基于人体骨骼结构的火器检测。

    提出的方法

    在本节中,我们提出了一种基于先验学习的AAE火器检测方法。为了将标准VAE适应于异常检测任务,我们引入了两个关键修改:(1)多变量各向同性高斯异常先验的假设;(2)将自对抗机制集成到传统的VAE框架中。所提出的方法包括三个主要组成部分:编码器网络(E)、解码器(DC)和判别器(D)。

    性能评估与分析

    在本节中,我们将提出的方法应用于三个公开可用的数据集:VISILAB(Ruiz-Santaquiteria et al. 2024)、YouTube Video(Grega, Matiolański, Guzik, & Leszczuk 2016)和UCF(Sultani et al. 2018)。我们使用几种定量指标评估性能,并将结果与其他最先进算法的结果进行比较。此外,我们还分析了我们两种火器检测模型中关键参数设置的影响。实验的详细描述

    结论

    本文介绍了两种基于早期融合和晚期融合策略的火器检测方法。在早期融合方法中,与射击姿势相关的人体标志点和手部区域被组合成一个统一的特征向量,然后进行对抗性训练。在推理阶段,预训练的AAE生成潜在表示,然后应用基于重建误差的技术从融合特征计算异常分数。
    相比之下,晚期融合方法

    CRediT作者贡献声明

    哈宾德·辛格(Harbinder Singh):概念化、软件、方法论、写作——初稿。奥斯卡·德尼兹(Oscar Deniz):验证、调查、形式分析、写作——审阅与编辑、监督。胡安·D·穆尼奥斯(Juan D. Mu?oz):数据整理、形式分析。赫苏斯·鲁伊斯-桑塔基特里亚(Jesus Ruiz-Santaquiteria):数据整理、形式分析。雨果·阿尔班迪亚·梅里诺(Hugo Albandea Merino):数据整理、验证。格洛丽亚·布埃诺(Gloria Bueno):资金获取、资源协调、监督、验证。

    利益冲突声明

    作者声明他们没有已知的财务利益或个人关系可能会影响本文报告的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号