《Neurocomputing》:A Multimodal Framework for Violent Behavior Recognition in Surveillance Videos
编辑推荐:
暴力行为识别框架融合视觉、听觉与语义模态,采用分层融合策略和Transformer时序编码器,结合对比学习优化起点对齐,提升实时检测与噪声鲁棒性,实验验证在多指标上达到最优性能。
张志勇(Chih-Yung Chang)| 张秀智(Syu-Jhih Jhang)| 陈宇婷(Yu-Ting Chin)| 张一雄(I-Hsiung Chang)| 迪普滕杜·辛哈·罗伊(Diptendu Sinha Roy)
台湾新北市25137,淡江大学计算机科学与信息工程系
摘要
本研究提出了一个多模态暴力行为识别框架,该框架整合了视觉、听觉和语义模态,以实现监控视频中攻击性事件的准确检测和时间定位。所提出的系统采用了一种分层融合策略,其中特定模态的编码器从视频帧、音频信号和基于Bootstrapped Language-Image Pretraining(BLIP)的语义字幕中提取互补的表示。基于Transformer的时间编码器将这些嵌入聚合为连贯的时间模式,而双头预测模块同时执行二元暴力检测和多类行为分类。为了明确捕捉暴力行为前的过渡动态,引入了一个额外的孪生网络分支。该分支优化了一个基于边界的余弦对比目标函数,强制在边界附近的嵌入之间保持相似性,在时间上相隔较远的段落之间保持差异性。整体优化在统一的目标函数下结合了检测、分类和孪生网络损失,从而实现了高时间精度和稳定的起始对齐。在XD-Violence和UCF-Crime数据集上进行的广泛实验表明,所提出的框架在多个评估指标上表现出了竞争力,包括帧级F1分数、平均精度(mAP)和起始检测延迟(ODL),同时通过基于注意力的时间可视化保持了可解释性。
引言
暴力行为和异常行为,如纵火、骚乱、抢劫、身体攻击和交通事故,对公共安全构成了重大威胁。传统的巡逻和监控策略往往不够充分,因为旁观者的及时报告很少见,而且犯罪者经常在当局到达之前逃离。随着监控摄像头的迅速普及和人工智能(AI)的进步,自动识别异常事件已成为智慧城市安全管理中的迫切需求。
最近关于异常检测的研究使用基于视觉的方法取得了有希望的结果。例如,提出了一个基于注意力的残差自动编码器,以增强对关键异常帧的检测,在多个基准测试中表现出强大的性能[1]。然而,纯图像模型通常依赖于滑动窗口框架来反复分析帧段,导致检测延迟和高计算成本[2]、[7]、[8]、[9]。为了提高效率,引入了一类分类方法,这些方法描述了正常行为的统计分布,并将异常值视为异常[3]、[4]、[5]。尽管计算上较为轻量,但这些方法在现实世界监控中的多样化异常场景中难以泛化。
多模态识别的引入通过结合音频和文本模态进一步丰富了异常检测。研究表明,将音频-视觉特征与语音转文本字幕结合起来可以提高检测精度[10]、[11]、[12]。然而,这些方法大多只是简单地将特定模态的向量连接起来,忽略了模态之间的时空依赖性。因此,关键的跨模态信息丢失了,模型在复杂环境中的鲁棒性降低。此外,街道监控录像通常存在音频质量差和背景噪声大的问题,降低了语音转文本转换的有效性,削弱了文本模态的贡献[6]、[13]。
总之,由AI驱动的异常行为识别系统面临三个主要挑战:
1.异常行为起始检测延迟。
基于滑动窗口的框架引入了重复计算,阻碍了及时响应[1]、[2]、[7]、[8]、[9]。
2.低质量的音频记录。
街道监控中的环境噪声妨碍了可靠的语音转文本转换,降低了多模态性能[6]、[13]。
3.多模态融合效率低下。
简单的特征连接忽略了跨模态的时空依赖性,导致信息丢失[10]、[11]、[12]。
这些限制不仅阻碍了技术可扩展性,还降低了公共安全应用中的可信度,因为延迟或不准确的识别可能导致事件遗漏或干预无效。此外,尽管现有方法在受控基准测试中表现出了竞争力,但它们对滑动窗口、手工制作的融合或对噪声敏感的音频管道的依赖性削弱了它们在现实世界大规模监控系统中的可扩展性。这些差距凸显了迫切需要一个更强大的框架,能够同时实现低延迟检测、抗噪声特征集成和细粒度多模态融合。为了克服这些缺点,本研究提出了一个整合视觉、音频和语义模态的多模态暴力行为识别框架。本工作的主要贡献总结如下:
1.多模态融合架构。
设计了一个统一的框架,通过同步编码器和基于Transformer的时间融合模块来整合视觉、听觉和语义模态,从而在复杂的监控场景中实现上下文感知的暴力行为识别。
2.基于BLIP的语义嵌入。
基于Bootstrapped Language-Image Pretraining(BLIP)的语义字幕模块生成全局文本表示,补充了低级多模态特征,并在时间建模过程中增强了语义基础。
3.通过对比对齐实现时间精度。
采用基于余弦的对比目标函数来保持起始前后的嵌入之间的时间一致性,提高了暴力行为起始检测的精度。
4.全面评估和可解释性。
在多个公共数据集上进行的广泛实验表明,该框架在检测和分类精度、对噪声和模态不平衡的鲁棒性以及清晰的时间激活模式方面表现出竞争力,提供了对模型决策行为的洞察。
本文的其余部分组织如下。第二节回顾了异常检测和多模态行为识别的相关工作。第三节介绍了所提出架构的背景知识。第四节详细介绍了系统设计,包括起始检测和细粒度分类模块。第五节介绍了实验设置和在基准数据集上的性能分析。第六节总结了研究并讨论了潜在的未来工作。
相关工作
相关工作
本章介绍了相关工作的两个主要方面:视频中的异常起始检测和行为识别方法。第一部分回顾了基于机器学习和深度学习的方法,用于检测异常事件的起始点。第二部分讨论了单模态和多模态框架在处理复杂暴力场景时的优势和局限性。然后提供了一个比较总结,以突出
假设和问题表述
本研究专注于通过多模态学习框架自动识别视频监控数据中的暴力行为。系统处理包含同步视觉和音频流的输入视频片段,旨在实现两个关键目标:首先,检测给定视频片段中是否存在霸凌行为;其次,如果检测到霸凌行为,则对其类型进行分类。问题的正式定义包括输入的规范
提出的多模态暴力识别系统
所提出的多模态霸凌识别系统旨在通过整合视觉、音频和语义信息来检测霸凌行为的存在并对其进行分类。该系统采用了一个包含五个主要阶段的顺序处理流程:(1)4.1 多模态输入预处理和语义字幕生成,(2)特定模态特征提取,(3)多模态融合和时间建模,(4)输出头和损失函数设计,以及(5)
性能评估
所提出的多模态暴力行为识别框架的性能根据多个标准进行了评估,重点关注检测精度、跨模态的鲁棒性和对现实世界监控环境的适用性。进行了一系列全面的实验,以验证第四节中介绍的每个架构组件、训练策略和语义融合机制的有效性。结果在受控条件和
结论
本文提出了一个用于监控视频中暴力行为识别的强大且可解释的多模态框架。通过基于Transformer的架构整合视觉、音频和语义模态,该系统实现了高检测精度、低起始延迟以及对环境干扰(如噪声、遮挡和类别不平衡)的强鲁棒性。一个具有语义意识的字幕模块丰富了上下文理解,而孪生网络起始检测器
未引用的参考文献
[14]、[15]、[16]、[17]、[18]
CRediT作者贡献声明
迪普滕杜·辛哈·罗伊(Diptendu Sinha Roy):可视化、监督、软件。
陈宇婷(Yu-Ting Chin):可视化、验证。
张一雄(I-Hsiung Chang):形式分析、数据管理。
张志勇(Chih-Yung Chang):资源管理、项目管理、调查、形式分析。
张秀智(Syu-Jhih Jhang):写作——审稿与编辑、初稿撰写、验证、监督、项目管理、方法论、数据管理、概念化。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
张志勇于1995年从台湾中立的国立中央大学获得了计算机科学与信息工程博士学位。他目前是台湾台北淡江大学计算机科学与信息工程系的正教授。他的当前研究兴趣包括物联网、无线传感器网络、临时无线网络和长期演进宽带技术。他曾担任