《Digital Signal Processing》:A Dual Track YOLO-based Network with Multi-Scale Feature Fusion for Fire and Smoke Detection
编辑推荐:
火和烟雾检测存在传统传感器延迟、误报率高、覆盖范围有限等问题。本文提出双轨CNN-Swin Transformer架构,通过CNN提取低层空间特征,Swin Transformer捕获全局上下文关系,结合SPPF块增强多尺度表征,ECA注意力优化通道特征,BiFPN网络实现多尺度特征融合。实验表明在DFire、DFS和Indoor Fire datasets上mAP达79.8%-91.8%,有效提升检测精度。
Nikhil S. Shinde | Tejas Sharma | Karthik R
印度金奈Vellore理工学院计算机科学与工程学院
摘要
火灾和烟雾对人类生命、基础设施和生态系统构成严重威胁。野火和城市火灾事件的日益增多导致了大量人员伤亡、财产损失和环境恶化。传统的基于传感器的检测系统存在明显缺陷,包括响应时间延迟、误报以及覆盖范围有限。这些局限性凸显了探索先进深度学习技术的必要性。本研究提出了一种用于火灾和烟雾检测的新型深度学习架构。据我们所知,这是首次尝试将双轨主干网络集成到专门用于火灾和烟雾检测的对象检测框架中。该架构结合了一个卷积神经网络(CNN)路径来提取低级特征,以及一个Swin变换器路径来提取全局特征。CNN路径在捕捉详细的空间模式方面表现出色,而Swin变换器路径则能够捕捉图像中的层次化上下文关系。两条路径的特征图通过空间金字塔池化快速(SPPF)模块进行处理,以增强多尺度表示能力。主干网络在三个不同尺度上连接这些特征图,并利用高效通道注意力(ECA)算法对特征进行优化,从而在最小计算开销的情况下提升通道级特征表示。优化后的特征通过双向特征金字塔网络(BiFPN)在颈部融合,以增强多尺度表示能力,从而实现更可靠的检测。头部采用解耦设计生成最终预测结果。该网络在DFire数据集上进行了训练,平均精度(mAP@0.5)达到了81.0%。为了评估该网络在外部数据集上的性能和泛化能力,我们将其在DFS和室内火灾与烟雾计算机视觉数据集上进行了测试,分别获得了79.8%和91.8%的平均精度。这些结果表明,该网络能够有效检测火灾和烟雾相关模式。
引言
火灾和烟雾对人类安全、基础设施和生态系统构成重大风险。由于气候变化和人类活动的影响,火灾事件的发生频率显著增加。野火会破坏森林区域和野生动物栖息地,烟雾还会引发呼吸问题并恶化空气质量。此外,烟雾通常是火灾的早期迹象之一,因此及时检测烟雾对于迅速响应和采取缓解措施至关重要。因此,火灾和烟雾检测技术在保护生命、财产和环境方面变得愈发重要。先进系统对于快速准确地识别火灾至关重要,这能够缩短响应时间并减少潜在的广泛破坏。最近的野火对大片森林地区造成了严重破坏,摧毁了野生动物栖息地,并迫使许多社区不得不迁移[1]。2023年,美国消防部门处理了约139万起火灾,导致3,670人死亡和13,350人受伤,火灾造成的财产损失估计达230亿美元[2]。截至2024年11月30日,巴西亚马逊地区记录了134,979起火灾,比2023年的93,983起增加了43.7%。2007年火灾数量最多,达到了181,000起[3]。印度森林调查显示,2020年11月至2021年6月期间发生了52,785起野火[4]。魁北克地区由于极端温暖和干燥的条件,约有450万公顷的土地被烧毁,这凸显了有效火灾管理策略的紧迫性[5]。
火灾事件的主要原因是气候变化对森林生态系统的影响[6]。热带森林转为农业用地改变了降水量、温度和相对湿度,增加了东南亚婆罗洲生态系统对野火的脆弱性[7]。城市火灾事件也与城市扩张有关,这表明需要改进监测和响应策略[8]。早期检测和有效应对火灾事件至关重要。传统的火灾检测系统主要依赖传感器来监测环境变化,如温度传感器、紫外线传感器和火灾探测器[9],但这些系统在覆盖范围和效率方面存在显著局限。基于传感器的技术通常需要靠近火灾源,这在森林或大型工业场所等广阔环境中可能导致检测延迟[10,11]。此外,这些系统常因环境因素(如模拟烟雾或热量的干扰)而产生误报[12],高误报率可能导致不必要的疏散和资源浪费。依赖单一传感器系统限制了其在复杂环境中的适应性,由于烟雾特征的可变性(受火灾源和外部因素影响),经常导致漏检[13,14]。传统系统的响应时间通常超过100秒,这在火灾期间增加了对生命和财产的风险[15]。
近年来,火灾和烟雾检测系统的进步源于对易受火灾影响环境的复杂性认识加深。传统方法在密集城市区域、工业区和偏远森林中的火灾检测效果不佳。计算机视觉和深度学习通过解决这些限制推动了检测技术的发展,它们能够自动从图像中提取相关特征,无需人工干预。这使得它们能够学习数据中的复杂模式和相互关系,显著提升了火灾和烟雾检测能力[16]。此外,深度学习模型可以在大量多样化的数据集上进行训练,从而在各种条件下具有良好的泛化能力。现代火灾检测系统利用深度学习处理来自监控摄像头、无人机和卫星的高分辨率图像,以检测细微的火灾和烟雾模式。这些系统还能通过分析天气和地形等环境数据来适应环境变化,从而开发出能够利用实时数据识别火灾并预测其蔓延和强度的综合性火灾检测系统。这种综合方法提高了态势感知能力,加快了响应速度,并减少了损失。因此,深度学习通过提高效率和减少误报,为火灾预防和安全做出了重要贡献。野火和城市火灾频率的增加凸显了开发先进检测系统的必要性。通过将深度学习与高分辨率成像技术相结合,这些系统可以更准确地处理多种数据源,从而提高火灾和烟雾检测的准确性,优化消防救援资源的分配,并有可能在全球范围内改变火灾安全和管理方式,减少火灾相关灾害的影响。本研究旨在开发一种新型深度学习网络,能够从真实世界图像中检测火灾和烟雾事件。
相关研究
相关工作
计算机视觉和深度学习的进步通过卷积神经网络(CNN)提供了精确且可扩展的对象检测解决方案。检测方法分为两类:一类是通过区域提案优先考虑准确性的两阶段方法,另一类是为了实时应用而简化处理过程的单阶段方法。基于变换器的模型利用注意力机制改进了复杂场景中的定位和识别能力。
方法论
所提出的网络是一种受YOLO启发的架构,包含三个主要部分:主干网络、颈部网络和头部网络。主干网络通过结合CNN和Swin变换器网络的双轨架构从输入图像中提取特征。颈部网络通过整合多尺度信息来细化主干网络提取的特征,从而实现更有效的对象检测。头部网络处理来自颈部的多尺度特征图以生成最终预测结果。图1展示了整个过程。
结果与讨论
本节概述了本研究使用的数据集的关键特征,以及所采用的数据增强技术。同时介绍了实验设置和进行的消融研究,以衡量各模型组件对其性能的影响。
结论
火灾事件频率的增加对人类生命、基础设施和环境构成了重大风险。传统的基于传感器的检测方法存在响应时间慢、误报和覆盖范围有限的缺点,因此需要开发更可靠的解决方案。深度学习在对象检测方面表现出色,因为它能够从图像中提取相关特征,并捕捉数据中的复杂模式和关系。本研究提出了一种新型深度学习方法...
作者贡献声明
Nikhil S. Shinde先生:参与了数据采集、预处理、模型实现、性能评估和手稿起草工作。
Tejas Sharma先生:在数据采集、预处理、模型实现、性能评估和手稿起草方面做出了同等贡献。
Karthik博士:提供了概念化指导、方法论指导、项目监督、结果验证以及手稿的最终修订。
作者贡献
所有作者都参与了研究的概念设计和实施。Karthik R博士负责概念化工作,Nikhil S. Shinde和Tejas Sharma负责数据管理、方法论制定、验证和写作。手稿初稿由Nikhil S. Shinde和Tejas Sharma完成,Karthik R博士负责审阅和编辑。所有作者都阅读并批准了最终版本的手稿。
数据和材料的获取方式
人工智能披露
人工智能(AI)工具(包括OpenAI的ChatGPT)被用于辅助本手稿的编写。这些工具帮助完成了语言润色、语法校正和内容结构化等工作。所有智力内容、数据解释和最终决策均由作者完成,作者对工作的完整性和准确性负全责。