基于可见光与红外图像双分支融合网络的森林火灾复燃检测

《Engineering Applications of Artificial Intelligence》:Forest fire rekindling detection using dual-branch fusion network for visible-light and infrared images

【字体: 大 中 小 】 时间:2026年07月18日 来源:Engineering Applications of Artificial Intelligence 9.0

编辑推荐:

  摘要:火灾复燃是火灾后森林监测面临的重要挑战,因为残留的热源可能引发次生火势蔓延,造成严重的生态与经济损失。现有研究主要侧重于利用气象、植被或历史火灾数据进行宏观尺度的野火风险预测,而基于实时图像的火灾复燃检测方法则研究不足。在实际的火灾后环境中,烟雾遮挡、微弱的热信号、复杂的背

  摘要:火灾复燃是火灾后森林监测面临的重要挑战,因为残留的热源可能引发次生火势蔓延,造成严重的生态与经济损失。现有研究主要侧重于利用气象、植被或历史火灾数据进行宏观尺度的野火风险预测,而基于实时图像的火灾复燃检测方法则研究不足。在实际的火灾后环境中,烟雾遮挡、微弱的热信号、复杂的背景以及模糊的目标边界进一步增加了精准定位的难度。为应对这些挑战,本文提出了一种多模态视觉驱动的火灾复燃检测框架(MVF-YOLO),该框架同时利用红外热成像信息与可见光场景特征。具体而言,通过设计改进的交叉鲁比克立方体注意力融合网络(RCAFusion)来加强红外与可见光特征之间的交互,捕捉互补的热特征与空间特征。此外,还在检测模型的主干结构中嵌入高效通道注意力机制(ECA),以提升对微弱复燃相关特征的表征能力;同时采用α加权交并比损失函数(AlphaGIoU)来优化不规则且边界模糊的复燃区域的边界框回归效果。实验结果表明,在配对的红外-可见光火灾复燃数据集上,MVF-YOLO在交并比阈值为0.5时的平均精度达到98.5%(AP50),而在0.5到0.95的交并比阈值范围内的平均平均精度则为89.3%(AP)。与强大的YOLOv9基准模型相比,MVF-YOLO的AP50提升了4.2%,AP提升了5.7%,同时保持了相近的模型复杂度与实时推理能力。这些结果表明,MVF-YOLO为复杂火灾后监测场景中的实时火灾复燃检测提供了有效且实用的解决方案。

引言:火灾复燃作为一种极其危险的现象,已成为全球森林防火工作面临的重大挑战。它不仅会严重破坏生态系统的平衡,还会给人类社会带来巨大的生命和财产损失(Flannigan等人,2000;Agbeshie等人,2022)。以2021年四川省沐川县雅洛江镇的森林火灾为例(Hua和Wang,2023),火势在20多天内多次复燃,不仅造成了大规模的森林植被破坏,也给灭火工作带来了极大困难。同样,在2009年澳大利亚维多利亚州的“黑色星期六”丛林大火中(Bryant等人,2014),频繁的火势复燃导致火势迅速蔓延,最终造成超过45万公顷的土地被毁,173人不幸遇难。目前,火灾复燃的监测主要依赖于热成像技术及地面监测系统。这些传统方法在探测范围、实时性能以及预警能力方面存在明显局限。例如,当使用商用高灵敏度吸气式烟雾探测器、气体传感器(氢气和碳氢化合物传感器)以及微波辐射计进行检测时,往往受到探测范围有限、响应时间较长等因素的限制,尤其是在偏远或大面积的森林区域,这类设备的功能更难以发挥(Krüll等人,2012;Su等人,2020)。

随着城市化的加速,森林防火工作的难度日益增加,尤其是由于野生地与城市交界带(WUI)的快速扩张(Radeloff等人,2018;Chen等人,2024),即人类居住区与森林景观相互交错的区域。城市扩张增加了人类活动、基础设施密度以及靠近森林生态系统的点火源数量,从而提升了野火发生的可能性及其潜在损失。在火灾后的环境中,复杂的地形以及有限的可达性可能导致残留热源和阴燃物质无法被及时发现,进而增加火灾复燃和次生火势蔓延的风险。传统上,森林防火与火灾后监测依赖的是非人工智能类的方法,如人工巡护、瞭望塔、卫星遥感以及温度、烟雾和气体探测器等地面物理传感器。这些方法在不同空间尺度上为野火检测和态势感知提供了帮助。然而,当应用于日益城市化且环境复杂的火灾复燃检测场景时,这些方法存在固有缺陷,包括操作繁琐、时间分辨率有限以及空间覆盖范围不足(Johnston等人,2018;Zhai等人,2025;Saleh等人,2024)。因此,尽管传统方法在野火管理方面已取得一定成效,但它们仍无法满足在复杂火灾后场景中对火灾复燃风险进行及时、精细且持续监测的需求。

近年来,随着计算机技术和人工智能的快速发展,出现了多种森林火灾风险评估方法。Jiang等人提出了基于深度学习的森林火灾风险评估模型。他们构建了包括地形、植被、气象和人类活动在内的14项评估指标,并结合卷积神经网络从多源数据中提取高阶特征,从而实现了对广东省森林火灾风险的精准预测(AUC=0.962)。同时,他们首次将应急救援能力纳入评估体系之中(Jiang等人,2024)。Ju等人则运用层次分析法(AHP)、最差最优法(BWM)和熵权法(EW)等多准则决策分析方法,结合地理信息系统(GIS),构建了一个综合评估模型,用于评估中国常州市的森林火灾风险。该模型考虑了地形、气象、燃料条件、社会流动性以及应急救援能力等多种因素(Ju等人,2023)。Wang等人提出了一种名为NeuroFire的神经网络模型,该模型基于门控循环单元(GRU)和条件随机场(CRF)构建。结合时空损失函数,该模型能够预测城市中每个网格点的火灾风险。该模型全面考虑了温度、湿度、电子商务订单量以及兴趣点等多种影响因素,在中国郑州的实验评估中优于九种基准模型(Wang等人,2019)。Kondylatos等人开发了一种基于深度学习的森林火灾风险预测模型。该模型利用长短期记忆网络(LSTM)和卷积LSTM(ConvLSTM)来捕捉气象、植被和人为因素的时空特征。在希腊东地中海地区的验证测试中,该模型的表现优于传统的火灾天气指数(FWI),并且通过可解释人工智能方法,揭示了土壤湿度、NDVI和相对湿度等关键预测因子(Kondylatos等人,2022)。这些研究表明,森林火灾风险评估已经从单一因素分析发展到多准则综合评估,从定性描述转变为定量模拟。

尽管在火灾风险评估与检测方面取得了显著进展,但仍有一些关键问题需要解决,包括:(1)现有研究主要聚焦于利用气象、温度和植被数据等来评估区域的宏观火灾风险,而直接从图像或视频中检测火灾复燃的研究相对较少。及时发现并处理残留火源对于防止火灾复燃具有重要意义。(2)由于复燃区域与周围已烧毁区域在视觉上极为相似,因此准确识别和定位复燃区域极具挑战性。(3)目前大多数火灾检测研究仅依赖可见光图像,但仅依靠可见光谱进行火灾检测是不够的,因为表明可能存在复燃的热异常和烟雾特征在可见光下可能并不明显。将热成像与多模态感知方法相结合,才能提升检测的可靠性。(4)现有研究主要使用卷积神经网络(CNN)进行火灾检测。虽然CNN在局部特征提取方面表现良好,但它们缺乏模拟火灾在空间背景下长距离传播依赖关系的能力(Liu等人,2023)。(5)火灾复燃检测系统的开发与评估受到缺乏全面数据集的制约。尽管有一些野火数据集,但专门针对火灾复燃事件的标注数据明显不足,这给检测模型的训练与验证带来了困难。

作为一种单阶段目标检测器,YOLOv9(Wang等人,2025)在速度和精度方面表现出色。然而,在火灾现场复杂的烟雾和光照条件下,仅依赖可见光图像的火灾复燃检测往往会出现漏检和误检现象。为解决这一问题,本文提出了一种基于红外与可见光图像融合的改进型YOLOv9检测框架。具体而言,我们首先将改进版的RCAFusion模块(Li等人,2024a)嵌入YOLOv9中,以实现多模态信息的有效融合。在原有RCAFusion的基础上,我们引入了非局部块结构(Wang等人,2018a),以增强特征图不同区域之间的信息交互。自注意力机制最初被改进为基于Transformer(Vaswani,2017)的计算模式,之后为了降低计算参数和资源消耗,又进一步优化为基于PoolFormer的轻量级注意力机制(Yu等人,2022)。这使得网络能够在保持高效率的同时,更好地捕捉火灾复燃点的全局上下文信息(Dosovitskiy等人,2020;Liu等人,2021)。考虑到火灾现场复燃点的多方向特性,我们将DenSoA(Li等人,2024a)模块中的SobelXY算子扩展为多方向SobelXY算子(Gao等人,2010),并将其与动态融合策略和残差连接相结合,以提升对不同方向火源的特征提取能力。此外,为进一步提升检测性能,我们还将ECA(Wang等人,2020a)注意力机制引入YOLOv9的RepNCSPELAN4模块,使网络能够自适应地调整各通道特征的重要性,从而突出潜在复燃区域的关键特征。在损失函数方面,我们采用了AlphaGIOU(He等人,2021;Rezatofighi等人,2019)损失函数来优化模型训练过程。AlphaGIOU损失函数通过改进的距离测量方法和形状相似性约束,能够更好地处理火灾复燃点的不规则形状特征,提供更稳定的边界框回归梯度,从而提升模型对复燃区域的定位精度,减少与周围高温区域的混淆。这些改进使得我们的方法能够在各种复杂的火灾现场环境中实现稳健的复燃检测性能。

综上所述,我们提出了一种基于多模态融合的改进型YOLOv9检测框架,其主要贡献如下:(1)我们对原有的RCAFusion模块进行了简化和优化,提取并优化了其中最有效的组件。通过在简化的DenSoA模块中加入残差连接,有效减少了特征传输过程中的信息丢失。同时,我们设计了多方向SobelXY算子,以增强边缘特征的提取和方向信息的捕捉,并引入了动态融合策略,提升了特征提取的稳定性。这些改进使得网络能够根据不同场景自适应地调整特征融合权重,从而更有效地感知复燃区域的边缘轮廓,即使在烟雾遮挡等复杂场景中也能保持稳定的检测性能。(2)我们提出了一种改进的跨模态注意力融合模块。通过引入轻量级非局部块结构和基于Transformer的自注意力机制,增强了不同区域之间的信息交互能力。这些改进使得网络能够更好地捕捉火灾复燃场景中的长距离依赖关系和全局上下文信息,这对于准确识别早期复燃的微弱特征以及复杂环境中的状态变化具有重要意义。(3)我们优化了YOLOv9的主干结构,并将ECA注意力机制引入RepNCSPELAN4模块。通过高效的通道注意力机制和特征重组织策略,显著提升了模型对复燃区域微弱特征的感知能力。这一改进使得网络能够更准确地捕捉火灾复燃过程的关键特征信息,从而提升模型检测火灾复燃的可靠性和准确性。(4)我们引入了AlphaGIoU损失函数,以替代传统的损失函数。通过引入自适应权重因子来动态调整边界框回归的优化方向,该方法能更好地适应不同阶段复燃区域的多样化形态特征,从而有效提升模型的定位精度。这一改进使得模型能够更精准地识别和定位火势复燃区域,为提高火势复燃检测的准确性提供了有力支持。(5)我们构建了一个配对的红外-可见光火势复燃数据集,其中包含大量一一对应的红外图像和可见光图像对。基于该数据集的众多实验表明,我们所提出的方法在火势复燃检测任务中取得了显著的性能提升,为相关应用提供了可靠的技术支撑。本文结构如下:第2节介绍相关研究工作;第3节详细阐述所提出的烟雾检测方法;第4节讨论实验结果;最后,第5节总结工作并探讨未来研究方向。

相关研究
近年来,基于人工智能的野火监测从两个主要视角得到了广泛研究:区域火灾风险评估和基于图像的火灾检测。区域火灾风险评估方法通常依赖于大规模的环境和历史变量,如地形、气候、植被、道路密度以及人类活动。例如,Naderpour等人开发了一种空间深度神经网络框架,用于利用多种数据评估森林火灾的易发性。

所提出的框架
由于火灾复燃场景中视觉信息较为稀疏、能量分布不均、边界模糊且背景干扰严重,仅依靠可见光图像往往无法实现可靠的检测性能(Sun等人,2024年)。为解决这些难题,我们提出了MVF-YOLO,这是一种面向任务的火势复燃监测多模态检测框架。与简单堆叠独立模块的不同,MVF-YOLO围绕三个关键目标进行设计。

数据集
通过采用红外相机和可见光相机离线同步拍摄的方法,我们收集了5004对红外–可见光图像样本,这些样本对应高、中、低三种风险等级。风险等级是由经过培训的防火人员根据火灾后的可观察状况标注的,包括红外图像中的剩余热强度、可见光图像中未燃烧的可燃物以及现场灭火记录。

结论与未来工作
在本文中,我们通过提出一种多模态视觉检测框架——MVF-YOLO,来应对火势复燃检测这一具有挑战性的任务。通过将红外能量信息与可见光场景特征有机结合,我们成功解决了仅依赖单一模态时难以准确识别复燃风险的难题。在框架设计中,通过增强的RCA融合网络实现了高效的红外–可见光融合。

RediT作者贡献声明
尹东旭:方法论、软件、验证、可视化、写作——初稿撰写、写作——审阅与编辑。王明宇:资源提供。程鹏乐:资源提供。刘晓东:资源提供。黄颖:资源提供。

利益冲突声明
作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。

致谢
本研究得到了中国国家自然科学基金(项目编号32171797)和中国教育部春晖计划基金会(项目编号HZKY20220026)的支持。

尹东旭|王明宇|程鹏乐|刘晓东|黄颖
中国北京林业大学技术学院,北京100083
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号