《Fire》:Multimodal Wildfire Classification Using Synthetic Night-Vision-like and Thermal-Inspired Image Representations
Beyda Ta?ar,
Ahmet Burak Tatar,
Alper Kadir Tanyildizi and
O?uz Yakut
编辑推荐:
摘要:本文提出一种基于多模态视觉特征融合的早期火灾检测方法,通过对原始RGB图像合成夜视类(Night-Vision-Like)、白热(White-Hot)及绿热(Green-Hot)三种伪热成像(Pseudo-Thermal)模态,结合ImageNet预训练
摘要:本文提出一种基于多模态视觉特征融合的早期火灾检测方法,通过对原始RGB图像合成夜视类(Night-Vision-Like)、白热(White-Hot)及绿热(Green-Hot)三种伪热成像(Pseudo-Thermal)模态,结合ImageNet预训练卷积神经网络(CNN, Convolutional Neural Network)骨干网(ResNet-18/EfficientNet-B0/DenseNet-121)分别提取各模态特征并进行特征级拼接(Concatenation),输入全连接层完成二分类(火灾/非火灾)。研究人员在两个公开数据集FLAME与FireStage上验证所提方法,实验表明引入合成类热成像模态显著提升了早期火灾检测的准确性与鲁棒性,优于单一RGB输入及传统手工特征方法,证明通过确定性色彩映射合成互补模态可在不增加硬件成本前提下扩充特征空间并强化火焰微弱信号的统计显著性。
论文解读:基于合成类热成像模态与多模态特征融合的早期火灾检测
研究背景与动机
传统基于可见光(RGB, Red-Green-Blue)摄像头的火灾检测易受光照变化、阴影及相似色物体干扰,且早期明火在RGB域对比度低难以捕捉。红外热成像能突出温度异常但成本高且需专用传感器。现有单模态方法特征表达有限,多模态方案多依赖真实多传感器采集。因此研究人员提出:在不增设硬件前提下,通过对单张RGB图像施加确定性色彩空间映射,合成近似红外热成像灰度分布及夜视效果的伪热成像(Pseudo-Thermal / Night-Vision-Like)模态,构建四模态(RGB、夜视类、白热、绿热)对齐样本集,利用多分支CNN提取互补特征并融合,以提升早期火灾判别能力。本文发表于《Fire》(MDPI, 2024/2026待考据)。
主要关键技术方法
采用FLAME与FireStage两个公开火灾图像数据集为样本队列。对每张RGB图I(x,y)计算灰度强度INV(x,y)=0.299R+0.587G+0.114B得夜视类图,经CNV(·)绿色映射得Night模态;White-Hot模态CWH(·)取灰度逆映射;Green-Hot模态CG(H)(·)做绿-黄映射。四模态统一缩放至224×224并经ImageNet均值方差归一化。各模态独立送入共享权重的ImageNet预训练骨干网(ResNet-18/EfficientNet-B0/DenseNet-121,冻结卷积层),去除末层分类头得d维特征向量fm∈?d(d=512 for ResNet-18)。四特征向量按[fRGB; fNight; fWhite; fGreen]拼接得fconcat∈?4d,接入全连接+Softmax二分类。训练采用交叉熵损失,评估指标含Accuracy、Precision、Recall、F1-Score及AUC。
研究结果
2.3.2. Night-Vision-Like Pseudo-Thermal Modality(夜视类伪热成像模态)
将RGB转为灰度IGray(x,y)=IRGBR·0.299+G·0.587+B·0.114(x,y),再经CNV(IGrayeq(x,y))绿色伪彩色映射,模拟微光夜视效果,使高温区偏亮绿。
2.3.3. White-Hot and Green-Hot Pseudo-Thermal Modalities(白热与绿热伪热成像模态)
White-Hot取灰度逆映射CWH(·)使高强度对应更亮(白热);Green-Hot取CG(H)(·)绿到黄渐变映射模拟部分热像仪显示。变换确定且保空间结构,提供同一场景不同外观分布"视角"。
2.3.4. Final Multimodal Sample Construction(最终多模态样本构建)
定义每一样本X(x,y)={IRGBRGB(x,y), CNV(IGrayeq(x,y)), CWH(IGray(x,y)), CG(H)(IGray(x,y))},四通道对齐。
2.4.1. Modality-Wise Feature Extraction(分模态特征提取)
各模态Im经共享骨干网F(·)得fm=F(Im),m∈{RGB,Night,White,Green}。骨干参数冻结以稳训练、降过拟合。
2.4.2. Multimodal Feature Fusion(多模态特征融合)
fconcat=[fRGB; fNight; fWhite; fGreen],拼接后接FC+Softmax分类。
2.5. Experimental Setup(实验设置——归纳)
在FLAME(含野外/室内早期火与非火)与FireStage(多场景)上做五折交叉验证。对比单模态RGB、双模态及全四模态,对比骨干网差异。记录Acc、Prec、Rec、F1及AUC。全四模态ResNet-18达最优。
2.6. Results and Discussion(结果与讨论——归纳)
四模态融合法在两类数据集上F1-Score与AUC均高于单RGB及少模态组合。伪热成像使火焰像素强度分布偏移明显,类内聚合、类间可分性增强。Night与Green-Hot对暗光环境具补偿作用,White-Hot强化高亮区。EfficientNet-B0与DenseNet-121趋势一致但参量大。消融实验证各合成模态均有正向贡献,其中Night+Green组合次之。结论:合成类热成像多模态融合可有效提升早期火灾检测性能,无需额外传感器,具工程部署价值。
结论翻译(Conclusion Summary)
研究人员证实,通过确定性色彩映射从RGB图像合成夜视类、白热及绿热伪热成像模态并构建四模态对齐样本,结合共享ImageNet预训练CNN特征提取与特征级拼接融合,可显著提升早期火灾检测的准确率与鲁棒性。该方法在不增加传感硬件成本下扩展了特征表达空间,使RGB中不易察觉的火焰早期信号在合成模态中得到统计增强,于FLAME与FireStage数据集上优于单模态及传统方法,为多光谱视觉火灾预警系统提供了可行且经济的解决方案。