融合还是混淆?评估可见光-热红外(Visible-Thermal)图像融合对野生动物自动检测的影响

《Remote Sensing in Ecology and Conservation》:Fusion or Confusion? Assessing the Impact of Visible-Thermal Image Fusion for Automated Wildlife Detection

【字体: 大 中 小 】 时间:2026年06月27日 来源:Remote Sensing in Ecology and Conservation 5.2

编辑推荐:

  摘要:高效的野生动物监测方法是生物多样性保护与管理的必要手段。遥感、航空影像与深度学习(deep learning, DL)的结合为更新或改进现有调查方法提供了前景。可见光(visible, VIS)与热红外(thermal infrared, TIR)影像的

  
摘要:高效的野生动物监测方法是生物多样性保护与管理的必要手段。遥感、航空影像与深度学习(deep learning, DL)的结合为更新或改进现有调查方法提供了前景。可见光(visible, VIS)与热红外(thermal infrared, TIR)影像的互补使用相比单源图像可增加信息量,并在自动检测背景下改善结果。然而,对齐与融合过程存在挑战,特别是VIS与TIR图像通常具有不同的视场(field of view, FOV)与空间分辨率。本研究以大蓝鹭(Ardea herodias)为案例,评估同步采集的航空VIS与TIR影像利用YOLO11n模型自动检测个体与巢穴的性能。测试并比较两种VIS–TIR融合方法:早融合(early fusion)与晚融合(late fusion),以确定加入TIR图像相比仅VIS模型是否具有附加价值。VIS与TIR图像使用深度学习模型自动对齐。对VIS–TIR图像对应用主成分分析(principal component analysis, PCA)融合法构建早融合数据集。基于仅VIS与仅TIR训练模型的检测结果,使用分类回归树(classification and regression tree, CART)处理晚融合数据集。所有类别中,晚融合与早融合均较仅VIS模型提高了F1分数。对于主要类别"占用巢(occupied nest)",晚融合将F1分数从90.2(仅VIS)提升至93.0%。该模型还能以90%召回率识别两源产生的假阳性(false positive, FP)。尽管融合方法表现更优,但该方法受限于TIL较窄FOV及消除数据的对齐约束。采用机载甚高分辨率可见光传感器(宽FOV)可能是业务化调查的有趣折衷方案。
论文解读:融合还是混淆?评估可见光-热红外图像融合对野生动物自动检测的影响
该研究发表于《Remote Sensing in Ecology and Conservation》。现有常规野生动物调查方法(如直接观察、足迹调查、相机陷阱)在偏远生境难以实施且依赖人员经验,存在效率低与主观偏差问题。航空可见光(visible, VIS)影像虽常用于动物检测,但难以发现与环境背景融合的隐蔽动物;热红外(thermal infrared, TIR)传感器可探测体温差异,却受空间分辨率低与视场(field of view, FOV)限制。二者单独使用均有局限,而VIS–TIR多传感器数据融合有望互补信息提升自动检测性能,但面临两传感器FOV不同、空间分辨率差异大导致的配准难题,且尚无研究在航空野生动物检测中对比早融合(early fusion)与晚融合(late fusion)策略。加拿大魁北克大蓝鹭(great blue heron, GBHE; Ardea herodias)巢群(heronries)现行靠直升机目视计数,每5年一次,存在扰动鸟群与漏计风险,适合作为测试VIS–TIR融合自动检测价值的案例,以评估融合是否优于单模态及两种融合方式的优劣。
研究人员使用搭载Zenmuse H20T传感器的DJI Matrice 300无人机于2023年6—7月在魁北克6个大蓝鹭巢区同步采集9932对VIS(RGB, 4056×3040像素)与TIR(单波段, 640×512像素)航拍图像(含20%含巢图像),飞行高度≥50 m以减小对鸟类干扰。采用LightGlue深度神经网络进行VIS–TIR图像自动配准,按匹配关键点数量(≤45)与平均平方差(>68 px)初筛并人工核验,剔除配准误差大的图像对,最终保留755对已标注对齐图像对划分为训练(485)、验证(121)、测试(149)集。VIS图像标注三类目标:占用巢(occupied nest)、空巢(empty nest)、孤立个体(isolated individual);TIR图像将孤立个体与巢内个体合并标注为"heron"。早融合采用YCbCr颜色空间将VIS图像分解亮度(Y)与色度(Cb, Cr),对VIS的R、G、B波段与TIR波段做主成分分析(principal component analysis, PCA),取第一主成分(解释93%方差,权重为红61%、绿?4%、蓝?6%、TIR 79%)替代Y通道重构RGB融合图像输入YOLO11n。晚融合分别用VIS与TIR图像训练YOLO11n单模态检测器,再将其检测框与真值(ground truth, GT)做几何相交,提取VIS三类置信度、TIR置信度及交并比(Intersection over Union, IoU)共5个特征,用分类回归树(classification and regression tree, CART)决策最终类别,未相交框保留VIS或TIR单模态判断,并能识别双模态假阳性(false positive, FP)。YOLO11n(nano版本)训练50轮,图像切分为640×640像素块,以F1分数(精确率precision与召回率recall的调和均值)结合McNemar检验评估模型差异显著性。
3.1 Image Alignment
研究人员用LightGlue自动配准VIS与TIR图像,因VIS FOV约为TIR的5倍故先做VIS中心裁剪(缩减因子0.6),经仿射变换对齐。配准筛选剔除超半数含水背景等无足够匹配特征点的图像对,最终保留39%含目标图像对(755对)。结果表明自动配准可行但会因FOV差异与纹理缺乏(如水面上方)损失大量数据,早融合对像素级配准要求更严苛。
3.2 Automated Detection With YOLO11n
3.2.1 Model Training
仅TIR模型整体F1为85.4%(单类heron),仅VIS模型整体F1为72.2%,其中占用巢类F1为87.9%、空巢66.0%、孤立个体62.5%,反映类别不平衡(占用巢占87%)及小目标检测难度。
3.2.2 Model Comparison
在测试集上,仅VIS模型占用巢F1=90.2%、整体宏F1=56.6%;早融合占用巢F1=88.8%、整体宏F1=64.3%(降低漏检至4%但略增FP至9%,对小类空巢与孤立个体F1有提升);晚融合占用巢F1=93.0%(较仅VIS显著提升)、整体宏F1=58.5%(漏检最少3%但FP最高14%),McNemar检验显示晚融合全检测显著优于仅VIS(p<0.001),排除FP后仅VIS显著优于晚融合,晚融合与早融合无显著差异。晚融合CART能以90%召回识别双模态FP。
讨论与结论总结
图像配准是VIS–TIR融合主要瓶颈:LightGlue自动配准减少人工但丢弃>60%数据对(尤其水体背景),早融合需亚像素级对齐而晚融合只需检测框相交故可多用564对图像。早融合(PCA-YCbCr法)对小类检测略有改善但统计不显著优于仅VIS,且受配准约束强。晚融合借助CART整合双模态决策,主要类别占用巢F1由90.2升至93.0,有效抑制双模态不相关的FP(90%召回),但因保留单模态检测致FP升高;对小类提升有限系CART训练特征少。研究局限含巢被植被遮挡、孤立个体小难标注、TIR空间分辨率致使温热斑点难辨形态、偶有白鹭(Ardea alba)巢被误检为占用巢。若仅VIS传感器换用甚高分辨率(如Zenmuse P1,GSD约1 cm/px),YOLO11n整体F1可达77.2%且占用巢F1达93.6%,优于融合方案,提示对于巢位于树冠顶不易隐蔽的大蓝鹭,单纯提高VIS分辨率可能比VIS–TIR融合更适于业务化全覆盖调查;而TIR融合对更隐蔽、晨昏或夜行性物种仍有潜在价值。研究证实深度学习自动检测航空影像中野生动物可行,为未来机载甚高分辨率VIS或视频追踪计数提供基础。
综上,研究人员得出结论:晚融合提升主要目标(占用巢)检测F1分数并有效剔除假阳性,早融合轻微改善小类检测;但VIS–TIR融合受TIR窄FOV与配准约束致数据损失,实际大蓝鹭巢群普查中机载甚高分辨率宽视场VIS传感器或为更优业务化选择,VIS–TIR融合价值在隐蔽或低光照物种检测中待进一步探究。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号