《International Journal of Applied Earth Observation and Geoinformation》:VT-FLAC: A visible-thermal fusion network for robust wildlife monitoring in open-field environments using near-remote sensing imagery
编辑推荐:
针对近地遥感图像中野生动物目标因模糊、遮挡、背景干扰和密度不均导致的计数与定位难题,研究人员提出了一种可见光-热红外融合模糊定位与动物计数(VT-FLAC)模型。该研究构建了青藏高原可见光-热红外动物计数数据集(QTVI-ACD),并设计了跨模态自适应特征聚合(CAFA)模块与混合回归-分类(HRC)损失函数。结果表明,VT-FLAC在多种公开数据集上均展现优越的计数准确性与定位鲁棒性,为AI在生物多样性监测与管理中的应用提供了先进的技术框架。
在广袤的青藏高原,准确监测和统计野生动物种群数量对于生态保护和科学研究至关重要。然而,这项任务在实际操作中却面临着重重挑战。想象一下,一辆科考车在高原草甸上行驶,试图通过车载相机系统捕捉远处的羊群或藏野驴。由于距离远、光线变化、目标移动以及植被遮挡,拍摄到的图像常常是模糊不清的,动物目标与背景(如岩石、枯草)难以区分。此外,动物种群密度分布极不均匀,从稀疏到密集聚集的情况都有。传统的基于高清可见光或单一热红外影像的自动计数方法,在这种复杂、模糊的真实场景下,往往“力不从心”,计数不准、定位偏差大成为普遍问题。为了突破这一瓶颈,一项题为“VT-FLAC: A visible-thermal fusion network for robust wildlife monitoring in open-field environments using near-remote sensing imagery”的研究在《International Journal of Applied Earth Observation and Geoinformation》上发表。该研究旨在开发一种能够有效融合可见光与热红外信息,并克服模糊、遮挡和密度不均等实际困难的动物自动计数与定位新方法。
为了达成上述目标,研究团队主要采用了以下几项关键技术方法:首先,在青藏高原祁连山国家公园和青海湖区域,利用集成了高清热红外扫描仪与高清可见光相车的车载移动平台,于2023年8月至9月采集了绵羊和藏野驴的同步可见光-热红外图像对,构建了名为QTVI-ACD的数据集并进行精细标注。其次,提出了一个名为VT-FLAC的深度学习模型,其核心是基于点回归的框架,并创新性地设计了一个跨模态自适应特征聚合(CAFA)模块,该模块通过协调空间注意与通道注意,实现了对可见光和热红外特征的自适应、精细化融合。最后,针对野生动物密度分布不均导致的模型训练难题,研究团队设计了一种混合回归-分类(HRC)损失函数,联合优化定位精度与计数一致性,显著提升了模型在高低密度场景下的鲁棒性。
研究结果
1. 在QTVI-ACD数据集上的性能验证
在自建的QTVI-ACD数据集上,VT-FLAC模型与包括C_CNN、MCNN、CSRNet、CANNet、SCAR、DM-Count、HerdNet、IADM、CCANet、MSDTrans在内的10种前沿计数方法进行了对比。评估指标包括计数误差(MAE, MSE)和定位精度(nAP0.5)。结果显示,对于绵羊计数,VT-FLAC将MAE和MSE相较于次优方法分别降低了78.38%和73.43%,同时实现了92.60%的nAP0.5定位精度。对于藏野驴计数,MAE和MSE分别降低了5.85%和6.62%,定位精度达到93.80% nAP0.5。这些数据充分证明了VT-FLAC在处理模糊、遮挡目标方面具有显著优势。
2. 在公开数据集上的泛化能力测试
为了检验模型的泛化能力,研究还在Aerial Sheep、BIRDSAI和TIR-Procapra przewalskii三个公开数据集上进行了测试,涵盖了可见光、热红外、不同物种(羊、大象、普氏原羚)和不同成像平台(无人机)的多样性。测试分为“零样本”(Unseen,即不微调直接使用QTVI-ACD上训练的模型)和“有样本”(Seen,即在各数据集上重新划分训练测试)两种设置。在“零样本”设定下,VT-FLAC在新场景、新物种的数据集上取得了MAE为10.35、MSE为8.10的优异计数精度,比次优模型分别降低了49.09%和61.94%。这表明VT-FLAC具有良好的跨域适应性和泛化能力。
3. 消融实验验证核心模块贡献
通过系统的消融实验,研究明确了CAFA模块和HRC损失函数各自的作用。实验设置了多种模型变体:仅使用可见光或热红外单一模态的基线模型、使用CAFA但用Huber损失代替HRC损失的模型、以及不使用CAFA但使用HRC损失的模型等。结果表明,HRC损失函数是提升性能的关键,单独使用即可平均降低计数MAE 1.40、MSE 1.29,并提升定位nAP0.53.55%。而CAFA模块与HRC损失的完整结合,则能实现最佳的总体性能,赋予模型对抗模糊、遮挡和弱显著性的最强鲁棒性。这验证了所提出的整体融合框架的有效性。
结论与讨论
本研究成功开发了一套针对近地遥感野生动物监测的跨模态深度学习解决方案。所提出的VT-FLAC模型,通过将跨模态注意力机制深度嵌入点回归流程,并辅以专门设计的HRC损失函数,有效解决了真实野外环境下因目标模糊、遮挡、尺度多变和密度不均带来的动物计数与定位难题。
该研究的重要意义体现在多个层面:在方法论上,VT-FLAC突破了传统多模态融合方法中“先融合后处理”的范式,实现了特征融合与定位回归的协同优化,为处理稀疏、模糊目标的多模态感知提供了新思路。在实践应用上,研究构建的QTVI-ACD数据集填补了可见光-热红外跨模态动物计数数据的空白,为后续研究提供了宝贵的基准。模型展现出的高精度和强泛化能力,使其能够适配车载、无人机等多种监测平台,为野生动物种群动态监测、栖息地评估和生物多样性保护管理提供了高效、可靠的自动化工具。在技术推广上,这项研究推动了人工智能与近地遥感技术在生态学领域的深度融合,展示了多模态感知在复杂现实场景中的应用潜力,为相关领域的算法发展和工程应用提供了重要参考。
总之,这项工作由Leilei Shi、Xiangyi Wei、Rujun Xu、Lixiang Liu、Fei Cao、Wenming Shen合作完成,他们来自生态环境部卫星环境应用中心。该研究不仅提出了一种性能优越的技术模型,更通过严谨的实验设计和充分的结果验证,为利用先进人工智能技术守护脆弱的高原生态系统、推动智慧环保迈出了坚实的一步。