基于深度学习的方法:利用热成像监控相机与开源软件检测和分类风力涡轮机附近飞行的动物

《Ecological Informatics》:A deep-learning based approach to detect and classify animals flying near wind turbines using thermal surveillance cameras and open-source software

【字体: 大 中 小 】 时间:2026年07月02日 来源:Ecological Informatics 8.5

编辑推荐:

  风力能源的快速增长催生了对野生动物监测工具的需求,这类工具需满足长时间视频高效处理的同时,保留风力涡轮机运行状态下动物活动的生态学意义信息。为应对这一需求,研究人员开发了一种基于开源软件的概念验证型热成像视频工作流,结合计算机视觉(Computer Visio

  
风力能源的快速增长催生了对野生动物监测工具的需求,这类工具需满足长时间视频高效处理的同时,保留风力涡轮机运行状态下动物活动的生态学意义信息。为应对这一需求,研究人员开发了一种基于开源软件的概念验证型热成像视频工作流,结合计算机视觉(Computer Vision)与卷积神经网络(Convolutional Neural Networks, CNNs),用于检测和分类单一风力涡轮机附近移动生物目标,并保留目标级输出以供后续分析。利用来自同一风力涡轮机及相机系统的预留影像,该最终工作流以99%的准确率将生物目标与非生物运动(包括旋转的风力涡轮机叶片和云层)区分开来,并对蝙蝠(90%)、鸟类(83%)和昆虫(69%)进行了分类。该开源热成像视频工作流可记录每次生物检测的目标标识符(Object ID)、帧编号、时间戳、x/y像素位置、预测类别及类别概率,从而支持对显见生物目标飞行路径、在视野内停留时间及其与环境变量关系的后处理。本研究所提出并描述的模型基于单一风力涡轮机及相机系统的影像进行训练和测试,作为概念验证,其定量性能指标特定于该配置,因此更广泛的部署可能需进一步的场地特定再训练或校准;不过,已发布的模型和代码为迁移学习(Transfer Learning)及新站点的初步评估提供了实用起点。相关代码和训练模型已在宽松许可协议下发布,以支持社区评估、再训练及复用。
## 研究背景与问题

风力能源已遍布多种景观,为研究蝙蝠及其他空中野生动物与现代风力涡轮机周围空域的共存提供了契机。野外观察表明,蝙蝠在转子扫掠区域附近的活动因物种、季节和运行条件而异,活动高峰常出现在夏末和秋季的平静夜晚。低风速停机已成为平衡能源生产与野生动物管理的实用策略之一。然而经过近二十年研究,关于蝙蝠何时穿越风力涡轮机区域以及穿越期间表现出何种行为等关键问题仍待解答,实时高分辨率的蝙蝠存在及飞行行为监测对于完善数据驱动的共存策略至关重要。

准确记录蝙蝠与风力涡轮机相互作用需要长期、高效、易于部署的观测工具。热成像(Thermal-Infrared, TIR)相机为此提供了实用的非侵入性解决方案,可在无需补充光源的条件下捕获夜间蝙蝠活动的完整频谱。自21世纪初以来,热成像相机已被用于多种场景下的蝙蝠观察,2010年代的技术进步使超过一个月的长期无人值守监测成为可能。热成像记录是目前唯一能同时提供夜间蝙蝠存在信息、碰撞或近距离交互结果、昆虫存在情况以及指示风力涡轮机接近动机和暴露限制的飞行行为模式的数据来源。

尽管已有多种野生动物热成像处理软件被开发,但在功能、处理速度、数据吞吐量、成本、科学透明度、适应性和可及性方面仍有改进空间。当前软件工具在处理热成像相机系统可采集的大量数据方面存在瓶颈,且缺乏对复杂场景(如旋转的涡轮叶片和飘过的云层)分析方法,这限制了该技术的有效广泛应用。

### 开展本研究的动因

计算机视觉和机器学习为自动分析风力涡轮机处蝙蝠热成像视频显示出前景。深度学习通过扩展人工神经网络(Artificial Neural Networks, ANNs)的层级结构,自动学习数据中的层次化模式结构,减少人工特征工程需求。卷积神经网络(CNNs)作为深度学习中用于图像处理的技术,通过多层数学卷积自动提取边缘方向、纹理、形状和颜色等视觉特征,其数据表征方式与人脑感知多模态信息的方式类似。生物学和野生动物研究界已开始利用机器学习和计算机视觉进行基于图像的监测研究。

## 研究目的与核心工作

为提升热成像视频监测的效率和透明度,研究人员利用计算机视觉和深度学习方法,开发了针对国家实验室落基山分院(National Laboratory of the Rockies, NLR)Flatirons校区风力涡轮机热成像监控视频的开源工作流。本研究目的并非声称单一训练模型可推广至所有风力涡轮机设计或相机配置,而是证明相对易获取的机器学习工具可减少对劳动密集型处理的依赖,并支持高度定制化的图像处理工作流。该系统的构建目标包括:在个人计算机上运行、系统要求适中、检测和分类飞行动物并支持可计算的离线筛选、减少云层和涡轮叶片等干扰运动造成的假阳性、记录帧级输出(支持飞行轨迹和环境变量关联后处理)、可针对新站点/相机/目标类别再训练,以及完全开源以便用户检查、适应和改进。

## 研究方法概述

研究采用卷积神经网络架构,开发了二分类(生物/非生物)和生物目标分类(蝙蝠/鸟类/昆虫)两个机器学习组件。使用Python 3.10.4编程,调用OpenCV 3.4.5.20进行计算机视觉处理,TensorFlow 2.0进行机器学习,Keras 2.3.1进行深度学习模型交互。CNN输入层为50×50像素的3层图像,包含3个深度卷积层(卷积核3×3,滤波器数量分别为32、64、64),各卷积层后接2×2最大池化层,经扁平化层后进入128个节点的全连接层,采用修正线性单元(Rectified Linear Unit, ReLU)激活函数,50% dropout层防止过拟合,最终输出层2节点(二分类)或4节点(多分类)。模型在配备Intel i9 2.9GHz 6核处理器和32GB内存的笔记本电脑上训练,每轮平均训练时间45分钟。

训练数据来源于NLR Flatirons校区运营风力涡轮机全年56段热成像视频(该涡轮机塔筒高80 m,转子直径77 m),经技术人员使用背景减除法预处理后由专家(PMC)人工审核确认。通过OpenCV内置的MOG2(Mixture of Gaussians 2)背景减除功能(历史帧3帧、方差阈值75、滤波尺寸50×50像素)提取运动目标ROI图像,经人工标注后构建训练库。数据集按80%/10%/10%分为训练集、验证集和测试集。二分类模型采用30%预测概率阈值优化生物目标检测与假阳性控制的平衡;生物目标分类模型经过4轮递增数据集大小的迭代训练,以评估样本量对性能的影响。后处理阶段通过邻近性和运动连续性跨帧追踪同一目标,记录目标级元数据用于生成2D图像空间轨迹。

模型评估采用精确度-召回率(Precision-Recall, PR)曲线、受试者工作特征(Receiver Operating Characteristic, ROC)曲线和混淆矩阵,重点考察假阴性(生物目标误判为非生物)和假阳性(非生物误判为生物)以及不同阈值下的PR行为。

## 研究结果

### 二分类目标检测

该二分类模型在源自相同风力涡轮机/相机系统的测试影像上表现良好。经过连续多轮训练迭代,模型区分生物目标(蝙蝠、鸟类、昆虫)与非生物运动(云层和风力涡轮机叶片)的准确率提升,PR曲线下面积(Area Under Curve, AUC)接近1,表明系统内判别性能强劲。

为验证模型,4个模型版本使用相同的数据集进行比对,该数据集包含28,404张图像,其中4,017个生物目标和24,391个非生物目标。通过目视检查算法标注图像,确认非生物图像集中的假阴性检测数和生物图像集中的假阳性检测数。选择30%预测概率阈值作为主要测试依据,该阈值在最大化生物目标检测的同时减少了涡轮叶片和云层引起的假阳性;该阈值系实践经验选择,非来自正式优化程序。采用此阈值时,2%的非生物目标被误分类,3%的生物目标被误分类为非生物目标,且随训练数据集增大两轮错误率均下降。

### 生物目标分类

在开发二分类模型后,研究人员应用相同CNN结构对检测到的生物目标进行蝙蝠、鸟类或昆虫分类。蝙蝠识别正确率超过90%,1.1%的蝙蝠被误识别为鸟类;鸟类分类准确率为82.6%,9.8%的鸟类图像被误分类为蝙蝠,这可能反映了该地点夜间鸟类检测主要为小型候鸟而非热成像特征更显著的大型猛禽或水禽;昆虫分类准确率较低(69%),27.3%被误分类为蝙蝠,这种误分类主导方向表明若不经筛选,昆虫检测将膨胀蝙蝠活动计数。鉴于这些局限,建议昆虫分类结果仅作为昆虫可能存在的证据,而非可靠的昆虫丰度或活动度量。

第4轮迭代生物目标分类模型的三种图像训练场景(平衡数据集/50轮次、非平衡数据集/70轮次、非平衡数据集/100轮次)显示,轮次数对性能影响甚微,平衡与非平衡类别表示对蝙蝠、鸟类和非生物目标产生 broadly 相似的结果,但昆虫始终是效果最差的类别,表明昆虫分类受限不仅在于样本数量,还在于昆虫大小、距离、姿态、热对比度和季节性丰度的变化。

### 2D生物目标追踪与生态后处理演示

除帧级检测和分类外,该工作流管道还记录目标级元数据用于后处理运动路径,包括x/y像素位置、目标ID、时间戳、帧编号、预测类别和类别概率。这些数据支持将同一目标的连续检测重建为2D图像空间轨迹,并可计算表观像素速度、x/y位移和视野内停留时间。

研究人员演示了蝙蝠和昆虫飞行路径的生成,展示目标级检测如何与环境变量配对,包括蝙蝠飞行路径重建、像素速度、不同湍流强度下的停留时间、不同风速下的停留时间,以及昆虫在视野内的位置、表观像素速度、风力涡轮机底部不同风速下的检测数、按夜间时段的检测数。这些附加生成的数据集旨在演示该工作流的能力证明,而非正式的行为推断。

## 讨论

### 核心结论与意义

这些发现表明,开源计算机视觉工具和相对轻量的CNN模型可整合到实用的热成像视频工作流中,用于检测和分类风力涡轮机附近的飞行生物目标。该研究的最重要贡献不在于单一训练模型可立即 universally 部署,而在于展示了从劳动密集型热成像视频审查迈向机器学习辅助检测、分类和后处理2D运动的透明、可及路径。生态学和野生动物管理应用需要技术性能与清晰推断限定的双重保障。

最终二分类模型在单一风力涡轮机/相机配置的热成像视频复杂场景中实现了高系统内准确率。30%预测概率阈值在优先生物目标召回的同时减少了干扰运动的假阳性,但该阈值应根据监测目标由用户定义和调整。对于蝙蝠保护筛查,较低阈值可能更合理以减少漏检;任何实际运营场地的决策需额外确认和场地特定校准。

该生物目标检测工作流的优势在于设计运行于适度消费级计算硬件,支持其作为可计算访问的筛查工具的潜力。然而,每图像推断时间未正式记录,且未在持续连续部署条件下评估,因此关于近实时使用的讨论应理解为离线视频分析期间观察到的计算可行性,而非运营实时验证的证据。

生物目标分类模型部分解决了信息延迟问题,蝙蝠分类最强(>90%),鸟类中等(82.6%),昆虫最弱(69%)。尽管鸟类绝对体型通常大于蝙蝠,但较低鸟类准确率可能反映了2D成像的问题:高海拔飞行的鸟类显得更小,与涡轮顶部飞行的蝙蝠热成像轮廓更相似。昆虫准确率低至需要额外验证,不应作为精确测量解释。

该模型及工作流的生态价值在于将长时间热成像视频转化为定量数据集,支持蝙蝠存在与环境及涡轮变量的关联分析,可潜在回答野生动物活动、暴露和行为相关问题。除存在/缺席和类别标签外,目标级输出可汇总为视野内时间、重复通过、表观2D运动速率和图像空间飞行路径,并可与风速、湍流强度、夜间时段、季节、温度或涡轮状态等变量配对。这有助于评估蝙蝠活动是否随环境条件变化,或蝙蝠活动是否与昆虫活动共现,也可指导这些监测工具能否检测对减速或威慑等最小化技术的行为响应。

### 方法特色与局限

两阶段检测和分类方法(先通过背景减除识别候选区域,再由CNN分类)的价值在于每阶段可独立检查、再训练和评估,计算负担相对较低。选择此架构是因为初始目标是透明且可及的系统,可在适度消费级硬件上运行而无需专用高性能计算资源。与单阶段方法(如YOLO)相比,这种设计降低了训练数据量需求、计算资源和配置复杂度,但代价是依赖背景减除步骤的质量、干扰运动需由分类器下游处理、且不原生利用帧间时间信息。

该工作流的重要局限包括:数据集来自单一风力涡轮机/相机系统,未建立跨设计、区域、热像仪设置或景观的泛化性;图像级训练/验证/测试划分虽测试了未用于训练的图像,但未提供跨站点的完全独立验证;分类器基于单帧ROI运行,不直接考虑时间连续性;昆虫分类准确率较低,限制其用于定量生态分析;运营用途的自动化风力涡轮机控制和AI驱动智能减速需额外验证;所有训练和测试影像采集于黄昏、夜间和黎明时段,日间热对比条件下的性能未评估。

所有报告的性能值为单一保留测试集的单点估计,原始测试运行的逐预测输出未保留,无法回溯计算置信区间或自助法不确定性估计。未来评估建议保留逐预测输出以支持此类分析。

### 未来方向

未来工作需在其他场地验证该工作流,整合多相机和校准3D重建以满足需距离和深度信息的行为推断,并对全夜部署的运营性能进行基准测试。数据、训练模型权重、训练和推断脚本及软件依赖说明已在Dryad数据存储库和GitHub开源发布,以支持社区评估、再训练和复用。

### 研究结论翻译

这些发现证明,开源计算机视觉工具与相对轻量的卷积神经网络模型可被整合进实用的热成像视频工作流,以检测和分类风力涡轮机附近的飞行生物目标。此研究最重要的贡献并非证明某个单一训练模型已可 universal 部署;相反,所展示的工作流管道表明了一条透明且可及的路径,即从劳动密集型的热成像视频审查转向机器学习辅助的检测、分类和可与环境变量耦合的2D运动后处理。生态学和野生动物管理应用既需要技术性能也需要清晰界定的推断限度。最终二分类模型在同一风力涡轮机/相机配置采集的复杂热成像视频场景中,实现了高系统内区分生物与非生物运动物体的准确率。30%的预测概率阈值在优先召回生物目标的同时,减少了来自干扰运动的假阳性检测,但阈值应由用户根据监测目标定义和选择。该工作流的主要生态价值在于将长时间热成像视频转化为定量数据集,使得蝙蝠存在能够与环境和风力涡轮机变量相关联,潜在地回答有关野生动物活动、暴露和行为的问题。该实用方法可适配于新的监测问题,但训练好的模型权重不应被假设在所有设定中不变转移。未来研究需要明确测试跨场地迁移、场地特定微调以及对相机设置和环境条件的鲁棒性。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号