《Ecology and Evolution》:Computer Vision for Monitoring Wild Bees and Wasps: A Structured Literature Review
野生蜜蜂和黄蜂对生态系统至关重要,然而对个体昆虫及其栖息地和行为的大规模监测需要专业知识且劳动强度极高。计算机视觉的最新进展为这些任务提供了方法论解决方案和实际应用。本综述系统调查了关于基于计算机视觉(computer vision, CV)监测野生蜜蜂和黄蜂的最新文献(2020–2026年)。研究人员比较了主要的监测任务,例如个体检测与分类、栖息地观察以及昆虫行为评估,并分析了特定计算机视觉技术如何为每项任务做出贡献。通过检查所综述研究中使用的数据集,研究人员进一步对数据集类型和收集策略进行分类,以指导未来的图像采集。此外,研究人员从广泛使用的公共资源(例如iNaturalist、Observation)中汲取了关于其在该领域优势和局限性的见解。然后,研究人员检查了这些研究中硬件和软件的集成方式,并回顾了已发布的代码库、现有应用程序以及更复杂、多功能监测站的设计。这些分析为使用现有数据集和监测工具进行基准测试和未来部署提供了指导。研究人员最终提出了构建更全面、更高效的野生蜜蜂和黄蜂自动监测系统的设计。
论文主体部分围绕计算机视觉(computer vision, CV)监测野生蜜蜂和黄蜂展开,系统分析了研究现状、数据集、方法及工具。以下按原文小标题总结内容。
**3 Results**
**3.1 Geographic and Temporal Trends**
对26篇论文第一作者所属机构分析显示,多数研究源自欧洲(10/26),其次为北美(6/26)和亚洲(5/26),大洋洲(3/26)和南美洲(2/26)。美国贡献最多(6篇),其次为德国、韩国和澳大利亚(各3篇)。2020至2026年间,出版数量呈上升趋势,表明该领域研究活动日益活跃。
**3.2 Dataset Origin and Geographical Diversity**
数据集采集地点分布与作者地域分布相似:欧洲(6/26)最多,北美(5/26)和亚洲(4/26)次之。美国、韩国、德国和葡萄牙为主要数据来源国。9项研究使用全球公民科学平台(如iNaturalist)的数据,采集地点跨国或未明确指定。在全部数据集中,16个包含个体蜜蜂或黄蜂图像,3个专门针对蜂翅,7个包含栖息地图像(如巢穴、花朵、树木等),另有1个关注蜜蜂周围环境。
**3.3 Taxonomic Focus**
**3.3.1 Wild Bees**
14项研究聚焦野生蜜蜂,均强调其全球种群下降问题。多数研究旨在实现属或种水平的分类或检测,部分尝试识别非蜜蜂昆虫或蜂类拟态者,以及检测健康指标(如瓦螨或花粉携带)。蜂翅形态特征(如翅脉、翅室和节点)也被用于物种鉴定。栖息地研究利用无人机(unmanned aerial vehicle, UAV)影像分析巢穴与花朵或树木分布的关系。
**3.3.2 Wasps**
9项研究聚焦黄蜂,主要将其视为家养蜜蜂(如意大利蜜蜂
Apis mellifera)的天敌或入侵物种(如金环胡蜂
Vespa mandarinia和
Vespa velutina)。多项研究开发了实时监测与预警系统以支持蜂群健康管理和害虫防治。部分研究关注寄生蜂(如
Diapriidae科)的检测。栖息地层面研究分析了黄蜂微生境、巢穴定位及巢口活动模式。黄蜂常与蜜蜂等昆虫共存,且易被误认,因此分类研究常涉及区分
Vespa velutina与共存蜂类。大规模昆虫物种分类模型(如InsectNet)覆盖包括野生蜜蜂和黄蜂在内的2526个物种。另有研究通过分割蜂翅图像并提取骨架和翅脉节点特征进行物种分类。
**3.3.3 Frequently Studied Genera**
11篇论文聚焦单一属。蜜蜂属中,研究集中在熊蜂(
Bombus,3篇)、切叶蜂(
Osmia,1篇)和地蜂(
Andrena,1篇)。黄蜂属中,胡蜂属(
Vespa)出现6次,黄胡蜂属(
Vespula)出现1次。熊蜂因授粉功能及种群下降受关注;切叶蜂作为独居蜂的代表,用于行为监测管道开发;地蜂常用于研究巢穴聚集与花木分布的空间关系。胡蜂属因对家养蜜蜂的捕食威胁,研究集中于快速检测与巢穴清除策略;黄胡蜂属则关注其入侵性和巢口活动监测。
**3.4 Monitoring Tasks**
**3.4.1 Classification and Detection of Individual Insects**
19篇论文聚焦个体水平任务,主要采用卷积神经网络(convolutional neural network, CNN)模型。18篇使用CNN,包括ResNet、YOLO、R-CNN、MobileNet等;1篇结合CNN与视觉变换器(vision transformer, ViT);1篇采用传统计算机视觉和机器学习管道。在ViT研究中,混合架构(ResNet50+ViT编码器)在小数据集上提升了分类精度。传统方法(如k近邻分类器)基于翅脉节点特征实现高精度识别。
**3.4.1.1 Residual Neural Network (ResNet)**
ResNet出现于9项研究,通过残差学习缓解深层网络训练困难。ResNet50和ResNet101主要用于物种分类、特征提取及健康检测,部分研究结合特征金字塔网络(feature pyramid network, FPN)提高检测性能。Self-supervised learning(SSL)预训练也用于ResNet50以提升泛化能力。
**3.4.1.2 You Only Look Once (YOLO)**
7项研究使用YOLO系列模型(YOLOv3、v5、v8、YOLOX等),实现实时个体检测。YOLO作为单阶段检测器,在小型对象(如胡蜂、寄生蜂)检测中表现突出,并用于巢口活动监测、ID标签识别等行为分析。
**3.4.1.3 Region-Based Convolutional Neural Networks (R-CNN)**
3项研究采用Faster R-CNN或Mask R-CNN。Faster R-CNN通过区域提议网络(region proposal network, RPN)提取候选区域,用于蜜蜂检测和分类;Mask R-CNN增加像素级实例分割分支,用于黄蜂检测。
**3.4.1.4 MobileNet**
3项研究使用MobileNetV2,其深度可分离卷积结构适合资源受限场景。MobileNetV2用于基于蜂翅图像的物种识别,并在野外采集数据集上取得最高准确率(98.4%)。
**3.4.1.5 Other CNN Architectures**
VGG、Inception和EfficientNet各出现不超过3次。VGG16用于区分蜜蜂与拟态者;InceptionV3在熊蜂分类中实现最佳速度-精度权衡;EfficientNet处理小型、视觉挑战性大的物种分类;定制CNN分类器用于黄蜂检测。
**3.4.1.6 Classical Machine Learning**
一项研究采用k近邻(k-nearest neighbors, KNN)结合改进Hausdorff距离对蜂翅图像分类,无需深度学习,在属水平和种水平分别达到99.88%和96.90%精度。
**3.4.1.7 Vision Transformer**
一项研究将ResNet50提取的特征输入ViT编码器,通过自注意力机制改进分类性能,在常规方法基础上提升了准确率。
**3.4.2 Habitat Study**
7项研究涉及栖息地层面,包括巢穴定位、花卉覆盖估算和巢穴预测。CNN方法(YOLO、Faster R-CNN、YOLACT)用于检测蜂巢、树冠和背景分类;经典机器学习(梯度提升机、随机森林等)基于无人机(unmanned aerial vehicle, UAV)影像估算花卉覆盖度;其他方法包括通过文本与图像融合的多模态管道预测胡蜂巢穴位置,以及结合LiDAR和卫星数据(如PlanetScope)利用表格变换器(如SAINT)分类树木,以分析资源分布。
**3.4.3 Behavior Study**
3项研究分析觅食行为、访问模式和群落活动。主要采用CNN模型(YOLO、R-CNN)与跟踪算法(质心跟踪、ByteTrack)结合。例如,独居蜂行为监测管道整合了蜜蜂检测、巢穴检测、彩色标签识别和质心跟踪以重建运动路径;熊蜂访花模式通过帧级检测和停留时间分析实现;黄蜂巢口方向判别结合YOLOv8和ByteTrack实现。
**3.5 Monitoring Platforms**
**3.5.1 Mobile and Web Applications**
5项研究开发了移动或网页应用。DeepABIS提供基于蜂翅的野生蜂物种识别,包括移动端(MobileABIS)和网页版(CloudABIS)。便携式胡蜂检测系统集成移动应用实现实时预警。寄生蜂检测器支持实验室质量图片的单张和批量处理。InsectNet基于2246种昆虫的大规模分类网页应用,包含分布外(out-of-distribution, OOD)检测和共形预测。BeeMachine聚焦熊蜂,提供公共网页推理。
**3.5.2 Released Code**
8项研究公开了代码或数据仓库。BeeTracker作为一个完备的开源管道,整合四个深度学习网络,实现蜜蜂进出巢穴检测、个体ID识别和巢穴位置确定,支持实验室、半野外和野外条件下的行为监测。
**3.5.3 Hardware Setup**
**3.5.3.1 Aerial Image Collection**
4项研究使用有人机或无人机(unmanned aerial vehicle, UAV)获取航拍图像。LiDAR用于生成树木三维分割;消费级UAV(如DJI Air2S)从2米高度拍摄巢穴图像并拼接成正射镶嵌;专业级UAV(如DJI Matrice 210)从30米高处采集草地影像;小型无人机结合三维地图重建进行胡蜂巢候选点检测。
**3.5.3.2 Standalone Cameras**
5项研究使用独立相机。包括科研级显微镜镜头用于寄生蜂成像、GoPro用于野外视频采集、显微镜搭建用于标本拍摄、太阳能自动单反用于野外图像数据集构建。
**3.5.3.3 Monitoring Stations**
5项研究构建了集成相机、传感器、嵌入式处理器和通信模块的监测站。例如,便携式胡蜂实时检测站;BeeTracker的视频监控站;黄蜂巢口通道站(含NVIDIA Jetson Nano);集成硬件与诱捕站的检测原型;以及多相机决策支持系统(decision support system, DSS)。
**3.6 Existing Datasets**
**3.6.1 iNaturalist**
**3.6.1.1 Overview**
iNaturalist是全球公民科学平台,提供带标签的物种图像。子集iNat2017包含5089个类群;iNaturalist2021包含10000个物种。这些数据集广泛用于物种分类和检测研究。
**3.6.1.2 Customized Subsets From iNaturalist**
6项研究从iNaturalist定制子集,选择特定属或类群,如重要蜜蜂属、德国常见物候种、2526种昆虫类、具体胡蜂种和部分熊蜂等。
**3.6.2 Other Datasets**
3项研究使用私人数据集(如历史采集标本和实验室翅图像);2项研究使用其他图像平台(如Freepik和网络视频流)。
**4 Conclusion**
**4.1 Limitations**
**4.1.1 Research Focus**
现有研究大多集中在静态个体分类(底-左象限),动态行为和栖息地监测(顶-右象限)较少。资源可用性分析等动态栖息地研究存在显著空白。
**4.1.2 Species Coverage**
膜翅目(Hymenoptera)多样性极高,但计算机视觉方法多集中于常见属(如
Bombus),稀有物种几乎未被关注。黄蜂研究也仅限于少数入侵种。生态讨论常流于表层,技术应用多于生态洞察。
**4.1.3 Computer Vision Methods**
均基于监督学习,依赖大量高质量标注数据。标签质量(如图像分辨率、鉴定准确性)直接影响模型性能。仅约1/3研究使用公民科学平台,自建数据成本高。部分研究提及数据效率局限,但未深入分析改进策略。未来可探索半监督学习、自监督预训练、零样本检测等方法,并整合DNA条形码(DNA barcoding)以提高物种验证和数据集可靠性。
**4.1.4 Data Source**
数据集来源包括自建、公开和私有三类。所有使用公开数据的研究均来自iNaturalist,其他平台(如Observation.org、Kaggle)未被利用,限制了地理和分类多样性。
**4.1.5 Application**
现有应用大多处于早期或不完整阶段:代码仓库多为基础组件,网页/移动应用功能单一(仅检测或分类),物种覆盖窄,缺少跨地域综合分析。
**4.2 Future Work**
**4.2.1 Current Foundations**
Observation.org提供超过2.5亿条观测记录,可作为补充数据源。BeeMachine已更新至识别354种访花昆虫,整合时空信息提升预测。Bexplainable开源管道包含数据采集、标注、分割和基于ResNet50的物种分类,并集成可解释人工智能(explainable artificial intelligence, XAI)方法。MapBee专注地理空间野生蜂记录与性别预测。
**4.2.2 Future Directions**
提出综合监测框架应包含:扩展数据集(考虑模拟种和稀有物种);属种级分类为基础;加入可解释性;整合时空信息;提供基于位置的科学信息(如物种名录和保护建议);分析用户观测的时间模式以研究昆虫聚集行为。