加速野生动物图像标注与AI模型训练的方法

《Ecological Informatics》:Speeding up image annotation and AI-model training for wildlife images

【字体: 大 中 小 】 时间:2026年07月11日 来源:Ecological Informatics 8.5

编辑推荐:

  野生动物研究正在经历一场技术革命,日益依赖遥感(remote sensing)技术,并将更多工作投入到将复杂信号转换为数据的过程中。作为这场革命的前沿工具,相机陷阱(camera-traps)催生了大量方法、工作流、流程管线、在线平台和软件包,以帮助使用者将图

  
野生动物研究正在经历一场技术革命,日益依赖遥感(remote sensing)技术,并将更多工作投入到将复杂信号转换为数据的过程中。作为这场革命的前沿工具,相机陷阱(camera-traps)催生了大量方法、工作流、流程管线、在线平台和软件包,以帮助使用者将图像转化为数据。缺乏专业训练的使用者很容易因这些工具的多样性而感到无所适从,而最易获取的通用型解决方案通常在人工处理效率或自动图像分类性能方面都难以令人满意。因此,正如近年来大量提出新型野生动物分类模型的研究所显示的那样,为回答具体研究目标,往往仍需训练定制化模型,这对缺乏计算机视觉(computer vision)训练的野生动物研究人员而言是一项艰巨任务。

本文引导读者完成一个基于 Timelapse 和 R 的流程管线:从原始图像标注开始,最终完成定制AI模型的训练。该流程聚焦于高效的图像级(image-level)人工标注,并将繁琐的目标检测(object detection)与实例分割(instance segmentation)任务转交给预训练通用模型处理。研究人员通过一个基于北美小型哺乳动物数据集的概念验证(proof-of-concept)展示了该流程的优势:人工标注时间缩短至原来的1/5,并且即使在类别频率严重不平衡的情况下,所生成模型在所有类别上的性能指标——F1分数(F1 score)与平均精度均值(mean Average Precision, mAP)——均超过90%。为帮助读者顺利入门计算机视觉相关工作,研究人员在线提供了支撑该流程的全部代码及详细操作说明。
该文发表于《Ecological Informatics》,围绕野生动物相机陷阱图像的高效标注与定制化人工智能模型训练,提出了一套从原始图像到YOLO模型训练的完整流程管线。研究背景在于,生态学与野生动物研究日益依赖相机陷阱、遥感等技术手段获取大规模图像数据,但“从图像到数据”的转换仍是制约研究效率的关键瓶颈。尽管现有在线平台、软件和R/Python软件包已能支持图像标注与半自动分析,但它们往往存在两类突出问题:一是通用平台的标注协议高度标准化,灵活性有限,难以适配具体项目需求;二是现成的检测或分类模型虽然通用性较强,却往往无法满足物种出现、丰度评估等研究问题对精度的要求。因此,针对具体研究场景构建带标签的数据集并训练定制模型,仍是野生动物图像自动化分析的现实需求。然而,传统对象级标注需要逐一绘制边界框或轮廓,工作量巨大,且对缺乏计算机视觉背景的生态学研究人员构成明显门槛。基于此,研究人员开发并总结了一条兼顾易用性、效率与可复现性的流程,以降低定制模型训练的技术障碍,并提高训练数据构建效率。

该研究的核心思想是:利用Timelapse进行高效图像级人工标注,再借助预训练通用模型自动生成对象坐标与轮廓,从而将图像级类别信息转移到对象级标签上,最终形成可直接用于YOLO(You Only Look Once)目标检测或实例分割模型训练的数据集。研究人员特别指出,野生动物图像具有一个重要特征,即绝大多数图像仅包含单个个体或多个同类个体,因此将图像级类别标签赋予自动检测到的所有目标,在许多相机陷阱场景中是合理且高效的。这一特征使得原本最耗时的对象级边界框绘制与实例轮廓勾画,可以部分委托给MegaDetector和SAM(Segment Anything Model)完成,而人工工作主要集中于更高效的图像级分类与计数。研究所给出的概念验证显示,这种策略可将人工对象标注效率提高5倍,同时训练得到的分割模型在类别严重不均衡的前提下,依然能取得较高的F1 score与mAP[50–95]。

研究人员采用的主要技术方法包括:使用Timelapse对原始相机陷阱图像进行图像级标注,并结合StreamDeck?手持控制器提升输入效率;在R环境中通过reticulate调用Python工具链,使用MegaDetector自动生成动物边界框,依据Timelapse导出的类别和个体数信息筛除目标数不一致的图像;再用SAM依据边界框生成实例掩膜,并转换为YOLO格式多边形轮廓标签;随后利用图像级增强与对象级复制—粘贴增强构建类别更均衡的数据集;最终训练YOLO实例分割模型。概念验证数据来自加拿大东部5个站点、沿45°N—82°N纬度梯度布设的>15种北美小型哺乳动物相机陷阱监测项目,年图像量约90万张。

以下结合论文主体结构,对研究内容加以系统解读。

首先,研究人员在“Introduction”部分明确界定了问题:相机陷阱虽已成为生态数据采集最有前景且干扰最小的方法之一,但海量图像的人工转译仍极其耗时,而自动化处理又常受限于技术复杂度与模型泛化不足。文章进一步区分了图像级标注、对象级标注与YOLO格式标签三者的差异,指出对象级标注通常包括两步:定位目标与赋予类别。相比之下,图像级标注虽然不直接包含目标坐标,却在绝大多数野生动物图像“同图同类”的前提下,可与目标检测模型输出进行拼接,从而显著降低人工成本。由此,研究人员提出了整合Timelapse、MegaDetector、SAM、R及YOLO的完整流程。

在“General structure of the annotation pipeline”部分,文章系统介绍了整条流程的架构。该流程以Timelapse承担人工标注,以R承担流程调度与数据整理,并通过reticulate接入Python中的视觉模型。研究人员还推荐使用targets包管理多步骤流程的执行顺序与状态。值得注意的是,流程并不在前期删除空触发或非目标触发图像,而强调训练样本应尽可能代表整个数据集的多样性,以便后续模型具备识别目标与过滤空图像的能力。

在“STEP 1: Image-level annotation with Timelapse”中,研究人员说明了Timelapse的优势:其为Windows环境下运行的免费软件,无需联网、图像切换快、可自由设计录入协议,并可直接导出生态学研究者熟悉的表格文件。其“Quick Paste”快捷录入功能可将键盘快捷键绑定到特定字段输入;进一步结合StreamDeck?手持控制器后,可将“下一张图像”“复制上一张数据”“标记为空图像”“指定类别”等操作映射为实体按钮。研究结果表明,这种配置显著提高了图像级标注效率。该步骤还讨论了多类别同图或非动物对象等特殊情形,指出这类图像可被标记并导出至Roboflow进行人工对象级标注,之后再与主流程数据合并。

在“STEP 2: Generating bounding boxes with MegaDetector”中,研究人员引入MegaDetector自动完成目标定位。MegaDetector属于一组主要检测人、动物与车辆的目标检测模型,其优势在于任务定义相对简单,因此可跨多种场景迁移使用。该步骤输出JSON格式边界框坐标,再通过比较MegaDetector检测到的目标数与Timelapse人工计数,自动筛除不一致图像,并将其转移至外部文件夹供人工复核。研究人员强调,这一步既是质量控制环节,也是偏倚监测环节:若某些背景、姿态或情境的图像持续被排除,则应考虑人工补标,以免引入系统性偏差。之后,图像类别信息与边界框坐标被组装成YOLO格式标签文件。

在“STEP 3: Generating neat contours with SAM”中,文章进一步将边界框输入SAM,以生成实例分割掩膜。由于YOLO分割模型训练所需的是多边形轮廓而非二值掩膜矩阵,研究人员编写代码对掩膜进行后处理,包括填补孔洞、合并大型断裂区域、删除小型离散区域,并最终转换为YOLO格式的多边形坐标。这一步使训练数据由单纯边界框标签升级为实例分割标签,为后续对象级增强与分割模型训练奠定基础。

在“STEP 4: Preparing the model training dataset”中,研究人员详细讨论了数据集构建原则。首先,训练集、验证集与测试集应合理划分,以避免过拟合(overfitting)并真实评估模型泛化能力。其次,相机陷阱图像常存在时空不独立性,同一序列、同一相机或同一站点的图像若分布于不同数据子集,会导致验证或测试指标虚高。再次,野生动物数据通常呈现“长尾分布”(long-tailed datasets),即部分类别样本极多,而稀有类别样本稀少。为缓解类别不平衡,研究人员采用过采样(oversampling)策略:对稀有类别进行图像翻转、旋转、亮度调整、模糊、对比度改变等图像级增强,并进一步利用SAM提供的对象轮廓进行复制—粘贴式对象级增强,将对象置于不同空背景中,以扩增稀有类别图像并提高类别均衡度。文章指出,虽然过采样存在信息冗余的上限,但在一定范围内有助于提升模型性能。

在“STEP 5: Training a custom model with YOLO”中,研究人员说明了YOLO模型训练的实施方式。YOLO是当前目标检测、实例分割和关键点检测中性能较高且训练简便的模型架构。流程会自动构建包含图像路径、标签路径与类别字典的YAML文件,以便调用Ultralytics框架开展训练。文章建议在配备GPU(图形处理器)的高性能服务器上执行训练,因为完整训练可能持续数日,并常需多次迭代调参。

在“STEP 6: Predicting on pictures and converting images to data”中,研究人员展示了训练完成后的应用环节。利用YOLO的predict()函数,可在新图像上输出目标类别、位置及轮廓;利用track()函数,还可在连续图像间赋予目标ID,适用于个体连续跟踪。输出标签文件最终可被整合为单一.csv文件,其中每一行对应一个“目标—图像”记录,并包含图像元数据与目标属性,从而完成“图像到表格数据”的转化。

论文的“Proof-of-concept: Small mammal monitoring with automatic cameras”部分对该流程进行了实证检验。研究使用来自加拿大东部5个站点、覆盖15种以上小型哺乳动物的相机陷阱数据,年图像量约90万张。相机安装在带固定背景的铝制盒体内,为训练检测与分割模型提供了相对理想的场景。研究人员围绕四个问题展开测试:不同平台与标注层级的效率差异、不同MegaDetector模型的表现差异、类别不平衡与增强策略对模型性能的影响,以及数据集规模与模型性能之间的关系。

在“3.1. Methods”中,研究人员分别比较了Roboflow、Timelapse与Agouti三类平台,分别对应对象级、图像级与序列级标注;测试了4种MegaDetector模型对每类150张图像的目标数预测表现;构建了无增强、图像级增强、对象级增强与混合增强4种数据构建模式;并在多种每类样本量条件下训练YOLO分割模型,以共同测试集上的F1 score与mAP[50–95]为评估指标。模型训练参数包括:选用MDV5-a、训练100个epoch、batch size为64、输入分辨率640,其余参数使用默认值。

在“3.2. Results”中,研究结果显示,序列级标注效率最高,但若用于模型训练会因同一序列中的空图与非空图共享注释而污染训练集;对象级标注质量最高,但劳动成本最大;Timelapse结合StreamDeck?则在效率与训练适用性之间提供了较优折中。MegaDetector的表现则存在明显模型间与类别间差异:不同类别上,正确检测目标数的比例为8%至91%,不同模型平均表现为33%至71%。且模型主要表现为漏检(II型错误)而非误检(I型错误),这说明应用前必须针对具体数据集测试多个版本。研究还发现,随着每类数据量增加,定制YOLO分割模型性能持续提升,但当每类图像超过约2000张后,提升幅度趋于有限。这一结果从实证上支持了流程设计初衷:通过更高效的数据标注来扩大训练集规模,从而改善模型性能。

在“Discussion”部分,研究人员总结认为,该流程通过将图像级类别标注、自动目标检测与实例分割有机衔接,构建出一条适用于相机陷阱图像的实用、完整且可复现的训练数据生成与模型训练路径。其最大优势在于充分利用了野生动物数据“同图同类”这一经验特征,将对象级标注中最耗时的环节交由通用预训练模型完成,同时保留项目自定义能力与较高可控性。概念验证表明,该流程可将标注效率提高5倍,并支持生成性能良好的YOLO检测或分割模型。研究人员同时明确指出了该流程的适用前提与局限:目标必须可被MegaDetector检测到,且图像级标签必须能够安全转移至所有检测对象;一旦这些条件不成立,就仍需人工对象级标注。此外,若训练集、验证集和测试集之间缺乏足够独立性,则模型表现可能被高估,因此在一般场景下应尽量按序列、相机或站点进行划分。文章还强调,该流程并非替代现有网络平台或Python框架,而是为希望提高控制度、又不愿自行搭建复杂Python流程的野生动物研究人员提供一种替代路径。由于主体逻辑以R实现,并尽量减少与Python的直接交互,该方案特别适合生态学与野生动物领域的初学者进入计算机视觉应用。

论文结论部分可概括翻译如下:研究人员提出了一条可理解、模块化且高效的流程管线,用于将相机陷阱图像从人工标注推进至定制YOLO模型训练与预测应用。该流程结合Timelapse的高效图像级标注、MegaDetector的动物检测能力、SAM的实例分割能力,以及R与Python联动的自动化优势,可显著降低训练数据制作成本并提升研究者对分析流程的掌控力。流程在北美小型哺乳动物数据上的概念验证表明,其可大幅提升标注效率,并训练出高性能模型。尽管该流程依赖于MegaDetector的检测表现,且适用性受任务特征限制,但其在野生动物相机陷阱图像处理中具有明确实践价值,为生态学研究者开展定制化计算机视觉分析提供了可复现的技术路径。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号