《Ecological Informatics》:BatBuddy: An open-source tool to detect bat feeding buzzes with potential for social call detection
编辑推荐:
声学记录(acoustic recording)广泛用于蝙蝠研究和监测,使得自动识别(automated identification)至关重要。物种分类器(species classifier)通常分析单一回声定位脉冲(echolocation pulse)
声学记录(acoustic recording)广泛用于蝙蝠研究和监测,使得自动识别(automated identification)至关重要。物种分类器(species classifier)通常分析单一回声定位脉冲(echolocation pulse),因此在行为相关的脉冲序列(behaviorally relevant pulse sequence)上表现不佳。研究人员介绍了BatBuddy,这是一种开源工具,通过将音频转换为声谱图(spectrogram)并利用基于图像的目标检测(image-based object detection)模型分析完整脉冲序列,来检测捕食嗡嗡声(feeding buzz)和某些类型的社交呼叫(social call)。训练和测试数据从三个大型蝙蝠录音数据集中采样,使用了城市和乡村环境中的不同探测器(detector)。该工具将音频转换为具有固定时间和频率分辨率的声谱图,之后模型检测并定位捕食嗡嗡声或社交呼叫。最终模型在2381个捕食嗡嗡声、2857个社交呼叫和2442个“其他”呼叫(主要为昆虫)上进行了训练。性能测试使用了1500个手动标注的五秒录音。BatBuddy在捕食嗡嗡声上达到了0.864(0.822–0.901 95% CI)的最大F1分数(F1-score),在社交呼叫上达到了0.894(0.869–0.917),需要准确的时间定位单个呼叫。与两个现有开源捕食嗡嗡声探测器(不存在可比较的社交呼叫探测器)的比较仅限于录音级别的存在/不存在,因为这些工具不提供精确的呼叫时间。在保持运行时间与现有工具相当的同时,BatBuddy达到了0.851的最大F1分数(对比0.582和0.285),正确识别了119个含有捕食嗡嗡声的文件(对比74和43),并产生了13个假阳性(对比32和110)。BatBuddy为与训练数据中类似的蝙蝠群落提供了即开即用的捕食嗡嗡声检测。基于回声定位蝙蝠物种间捕食嗡嗡声的声学相似性,研究人员假设该模型将泛化到训练数据中代表的荷兰物种之外——不过这需要外部数据集进一步验证。对于声学多样性更大的社交呼叫,该工具作为一个概念验证,结果很有前景。研究人员提供了一个灵活的框架,允许研究人员未来用物种特异的社交呼叫扩展训练数据集。
论文解读:
**研究背景与问题**
全球蝙蝠面临城市化、光污染、气候变化等人类活动带来的多重威胁(Jung and Threlfall, 2018; Stone et al., 2015; Voigt and Kingston, 2016)。声学记录(acoustic recording)作为一种高效、非侵入性的手段,被广泛用于大时空尺度的蝙蝠监测,但其产生的大量音频数据亟需自动处理工具。现有物种分类器多基于单一回声定位脉冲(echolocation pulse)进行分析,对捕食嗡嗡声(feeding buzz)和社交呼叫(social call)这类包含多脉冲的行为相关脉冲序列(behaviorally relevant pulse sequence)识别效果不佳。目前,针对捕食嗡嗡声的开源检测工具(如BuzzFindr和Tadarida)性能有限且不提供精确时间定位,而尚无开源社交呼叫检测工具。因此,开发一种快速、准确、易于使用的行为呼叫自动识别工具,对于研究蝙蝠觅食行为、社交互动及生态保护具有重要价值。
**研究内容与结论**
研究人员开发了BatBuddy,一种基于声谱图(spectrogram)目标检测的开源工具,用于在蝙蝠声学记录中自动检测捕食嗡嗡声和特定类型社交呼叫。该工具利用YOLOv8n模型(Jocher et al., 2023),将音频转换为像素级声谱图,对完整脉冲序列进行图像级检测,并输出呼叫的时间、频率和类别信息。训练和测试数据来自荷兰的三个大型蝙蝠录音数据集(城市环境使用SM4BAT-FS探测器、乡村环境使用SM4BAT-FS和Pettersson D500X探测器),手动标注了捕食嗡嗡声、社交呼叫(仅多组分类型Type-A和Type-D)以及其他噪声/昆虫呼叫。最终模型(V3)在2381个捕食嗡嗡声、2857个社交呼叫和2442个其他呼叫上训练,并通过1500个手动标注的五秒录音进行性能评估。结果显示,BatBuddy在呼叫级(call-level)对捕食嗡嗡声和社交呼叫分别达到0.864和0.894的最大F
1分数(F
1-score),并提供了精确的时间定位。在录音级(recording-level)与现有工具对比中,BatBuddy的捕食嗡嗡声检测F
1分数为0.851,显著优于Tadarida(0.582)和BuzzFindr(0.285),同时假阳性数量低至13个(对比32和110),运行时间与现有工具相当。该工具在训练数据覆盖的荷兰蝙蝠物种(主要为伏翼属Pipistrellus spp.、蝠耳蝠属Eptesicus serotinus和夜蝠属Nyctalus noctula)中可直接使用,并假设对回声定位蝙蝠物种间声学相似的捕食嗡嗡声具有泛化能力;对于声学多样性更高的社交呼叫,工具作为概念验证展示了良好前景。论文发表在《Ecological Informatics》。
**关键技术与方法(不超过250字)**
方法包括:1)音频预处理:使用短时傅里叶变换(STFT,512样本Hann窗,256跳长)将音频转换为一秒声谱图,频率标准化至0–120 kHz,时间0–1000 ms,振幅转为对数刻度并映射为RGB彩色图,最终尺寸为1280×400像素;采用滑动窗口策略(重叠参数)避免边界漏检。2)目标检测模型:选用YOLOv8n(nano版本)作为检测框架,在训练集(2381个捕食嗡嗡声、2857个社交呼叫、2442个其他呼叫)上训练至验证集性能不再提升(最多89个epoch)。3)后处理:将模型检测的边界框像素坐标转换为频率(kHz)和时间/时长(ms),通过时间戳合并滑动窗口造成的重复检测,最终输出CSV文件。4)性能评估:使用1500个手动标注的五秒测试录音(含148个捕食嗡嗡声文件/195个呼叫,149个社交呼叫文件/469个呼叫),采用基于时间重叠的交并比(IoU≥0.5)作为匹配标准,计算F
1分数、平均精度(AP)和平均精度均值(mAP),并通过1000次自助法估算95%置信区间。与BuzzFindr和Tadarida的比较仅在录音级存在/不存在层面进行。
**研究结果**
**数据来源与标注**
三个数据集分别来自城市环境(SM4BAT-FS探测器,412.7万条录音)、乡村环境(SM4BAT-FS探测器,129.3万条录音)和乡村环境(Pettersson D500X探测器,194.4万条录音)。手动标注三类呼叫:捕食嗡嗡声(从连续脉冲间隔降至前一个间隔的一半开始,至喂食后暂停结束)、社交呼叫(仅多组分类型Type-A和Type-D,排除单脉冲社交呼叫和应激呼叫)、其他(包括昆虫叫声、雨滴等类蝙蝠噪声)。训测试数据均来自同一总体池。
**工具工作流程**
依次执行音频→声谱图转换(固定频率分辨率、滑动窗口)、YOLOv8n模型检测、检测结果后处理(像素坐标转频率/时间、合并重复、导出CSV)。
**性能测试方法**
测试数据集包含1500个五秒录音,呼叫级性能基于时间IoU(仅时间轴)≥0.5判断匹配;录音级性能基于文件内是否存在呼叫。模型V1、V2、V3逐步增加训练数据,最后V3模型训练数据为2381个捕食嗡嗡声、2857个社交呼叫、2442个其他呼叫。滑动窗口重叠率测试(10%–50%)未提升性能。比较工具使用默认参数(仅调节置信阈值)。性能指标包括F
1分数、AP、mAP及白助法95% CI。
**性能结果**
- 呼叫级(呼叫级resampling):V3模型对捕食嗡嗡声的AP为0.906(95% CI 0.868–0.937),最大F
1分数为0.864(0.822–0.901),置信阈值为0.35;对社交呼叫的AP为0.893(0.859–0.921),最大F
1分数为0.894(0.869–0.917),置信阈值为0.21。平均每测试集正确检测159个捕食嗡嗡声(TP)和411个社交呼叫(TP),假阳性分别为14和38个。
- 录音级(录音级resampling):与现有工具比较,BatBuddy在捕食嗡嗡声检测上AP为0.899(0.858–0.936),最大F
1分数为0.851(0.804–0.894)@置信阈值0.50,正确识别119个阳性文件(TP),假阳性13个;Tadarida AP为0.616,F
1为0.582(TP 74,FP 32);BuzzFindr AP为0.227,F
1为0.285(TP 43,FP 110)。运行时间分别为7分34秒、5分15秒、7分32秒。
**讨论与结论**
BatBuddy的捕食嗡嗡声检测性能显著优于现有工具,可用于自动识别昆虫捕获尝试,为食物网互作和觅食策略比较提供可靠代理指标,并有望在风电场风险缓解中发挥作用(通过识别高空觅食行为)。社交呼叫检测为研究蝙蝠社交互动提供了自动化工具,结合野外观察可深入理解社会行为,甚至可能用于监测疾病信号(如免疫挑战下呼叫结构变化)。局限性包括:1)置信阈值基于测试数据集优化,其他数据集性能可能波动;2)训练和测试数据仅代表荷兰三个常见物种(频率调制呼叫结构),对声学结构不同的物种需验证;3)社交呼叫对物种和语境依赖性强,泛化能力有限。未来可通过补充训练数据或重新训练模型来覆盖更多物种和场景。研究人员提供了完整训练数据、文档和再训练框架,遵循FAIR原则,以促进协作扩展。结论:本文所介绍的工具代表了使用基于图像的目标检测在蝙蝠行为呼叫分类和定位方面的进展,除为类似研究系统提供即开即用能力外,研究人员希望借助合作扩展训练数据集,涵盖更多生态系统和栖息地的物种和语境特定呼叫。