AVB81:面向野外细粒度鸟类分类的多模态视听数据集与基准

《Animals》:AVB81: A Fine-Grained Audiovisual Dataset and Benchmark for Bird Classification in the Wild

【字体: 大 中 小 】 时间:2026年07月10日 来源:Animals 3.2

编辑推荐:

  自动化鸟类监测在生态信息学和生物多样性保护中发挥着至关重要的作用。尽管细粒度视觉分类取得了显著进展,但复杂野外环境中的目标经常受到远距离拍摄、严重视觉遮挡和强背景噪声等干扰,使得单模态感知极易遭遇性能瓶颈。为了推进视听多模态鸟类分类研究,本文介绍了专为细粒度鸟

  
自动化鸟类监测在生态信息学和生物多样性保护中发挥着至关重要的作用。尽管细粒度视觉分类取得了显著进展,但复杂野外环境中的目标经常受到远距离拍摄、严重视觉遮挡和强背景噪声等干扰,使得单模态感知极易遭遇性能瓶颈。为了推进视听多模态鸟类分类研究,本文介绍了专为细粒度鸟类识别定制的多模态数据集AVB81。该数据集涵盖北美81种鸟类,包含3247个固定时长10秒的野外视频,并精心补充了5418条独立音频和7083张高质量静态图像。基于此数据集,研究人员系统进行了单模态性能评估和跨范式视听融合实验,建立了全面深入的多模态评估基准。实验结果表明,在视频分类任务中,视听多模态融合方法显著优于单模态基线。值得注意的是,基于深度语义空间的中间融合(mid-fusion)策略实现了最优性能。此外,实验客观揭示了复杂野外栖息地捕获的视频中音频识别面临的巨大挑战。总体而言,AVB81在多模态研究中表现出卓越的适应性,为复杂场景下的多模态语义建模提供了一个极具挑战性的评估基准,并为下一代智能生态监测系统的发展和验证奠定了坚实的数据基础。
《Animals》发表的这篇论文针对复杂野外环境下的鸟类自动监测难题,构建了名为AVB81的新型细粒度多模态基准数据集。该研究指出,现有的单模态方法受限于视觉遮挡和背景噪声,而现有的多模态数据集往往缺乏统一的类别覆盖或过度依赖特定的栖息地环境。为此,研究人员整合了视频、独立音频和高分辨率静态图像三种模态数据,并在物种层面实现了严格对齐。通过对主流深度学习架构的系统评估,研究发现视听多模态协同建模的分类性能显著超越单模态方法,其中基于深度语义空间的中间融合策略表现最佳。这项研究不仅验证了视听信息互补的有效性,也为智能野生动物监测和跨模态数据融合提供了重要的数据基础与实验参考。
为实现上述研究目标,研究人员采用了以下关键技术方法。首先,在数据集构建上,视频数据源自VB100数据集,经标准化截取为10秒片段;独立音频源自Xeno-canto数据库,经降噪和裁剪处理;静态图像则源自Birdsnap数据集。其次,为防止数据泄露,研究人员实施了严格的源隔离策略,包括录音级别的隔离和遵循原始视频级别的划分协议。最后,在模型评估方面,研究涵盖了单模态建模分析和跨范式视听融合框架,具体包括早期融合(如通道拼接、卷积特征映射)、中间融合(如拼接、FiLM、门控融合)和晚期融合(如分数平均、加权融合、Logit融合)。所有实验均采用Accuracy和F1-score作为量化评估指标,并通过多次独立运行以确保实证稳定性。

5. 实验与结果

5.1 单模态基准评估

单模态基准实验旨在分析不同模态下的特征分布和分类难度。在视觉模态评估中,Transformer架构整体优于卷积神经网络(CNN)架构,Swin-T在静态图像上表现最佳,但在面对视频中的运动模糊和复杂光照时性能显著下降。在音频模态评估中,模型在独立的高质量音频上表现良好,但在包含大量环境噪声和重叠声音的野外视频音频中,准确率大幅下降至14%至17%之间。这表明在真实的野外视频监测场景中,视觉信息仍是主要的识别依据,但也凸显了引入音频信息的必要性。

5.2 多模态融合基准评估

多模态融合实验进一步验证了视听模态间的互补性。在定量性能分析中,中间融合展现出稳健的基线性能,而早期融合和某些晚期融合方法能力相对有限。在早期融合阶段,模型难以在浅层表示空间中建立稳定的跨模态关联。相比之下,中间融合在深度语义空间内进行跨模态联合建模,更能有效利用视觉与音频的互补信息。在晚期融合中,加权融合通过动态调整不同模态的贡献比例,获得了极具竞争力的准确率。
5.2.2 探索中间融合的优化潜力
研究人员将先进的视听损失函数引入中间融合基线模型中,该损失函数具有模态内稳定性和模态间一致性约束。实验结果显示,迁移到高级视听损失优化后,所有骨干架构的性能均获得了一致的显著提升。特别是门控融合结合视听损失函数确立了整个数据集的最优基准,证明了中间融合架构在集成深度多模态训练约束方面的独特优化灵活性。
5.2.3 统计显著性分析
为确保结果的可靠性,研究人员对5次运行的准确率矩阵进行了配对双样本t检验。统计结果表明,在标准交叉熵基线统一下,FiLM融合显著优于所有早期融合策略。而当集成专门的多模态训练约束时,门控融合在统计学上显著优于所有单一替代配置。这证实了在深度语义特征空间内执行跨模态对齐,并结合专门的联合损失优化,能为复杂野外场景中的细粒度鸟类识别提供稳健的自适应表示优势。

6. 结论

本文构建并系统评估了专为细粒度鸟类视频识别定制的多模态数据集AVB81。该数据集包含静态图像、独立音频以及从视频中提取的视频帧和视频音频,真实反映了野外场景中固有的复杂环境干扰和跨模态学习挑战。通过全面的单模态和多模态基准实验,研究展示了不同网络架构和融合范式之间的性能差异。最终,AVB81为复杂自然场景中的跨模态语义建模和细粒度识别提供了新的数据基础和坚实的实验依据。除了作为算法基准外,这种多模态框架对生物研究也具有重要实用价值。通过验证视觉和声学信息的互补性,该研究为在自然保护区边缘人工智能设备上部署智能监测系统铺平了道路。然而,研究人员也承认AVB81存在一定局限性,包括地理偏差和分类不平衡、录音质量差异和环境噪声、源异质性,以及当前实验主要集中于监督分类。未来的研究将把AVB81的应用范围扩展到更复杂的任务,如跨模态检索和时间行为分析。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号