基于视频监测牛行为时少数类别识别失败的模型比较研究

《Veterinary Sciences》:Comparing Temporal Averaging and Transformer Encoders for Video-Based Cattle Behavior Classification Under Severe Class Imbalance

【字体: 大 中 小 】 时间:2026年10月12日 来源:Veterinary Sciences 2.7

编辑推荐:

   简要摘要 通过视频监测牛的行为可以减少对持续人工观察的需求。然而,能够识别常见行为的模型可能仍然无法处理训练样本较少的行为。本研究比较了四种计算机模型,使用了542段视频,标注主要为站立或卧下,仅有六段标注为反刍(

  

简要摘要

通过视频监测牛的行为可以减少对持续人工观察的需求。然而,能够识别常见行为的模型可能仍然无法处理训练样本较少的行为。本研究比较了四种计算机模型,使用了542段视频,标注主要为站立或卧下,仅有六段标注为反刍(即倒嚼)。这些模型通过平均化或一种更复杂的学习帧间关系的方法,从视频帧中整合信息。表现最佳的模型使用平均化方法,正确分类了约86%的评估视频,同时所需的计算机存储比更复杂的替代方案更少。没有任何模型能正确识别反刍行为,而表现最佳的模型对这些错误却以高度自信的方式进行了错误分类。这些发现表明,仅凭总体准确率可能会掩盖对少数行为识别的失败。在模型能够可靠地支持全面的牛行为监测之前,需要更多此类行为的训练样本,并在不同农场中进行测试。

摘要

由于严重的类别不平衡和对高效时序建模的需求,从视频中自动监测牛的行为是一项具有挑战性的任务。我们在542段包含站立、卧下和反刍行为的视频上比较了四种架构;其中反刍仅出现六次,且两个数据类别完全缺失。我们将ResNet-50和EfficientNet-B3主干网络分别与Transformer编码器或时序平均化方法配对,采用三折分层交叉验证和加权交叉熵进行训练。EfficientNet-B3与时序平均化结合(Eff-B3 + Avg)取得了最高的折外准确率(85.61%)和最佳校准效果(ECE = 0.074),仅需41 MB存储和每段视频28毫秒的推理时间。其Transformer对应版本的准确率为84.13%,尽管参数量是前者的四倍。ResNet-50 + Transformer的准确率为84.69%,但校准效果不佳且存储占用较大。帧消融实验确定每段视频16帧是准确率与速度之间的最佳权衡点。没有任何模型能正确分类任何反刍样本,这凸显了反刍行为在本研究评估的特定加权交叉熵和分层采样策略下是不可学习的;但该发现并未确立在其他训练策略(如焦点损失、过采样、异常检测或自监督预训练)下学习极度少数类别行为的一般不可能性。稀有类别分析(将支持度 $<1$ 视为稀有类别)显示了高置信度的反刍错误:平均置信度为0.891,但仅将1.01%的概率质量分配给了真实类别,类别级期望校准误差为0.891。这些发现表明,校准后处理无法挽救真实正例为零的类别。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号