基于质量门控与多帧RGB-D信息的肉牛体况评分研究:一种面向复杂采集条件的Episode级评估框架

《Animals》:Quality-Gated Episode-Level RGB-D Body Condition Scoring in Beef Cattle

【字体: 大 中 小 】 时间:2026年09月29日 来源:Animals 3.2

编辑推荐:

  在肉牛实际监测场景中,基于单帧视觉信息的自动化体况评分(Body Condition Scoring, BCS)易受姿态变化、遮挡及图像质量波动的影响。本研究提出了一种基于同步RGB-D视频的Episode级BCS评估框架,融合多帧视觉信息、基于注意力的多实例

  
在肉牛实际监测场景中,基于单帧视觉信息的自动化体况评分(Body Condition Scoring, BCS)易受姿态变化、遮挡及图像质量波动的影响。本研究提出了一种基于同步RGB-D视频的Episode级BCS评估框架,融合多帧视觉信息、基于注意力的多实例学习(Attention-based Multiple Instance Learning, Attention-MIL)以及基于背部几何形态的质量控制机制,以提高复杂采集条件下的评估可靠性。研究人员将公开的Raramuri Criollo数据集重组为包含3815对RGB-D帧、52个动物身份组和151个Episode的数据集,并采用按动物划分的三折交叉验证进行评估。仅当某个Episode包含至少三帧通过质量筛选的帧且能够获得可靠的角度估计时,模型才生成预测。在质量门控后的平均覆盖率为0.7345的条件下,最终模型在五类BCS分类任务中达到了61.66%的准确率、0.5680的Macro-F1分数以及0.6339的二次加权kappa(Quadratic Weighted Kappa, QWK)。此外,89.71%的预测结果与参考评分相差在一个BCS类别以内。三类管理分类的Macro-F1分数达到0.8059。消融实验表明,RGB信息与深度信息具有互补贡献,且角度与质量统计特征的组合在原有消融中改善了几项指标。额外的匹配实验未能确立角度特征的独立增益,但支持了多帧聚合及Episode内预测一致性。所提出的RGB-D多帧融合方法展示了在受控采集条件下实现肉牛体况自动化监测的潜力。

肉牛体况评分的自动化监测:基于质量门控与多帧RGB-D信息的Episode级评估框架解读

一、研究背景与问题提出

体况评分(Body Condition Scoring, BCS)是评估肉牛能量储备、营养状况和生产管理的重要表型指标,在繁殖管理、健康监测、饲养调控及经济效益评估中发挥着关键作用。过低的体况通常表明营养摄入不足或能量储备欠缺,可能对发情、受孕、妊娠维持和犊牛生长产生负面影响;而过高的体况则可能增加饲养成本,并诱发繁殖障碍、运动负担加重及代谢风险。因此,建立高频、客观、可重复的BCS监测方法对于提高牛群管理效率和推动精准畜牧业发展具有重要意义。
传统的BCS评估主要依赖训练有素的专业人员通过视觉检查和触诊完成。尽管该方法直观且成本相对较低,但劳动强度大、受评估者主观差异影响显著、评估频率受限,难以满足大型养殖场对连续化、自动化和群体级监测的需求。随着人工智能技术的快速发展,基于计算机视觉和深度学习的图像自动化BCS评估已成为畜牧信息学的重要研究方向。然而,现有自动化方法大多在受控环境或人工筛选的高质量图像条件下开发,在实际监测条件下的稳定性、泛化性和部署可靠性仍面临挑战。
现有研究普遍存在三方面局限:其一,多数方法将任务简化为单帧图像分类,将每张图像视为独立样本进行训练和预测。但BCS本质上反映的是动物整体的脂肪沉积和能量储备状态,而非某一瞬时姿态下的视觉表现,单帧预测容易受到姿态变化、身体遮挡、相机视角和局部图像噪声的影响。其二,实际监测视频中往往包含大量不可靠帧,如头部、颈部或牛角进入背部区域、躯干部分被裁剪、动物偏离图像中心、围栏和背景结构造成遮挡、深度图存在传感器导致的缺失值或噪声等,直接将这些帧输入预测模型可能降低预测稳定性并增加严重误分类风险。其三,部分视频数据集存在较强的时间相关性,若采用随机帧级划分,同一动物在短时间内采集的高度相似帧可能同时出现在训练集和测试集中,造成数据泄漏和性能高估。
此外,现有深度学习方法大多依赖端到端的视觉特征学习,模型可解释性有限。而人工BCS评估通常考虑具有生物学意义的解剖学线索,包括背脊突出程度、骨骼可见性和体表平滑度等。如何将这些结构特征与深度视觉表征有效整合,是提高模型可靠性和可解释性的重要方向。

二、研究内容与主要结论

针对上述挑战,本研究旨在开发一套面向实际肉牛监测场景的自动化BCS评估框架。该框架整合了RGB-D视频的多帧信息、主动排除低质量观测,并融入具有生物学意义的背部形态特征,以提高自动化体况评估的可靠性和适用性。
研究人员将公开的Raramuri Criollo数据集重组为包含3815对RGB-D帧、52个动物身份组和151个Episode的数据集,采用按动物划分的三折交叉验证进行评估。最终模型在质量门控后平均覆盖率为0.7345的条件下,五类BCS分类准确率达到61.66%,Macro-F1分数为0.5680,二次加权kappa(QWK)为0.6339,89.71%的预测与参考评分相差在一个BCS类别以内。三类管理分类的Macro-F1分数达到0.8059,其中High类别的召回率达到1.0000。消融实验表明RGB和深度信息具有互补贡献,质量门控策略和Episode级几何特征均对最终性能产生了积极影响。
该研究的重要意义在于:首次提出了Episode级BCS评估范式,将同一动物在连续采集事件中的多帧观测视为一个样本包,通过多实例聚合充分利用不同姿态和质量水平下的互补信息;引入了基于几何信息的质量门控策略,自动识别并排除不符合质量标准的观测帧,在输入可靠性不足时选择不输出预测,从而在高风险错误与预测覆盖率之间取得平衡;融合了具有生物学意义的背脊角度特征,为端到端视觉特征学习提供了结构化的补充信息。

三、关键技术方法

本研究采用的主要技术方法包括以下几个方面。数据集来源于美国新墨西哥州Raramuri Criollo牛群,使用Intel RealSense D435i RGB-D相机在通道上方采集同步RGB和深度视频,原始数据以机器人操作系统(Robot Operating System, ROS)bag格式存储,BCS标签由专业兽医通过视觉评估结合触诊获得。在数据组织上,研究人员将同一动物在一次连续采集事件中的同步RGB-D观测定义为一个Episode,作为多实例学习(Multiple Instance Learning, MIL)中的样本包,并对纵向数据中的动物身份进行归一化处理。在质量控制方面,研究构建了基于几何信息的帧级质量评估标准,包括躯干区域完整性、动物居中程度、姿态适宜性、背部轮廓连续性和横截面角度可计算性五个条件,只有同时满足全部条件的帧才被定义为Good-frame。在模型架构上,采用并行轻量级卷积神经网络(Convolutional Neural Network, CNN)分别提取RGB和深度特征,通过帧级融合和Attention-MIL聚合生成Episode级视觉表征,同时将Episode级背脊角度中位数、Good-frame比例和变换后的有效角度帧数三个几何特征编码后与视觉表征融合。训练采用按动物划分的三折交叉验证,使用AdamW优化器、余弦退火学习率调度和类别加权采样策略。

四、研究结果

数据集分布与质量控制分析。 最终数据集包含151个Episode和3815对有效RGB-D帧,按52个动物身份组进行划分。Episode级BCS分布中,BCS 4和BCS 5合计占66.89%,而BCS 2仅占3.97%,存在明显的类别不平衡。约48.9%的帧通过了几何质量控制标准。
背脊角度的生物学相关性。 在151个Episode中,143个成功计算了Episode级背脊角度。背脊角度与BCS评分呈中等正相关(Spearman's ρ = 0.440, p < 0.001),Kruskal-Wallis检验显示不同BCS类别间角度分布存在显著差异(H = 39.107, p < 0.001)。Lean与High组之间的效应量最大(Cliff's δ = ?0.815)。
最终模型性能。 质量门控后的角度感知CO-MIL模型在五类BCS分类中达到61.66%的准确率,Macro-F1为0.5680,QWK为0.6339,Within-one准确率为89.71%。三类管理分类的准确率为83.67%,Macro-F1为0.8059,High类别召回率为1.0000。
消融实验分析。 RGB-depth模型在大多数指标上优于单模态模型,验证了RGB外观信息与深度结构信息的互补贡献。引入Low-condition和High-condition辅助分支改善了类别平衡相关指标,但并非所有指标均同时提升。质量门控将覆盖率从1.0000降至0.7345,但显著提升了保留样本的预测性能。在相同质量门控条件下,进一步融合角度和统计特征使Acc5从0.5234提升至0.6166。
匹配子集分析。 在完全相同的111个Episode上,质量门控将Acc5从0.5005提升至0.5234,Within-one准确率从0.7810提升至0.9022,确认了质量门控的增益并非仅由评估集变化所致。
敏感性分析与稳健性。 最小有效角度帧数阈值扫描显示,阈值设为3时在覆盖率和分类性能之间取得最佳平衡。Episode内角度估计的中位绝对偏差仅为1.340°,表明角度估计具有较高的一致性。拟合质量分析显示,15,601个横截面的平均拟合优度为0.913,引入额外硬性排除阈值对结果影响极小。
附加组件与预测评估。 匹配实验未确立角度特征的独立预测增益(VAQ ? VQ的Acc5差异仅为0.0060,95%置信区间包含零),但支持多帧聚合和注意力池化的有效性。预测一致性测试显示,从1帧增至12帧时,与确定性参考预测的一致性从0.9025提升至0.9602,同时平均绝对BCS变化从0.1166降至0.0423。

五、讨论与结论

讨论部分指出,Episode级建模比帧级预测更符合实际监测场景和BCS的生物学特性。质量门控应被视为一种选择性预测策略,在输入可靠性不足时允许模型放弃预测,而非简单提升分类精度的手段。背脊角度与BCS存在中等相关性,但Angle-only MLP实验表明低维几何特征不足以独立完成稳定的五类BCS预测,更适合作为RGB-D视觉表征的补充信息。消融实验显示不同组件在框架中发挥不同作用,辅助分支的效果具有指标依赖性。研究存在数据集规模有限、单一品种和单一采集环境、缺乏独立农场验证等局限。
研究结论表明,该研究提出的Episode级体况评分框架整合了多帧RGB-D信息、Attention-MIL、基于几何的质量门控和生物学相关的背部形态特征。在按动物划分的三折交叉验证下,最终模型在平均覆盖率0.7345条件下实现了0.6166的五类准确率、0.5680的Macro-F1和0.6339的QWK。RGB和深度信息提供了互补表征,质量门控作为选择性预测机制在预测可靠性和覆盖率之间取得平衡。该研究展示了在受控采集条件下结合多模态RGB-D信息、Episode级建模和可解释几何特征进行肉牛自动化BCS评估的潜力,但跨品种和跨农场环境的外部验证仍是实际部署前所必需的。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号