《Smart Agricultural Technology》:Data mining for evaluating animal performance from weighing platform big data
编辑推荐:
本研究针对物联网称重平台大数据中因校准丢失、部分或多头动物站立导致的测量误差问题,开发了一套四步数据挖掘流程。通过广义可加模型(GAM)和决策树算法,有效剔除了583,321条样本数据中的异常值。验证显示该方法使平均日增重(ADG)计算误差(-0.02±0.74%)较原始数据降低40倍,且预测缩体重(SBW)的XGBoost模型精度达R2=0.9954。该方案为精准畜牧业提供了可靠的数据质量控制方法。
在现代畜牧业迈向智慧养殖的浪潮中,物联网称重平台作为精准畜牧业(Precision Livestock Farming)的核心技术,能够实时监测个体动物的体重变化,生成海量数据以评估动物性能、健康状态和福利水平。然而,这些自动采集的大数据存在一个致命缺陷——测量误差难以避免。称重平台可能因校准丢失、部分动物站立或多头动物同时称重等问题产生异常读数,而传统的数据处理方法如移动平均法或非参数模型往往难以有效剔除这些误导性数据,导致基于原始数据计算的动物性能指标(如平均日增重ADG)误差高达7.99±29.42%,严重影响了数据驱动的管理决策可靠性。
针对这一技术瓶颈,巴西圣保罗州立大学动物生物气象学实验室的研究团队在《Smart Agricultural Technology》上发表了创新性研究成果。他们开发了一套四步数据挖掘流程,专门用于处理称重平台大数据中的异常值问题。该研究基于12项试验收集的583,321条样本数据,涵盖1,152头内洛尔阉牛,通过系统的算法优化和验证,显著提升了体重数据质量和动物性能评估准确性。
研究团队采用的关键技术方法包括:基于缩体重(SBW)的广义可加模型(GAM)异常值识别、多称重平台数据一致性校验、决策树算法估计初始/最终活体重(BW),以及GAM拟合残差分析。特别值得注意的是,为减少实际测量SBW对动物的应激影响,团队还开发了基于XGBoost的SBW预测模型,该模型在避免传统测量缺点的同时保持了极高精度(RMSE: 0.0216 kg; R2: 0.9954)。
数据挖掘流程的有效性验证
通过对比原始数据与处理后数据,研究清晰展示了四步挖掘流程对各类异常值的识别和剔除效果。对于因部分/多头动物站立产生的异常值,第一步基于SBW的GAM模型成功识别并移除了偏离预测值80kg以上的异常点;针对称重平台校准丢失问题,第二步通过平台间数据比对(差异阈值25kg)有效识别了系统性误差。第三步骤中,决策树算法通过聚类分析稳定了BW模型的端点估计,而最终步骤的GAM残差分析(阈值20kg)进一步优化了数据集质量。整套流程使得处理后的数据能够准确反映动物真实的生长曲线,包括运输应激后的初始体重下降、适应期的快速恢复以及育肥期的稳定增长等生物学规律。
动物性能评估精度突破
研究结果显示,基于挖掘后数据计算的ADG误差(-0.02±0.74%)较原始数据降低40倍,且与实测SBW计算的ADG无统计学差异。这一精度提升使得该方法能够灵敏检测到肺炎导致的性能下降和饲料转换适应延迟等细微变化,为早期疾病诊断和精准营养干预提供了技术基础。与Soares & Ribas模型及Intergado?商业解决方案相比,本方法的ADG估算准确性提高20倍,更好地捕捉了动物生长的真实轨迹。
缩体重预测模型的应用价值
考虑到SBW测量对动物的应激影响,研究开发的XGBoost预测模型使用年龄、牧场天数、初始BW、热胴体重、屠宰率和品种等特征,实现了SBW的高精度预测。这一创新不仅避免了实际测量导致的动物性能损失,还拓展了数据挖掘流程的应用场景,使该技术方案可在不依赖SBW实测数据的情况下仍保持可靠性。
这项研究的重要意义在于建立了一套标准化、可复制的称重平台大数据质量控制方案,解决了精准畜牧业中长期存在的数据可靠性难题。通过将ADG计算误差从7.99±29.42%降低至-0.02±0.74%,该技术为评估新型饲料添加剂效果、早期疾病预警和数据驱动管理决策提供了坚实的数据基础。研究展示的方法具有良好的通用性,可轻松应用于类似的养殖场设置,推动畜牧业向更加精准、高效和动物友好的方向发展。