《Animals》:Multi-Object Tracking of Korean Cattle (Hanwoo) in High-Density Barns Using Multi-Temporal Window Repair (MTW-Repair)
编辑推荐:
可靠的个体追踪是精准畜牧业中动物行为监测的基础。然而,在密集牛舍中利用单摄像头追踪韩牛(Hanwoo)面临诸多挑战,包括频繁遮挡、尺度变化和非规律运动。本研究提出一种面向密集饲养韩牛的轻量级多目标追踪框架,将基于韩牛训练的YOLOv8n检测器与无外观(appe
可靠的个体追踪是精准畜牧业中动物行为监测的基础。然而,在密集牛舍中利用单摄像头追踪韩牛(Hanwoo)面临诸多挑战,包括频繁遮挡、尺度变化和非规律运动。本研究提出一种面向密集饲养韩牛的轻量级多目标追踪框架,将基于韩牛训练的YOLOv8n检测器与无外观(appearance-free)BoT-SORT关联相结合。帧采样(Frame sampling)降低了检测工作量,同时离线多时相窗口修复(Multi-Temporal Window Repair, MTW-Repair)程序重新连接断裂的轨迹片段。该框架使用短注释视频片段和一段连续215分钟的牛舍记录进行评估。在短片段中,无外观BoT-SORT在保持可比吞吐量的同时优于ByteTrack,且MTW-Repair在所有评估的帧采样间隔下均减少了身份切换次数。在长时记录中,MTW-Repair降低了两种跟踪器生成的身份总数。对50个随机采样的ByteTrack合并事件进行人工验证,合并精确率达84.0%。基于外观的重识别(ReID)仅带来微小的精度提升,但计算成本显著更高。这些发现支持帧采样和离线轨迹修复在计算高效的牛只监测中具有应用潜力。
精准畜牧业中,动物福利与农场盈利能力和消费者信任密切相关。行为作为最实用且广泛采用的福利指标之一,直接反映健康状况、生产力和管理水平,但准确的行为解读首先依赖于可靠的个体追踪,因为有意义的时序行为模式只有在动物被持续监测时才能获得。可穿戴传感技术(如GPS项圈和加速度计)已被用于家畜运动和行为监测,而基于摄像头的方法无需在动物身上附加设备,直接通过深度学习模型从图像中估算动物位置和身份,代表性研究包括基于俯视视频的奶牛身体坐标回归、基于毛色独特性的重识别,以及面向缺乏显著视觉特征品种的深度身份识别等方法。
与具有黑白花斑的荷斯坦奶牛不同,韩牛毛色均匀呈棕色,缺乏可用于个体识别的明显标志,加之狭窄高密度牛舍中的身体重叠、光照变化和频繁遮挡,单摄像头俯视监测还需应对视角引起的尺度变化、动物无规律运动以及视觉相似个体间的身份歧义,这些因素共同导致了长期追踪中的关联错误累积。已有研究(如针对密集韩牛环境的检测追踪框架)集成了尺度自适应外观模型、非线性卡尔曼滤波和遮挡恢复模块,取得了较高的数据关联性能,但外观特征提取器引入了可观的计算开销,且当个体间外观差异有限时,其优势可能减弱,这凸显了密集家畜追踪中身份鲁棒性与计算效率之间的基本权衡。
为应对这些问题,本研究提出一种轻量级单摄像头框架,用于追踪密集饲养的韩牛。该框架采用帧采样策略以减少计算量,并引入离线多时相窗口修复(MTW-Repair)程序来重新连接由遮挡或漏检导致的断裂轨迹片段。与需要学习型轨迹连接模型的方法不同,MTW-Repair基于三个随轨迹片段间时间间隔变化的时相窗口,结合显式距离、隐含速度和边界框尺寸比例约束,无需训练关联模型。研究评估了框架在短注释片段和约215分钟连续牛舍视频中的追踪性能、计算效率和轨迹修复效果。
研究人员在韩国安城一处商业化韩牛农场采集视频,使用固定天花板安装的闭路电视(CCTV)摄像头,帧率约13帧每秒,牛舍尺寸为7 m × 7 m,共7头雄性韩牛。数据包括四个源记录(A–D),其中记录A用于检测器训练,B–D用于跟踪评估。训练集从记录A中提取1000幅图像并手工标注韩牛边界框,经过三种数据增强(cutout、阴影和夜间模拟)后共3942幅图像,包含26335个标注实例,按80:20在源图像层面划分为训练集和验证集。短片段评估使用四个每段约1分钟且包含逐身份边界框标注的片段,长时评估使用记录B中约215分钟连续段落。
在检测器选择上,研究人员评估了YOLOv8n和YOLOv11n两种模型。两者均使用COCO预训练权重,在640 × 640像素输入分辨率下训练100轮,采用ultralytics实现,设置固定随机种子以保证可重复性。跟踪器比较在相同检测输入条件下进行,包括ByteTrack、OC-SORT、开启和关闭外观模块的BoT-SORT以及StrongSORT。所有跟踪器的检测置信度阈值固定为0.25(长时实验中使用stride-3采样时,ByteTrack阈值调整为0.1,BoT-SORT保持0.25),帧率参数设为13 fps。提出的流水线依次包含帧采样、线性插值和MTW-Repair三步。帧采样以步长3处理每三帧中的一帧,将检测工作量减少约三分之二;线性插值恢复被跳过的帧;MTW-Repair基于时相窗口约束重新连接碎片化轨迹。MTW-Repair定义了三个基础时相窗口(stride-1下短窗口1–13帧,中窗口14–65帧,长窗口66–260帧),随步长按比例扩展窗口边界。候选轨迹对需满足窗口特定的距离、隐含速度和尺寸比阈值,并依据合并分数通过贪心一对一匹配进行合并。
评估指标包括高阶跟踪精度(HOTA)、关联精度(AssA)、身份F1分数(IDF1)和多目标跟踪精度(MOTA)。短片段使用TrackEval计算指标;长时记录因缺乏帧级真值,采用总身份数、轨迹持续时间和人工验证合并精确率等替代指标。
检测性能方面,YOLOv8n和YOLOv11n的精确率和召回率均超过0.96。尽管YOLOv11n在独立检测指标和推理速度上略占优势(精确率0.977,召回率0.965,mAP50 0.986,133.5 FPS),但YOLOv8n在集成到跟踪框架后取得了更高的跟踪性能,因此被选为最终检测器。跟踪器比较实验表明,跟踪策略对整体性能的影响大于是否使用外观信息。在YOLOv8n下,基于运动的方法(ByteTrack、OC-SORT和无外观BoT-SORT)的HOTA值为71.0–72.3,处理速度为71.3–77.1 FPS;开启外观的BoT-SORT将HOTA从72.3略提至72.5,IDF1从79.5提至80.1,IDSW从24降至19,但处理速度从71.3降至30 FPS;StrongSORT虽然达到HOTA 71.3,但处理速度仅约12 FPS。基于这些结果,研究选择YOLOv8n与无外观BoT-SORT组合作为最终配置。
在短片段评估中,帧采样降低了原始HOTA(如ByteTrack从stride-1的71.9降至stride-3的25.2),因为跳帧导致缺失帧无预测。单独应用插值即可将HOTA恢复到接近stride-1水平约1–2个百分点;在插值基础上添加MTW-Repair可进一步提升关联相关性能,尤其是AssA和身份切换。以ByteTrack为例,stride-1原始条件下的IDSW为27,MTW-Repair后降至14;stride-3下插值后IDSW为6,插值加MTW-Repair后降为0,AssA从85.2升至87.1。综合比较后,stride-3在保持接近stride-1的HOTA和AssA的同时,有效吞吐率达到约216–228 FPS,因此被用于后续长时实验。
长时记录实验显示,BoT-SORT在所有条件下生成的总身份数均显著低于ByteTrack,表明其轨迹碎片化更少。MTW-Repair在stride-1下将ByteTrack的总身份数从3707降至2129,stride-3下从1197降至534;对BoT-SORT分别从1612降至1126(stride-1)和从771降至387(stride-3)。窗口分布分析表明,BoT-SORT在stride-1下的合并事件中67%来自长窗口,而ByteTrack的合并在中窗口和长窗口间分布更均匀。轨迹持续时间方面,MTW-Repair一致地提高了两种跟踪器在所有步长下的平均和中位轨迹持续时间,其中ByteTrack在stride-3下的中位轨迹持续时间从12.0秒增加至49.0秒。
合并精度验证方面,研究人员从stride-3的ByteTrack输出中随机抽取50个合并事件进行人工分类,整体合并精确率为84.0%(42/50,95%置信区间71.5–91.7%)。按窗口划分后,短窗口精确率最高(90.0%),中窗口为86.7%,长窗口为80.0%,精确率随窗口增大呈单调下降趋势,与放大的时空约束一致。错误合并主要表现为两种情形:跨越较大空间距离的合并容易出错,以及当一只动物离开某个位置而另一只随后占据该位置时,即使空间距离较小也可能发生错误关联。
讨论部分指出,长期家畜追踪面临的挑战无法由短基准序列完全反映。密集牛舍中频繁遮挡和动物间重复互动会导致轨迹渐进式碎片化和身份退化。MTW-Repair在短片段中减少了身份切换并在所有采样步长下保持HOTA,表明恢复的关联基本可靠;长时记录中总身份数和轨迹持续时间的改善为碎片化减少提供了不依赖真值的间接证据。外观信息在韩牛环境下收益有限,研究者使用的开箱即用的行人预训练OSNet配置未能提供足够的附加判别信息,因此无外观跟踪在准确性与计算成本之间取得了更优平衡。ByteTrack与BoT-SORT的对比表明,长期跟踪性能更多地取决于轨迹碎片化控制而非短序列基准指标。帧采样和插值实验验证了以稀疏检测配合轻量级轨迹细化来扩展持续家畜观测规模的可行性,因为目标检测通常是检测追踪流水线中计算开销最大的环节。
研究也承认若干局限性:时相窗口、过滤阈值和合并分数权重为经验性选择,可能过度适配于评估记录,跨农场和相机配置的泛化性尚未验证;评估限于单一固定相机和七头牛,无法代表更大群体或其他饲养布局;帧采样减少了跟踪可用的观测数量,快速运动或急转弯可能增加关联误差;假合并可能将不同动物的轨迹连接在一起,从而低估身份数误差和错误关联;长时记录因缺少完整真值,无法直接测量长期身份召回率,总身份数和轨迹持续时间仅描述预测轨迹,不能确认身份在全程中保持正确。这些限制提示,进一步研究需要更长的身份标注记录、更大的群体规模、独立的相机设置以及参数敏感性和假合并效应的明确评估。
综合而言,本研究评估了一个由YOLOv8n、无外观BoT-SORT、帧采样、插值和MTW-Repair组成的轻量级跟踪框架。stride-3采样将需要检测的帧数减少了约三分之二。在短注释片段中,插值改善了全帧跟踪分数,MTW-Repair减少了身份切换。在约215分钟记录中,MTW-Repair降低了两类跟踪器的预测身份数量并延长了轨迹持续时间。人工验证的合并精确率为84.0%。这些结果为在所评价条件下以计算高效的方式进行轨迹整合提供了支持。然而,长时替代指标不能确立持续的个体身份准确性,跨农场、更大群体和不同相机配置的性能仍需进一步验证。