《Animals》:Multi-Scale Sheep and Goat Face Detection Network Based on Multi-Task Optimization
编辑推荐:
面部检测是绵羊与山羊个体识别的前提和基础。鉴于实际检测过程中,绵羊与山羊面部区域与躯干纹理特征相似,易受背景等因素干扰,且存在面部尺度不一的情况,研究人员选择RetinaFace作为框架,采用GhostNet作为特征提取骨干网络,从而显著降低了模型复杂度和计算
面部检测是绵羊与山羊个体识别的前提和基础。鉴于实际检测过程中,绵羊与山羊面部区域与躯干纹理特征相似,易受背景等因素干扰,且存在面部尺度不一的情况,研究人员选择RetinaFace作为框架,采用GhostNet作为特征提取骨干网络,从而显著降低了模型复杂度和计算量。通过融合多源域适应(Multi-Source Domain Adaptation, MSDA)注意力机制和重参数化非局部跨尺度特征交换层4(Reparameterized Non-local Cross-scale Feature Exchange Layer 4, RepNCSPELAN4),研究人员设计了一种新的特征提取单元——SRM模块,以减轻环境因素的影响并增强绵羊与山羊面部的细粒度特征提取。结合高效重参数化广义FPN(Efficient Reparameterized Generalized-FPN, RepGFPN)和可变核卷积(Alterable Kernel Convolution, AKConv),研究人员设计了一种新的特征融合网络——A_EFPN,从而增强特征交互并提高模型的多尺度检测能力。研究人员采用优化的多任务联合损失函数,保留左眼、右眼和鼻子三个面部关键点,从而减少了模型回归参数数量。实验结果表明,所提方法实现了96.15%的精确率、97.06%的召回率、96.60%的F1分数、98.31%的平均精度(Average Precision, AP)、2.40%的归一化平均误差(Normalized Mean Error, NME)、2.36 G FLOPs、3.63 M参数量和14.75 MB的权重。该方法被证明适用于实际养殖环境中绵羊与山羊面部的快速准确检测,为后续绵羊与山羊面部识别奠定了基础。
该论文发表于《Animals》期刊。研究背景方面,现代羊养殖业正快速向规模化、集约化方向发展,高密度饲养环境下管理不当会引发环境恶化和疾病爆发等问题。绵羊与山羊个体检测是实现追踪追溯的关键,不仅能降低劳动力成本,还能提高养殖管理的精确性,为个性化饲养方案、健康分析和智慧牧场建设提供支撑。传统识别方法(烙印、耳标、植入微芯片)虽简便高效,但会对动物造成伤害且标记物随时间推移难以辨认。现有羊面部检测算法多将识别任务转化为分类任务,需要大量图像预训练分类器,无法识别训练集之外的个体,且实际养殖环境中羊面部存在多角度、多尺度、纹理特征相似、易受背景干扰等问题,对检测定位性能构成重大挑战。因此,研究人员参考人脸识别"先检测、后对齐、再识别"的流程,提出一种基于RetinaFace框架的轻量级羊面部检测方法,同时进行边界框检测和关键点定位。该研究采用GhostNet骨干网络替代ResNet50实现模型轻量化,设计SRM特征提取模块和A_EFPN特征融合网络提升检测精度,并优化多任务联合损失函数。实验结果表明,该方法在保持高检测精度的同时大幅降低了模型复杂度和计算量,适用于实际养殖环境,为后续羊面部对齐与识别提供了重要基础。
研究采用的主要技术方法简要概括如下:数据来源于中国洛阳宁祥顺农牧科技有限公司,使用佳能EOS 750D相机和手机在真实养殖环境中采集羊自然状态图像,涵盖多角度、多距离、不同光照和遮挡等场景;经差分哈希(d-Hash)去除相似帧获得2906张原始图像,通过高斯噪声、随机缩放、亮度调整等增强至17436张,按8:2划分训练集和测试集。关键技术包括:采用GhostNet替代ResNet50作为骨干网络;融合MSDA注意力机制与RepNCSPELAN4设计SRM特征提取模块;结合RepGFPN与AKConv构建A_EFPN特征融合网络;优化多任务联合损失函数保留左眼、右眼、鼻子三个关键点。
4.1 不同骨干网络对比:将ResNet50分别替换为MobileNetv1、MobileNetv3和GhostNet进行对比实验,结果表明GhostNet在精确率、召回率、F1分数和AP上均达到最高,NME最小,同时满足轻量化要求,因此被选为骨干网络进行进一步改进。
4.2 消融实验:在RetinaFace基础上逐步引入改进模块以验证各模块的有效性。引入AKConv后AP提升1.37%至93.75%,NME降至3.21%;将FPN替换为A_EFPN后AP显著提升3.58%至97.33%,NME降至2.64%;引入MSDA注意力机制后检测精度进一步提高。最终模型与原始RetinaFace相比,精确率、召回率、F1分数和AP分别提升1.78%、0.22%、1.01%和0.83%,NME、FLOPs、Params和Weight分别降低0.02%、94.71%、86.70%和86.21%。五次独立随机种子实验的平均AP为98.11%,平均NME为2.91%,小标准差证实了模型的鲁棒性和稳定性。
4.3 羊面部检测效果:选取十二种不同场景(正面、侧面、抬头、低头、大尺度、小尺度、昏暗、明亮、羔羊、背景干扰、群体、堆叠)验证模型检测性能,结果表明模型在各个场景下均能准确完成羊面部边界框和关键点检测,满足实际养殖场的检测需求。
4.4 Jetson Orin Nano Super设备部署:将羊面部检测模型与后续开发的羊面部识别模型集成,构建群体羊身份识别系统并部署在Jetson Orin Nano Super平台上。系统迭代速度为3.62 it/s,总检测时间69秒,平均每张图像检测时间为276毫秒,验证了模型在边缘计算设备上的实际部署能力。
讨论部分从特征分析、模型鲁棒性、模型泛化性和研究局限性四个方面展开。在特征分析方面,通过引入AKConv和MSDA构建了适用于牲畜场景的轻量级检测方案,构建的数据集在质量上较现有公开数据集具有显著优势。在鲁棒性分析方面,MSDA机制适用于光照不均条件下的检测,A_EFPN适用于多尺度检测,多任务学习策略利用三关键点几何约束关系,SRM模块可区分面部与相似纹理区域,模型在光照、尺度、姿态和背景干扰等条件下均表现出良好性能。在泛化性方面,GhostNet骨干网络、MSDA注意力机制和A_EFPN特征融合网络均为任务无关的架构级创新,可迁移至其他动物面部检测任务,且14.75 MB的模型大小和2.36 G FLOPs的计算量适合边缘计算设备部署。局限性方面,研究主要关注正面羊脸,对完全侧倾导致关键点遮挡的情况考虑不足,且缺乏按光照强度、目标尺度和遮挡程度分层的定量评估,未来将补充属性标注并建立分层评估框架,进一步研究羊面部对齐和识别方法以构建统一的羊身份识别系统。
研究结论为:本研究基于RetinaFace框架,采用GhostNet作为特征提取骨干网络实现模型轻量化,设计SRM模块作为主要特征提取模块以增强特征提取能力,采用A_EFPN特征融合网络替代FPN以提高多尺度检测能力,并开发了优化的多任务联合损失函数,保留左眼、右眼、鼻子三个面部关键点进行羊面部的边界框和关键点检测。所提出的羊面部检测方法的AP为98.31%、NME为2.40%、Weight为14.75 MB,实现了羊面部的快速准确检测。通过十二种不同场景的检测验证,证明该模型可应用于实际养殖环境,满足羊面部检测需求,为后续羊面部识别提供了基础。