《Smart Agricultural Technology》:A novel method for silkworm individual recognition under high-density conditions with hybrid module and object detection techniques
编辑推荐:
为解决高密度、小尺寸、遮挡严重环境下家蚕个体识别难题,研究人员基于目标检测技术,提出了一种融合卷积与自注意力机制的混合YOLO网络。该研究将家蚕头部和尾部作为检测靶点,通过并行提取局部与全局特征,显著提升了识别精度(mAP达90.93%),为家蚕智能化养殖、生物量评估和疾病初诊提供了高效解决方案。
在丝绸产业的幕后,数以万计的家蚕(Bombyx mori)正在辛勤劳作。准确识别和计数这些小家伙,不仅是估算蚕茧产量、评估生物量的基础,更是实现智能化养殖、保障动物福利、进行疾病早期诊断和行为分析的关键一步。然而,现实是“骨感”的:家蚕个体小、养殖密度高、相互遮挡严重,再加上复杂的背景(如桑叶、饲料残渣),使得传统的目标检测方法经常“看花了眼”,难以准确捕获每一个个体。尤其在高密度条件下,局部特征提取为主的卷积神经网络(CNN)模型往往“只见树木,不见森林”,全局表征能力不足,导致检测性能受限。面对这些挑战,来自四川省农业科学院蚕业研究所的研究团队,决心开发一种更“聪明”的检测方法。
他们的研究成果《一种基于混合模块和自注意力机制的高密度条件下家蚕个体识别新方法》发表在《Smart Agricultural Technology》期刊上。该研究创新性地将目标检测领域的YOLOv5网络与源自Transformer的自注意力(self-attention)机制相结合,提出了一种名为“混合YOLO”的检测器,成功实现了复杂环境下家蚕头部和尾部的高精度识别,为家蚕养殖的数字化转型提供了有力的技术工具。
为了开展这项研究,研究人员主要运用了以下几项关键技术方法:首先,进行数据采集与处理,使用手机在真实养殖环境中垂直拍摄原始图像,并将每张原始图像裁剪为多个局部图像以降低标注工作量和检测密度,最终构建了包含2312张局部图像的数据集,图像尺寸统一为672 × 672像素。其次,进行图像标注,使用LabelImg工具将家蚕的头部和尾部标注为检测目标。接着,引入混合模块设计,将YOLOv5s网络中的特征提取块改进为并行结构,其中一个分支通过卷积操作(CNN)提取局部特征,另一个分支则通过移位窗口自注意力(shifted window attention)机制提取全局特征,实现了局部与全局表征的同步获取。然后,进行模型训练与评估,在统一实验环境下,使用Mosaic数据增强等技术训练模型,并采用精确率(Precision)、召回率(Recall)、平均精度(AP)等指标全面评估模型性能。
研究结果部分通过多项对比实验和消融分析,系统验证了所提方法的优越性。
3.1. 与YOLOv5网络的比较
将混合YOLO与YOLOv5系列的其他变体(YOLOv5n, v5s, v5m, v5l, v5x)进行对比。结果显示,混合YOLO在多数评估指标上表现最佳,其平均精度均值(mAP)达到90.93%,优于所有基线模型。具体而言,对于头部和尾部目标,混合YOLO的召回率分别为91.44%和81.25%,AP值分别为92.87%和88.98%。特别是与作为基线的YOLOv5s相比,引入自注意力分支后,检测性能显著提升,这证明了混合模块具有强大的特征提取能力,能有效改善高密度和小目标下的检测效果。研究还发现,所有网络对头部目标的检测结果均优于尾部,这与尾部更易被遮挡的实际状况相符。
3.2. 与先进网络的比较
为进一步验证性能,研究将混合YOLO与多种先进的检测网络进行对比,包括CenterNet、RetinaNet、YOLOXs、YOLOv7l和YOLOv8s。实验结果表明,混合YOLO取得了所有模型中最高的mAP值(90.93%),展现了均衡且优越的综合性能。例如,CenterNet虽然取得了最高的精确率,但召回率最低;YOLOXs取得了最高的召回率,但其精确率和AP略低于混合YOLO。这些对比说明,混合YOLO在复杂的高密度、小目标环境下,能够更好地平衡漏检与误检,具备更强的鲁棒性和应用潜力。
3.3. 与小目标检测模型的比较
研究还对比了专门针对小目标改进的模型,如YOLOv5s-P2、FCOS-Lite、YOLOv5s-BiFPN等。混合YOLO同样展现出最佳的综合性能,其mAP领先于所有对比模型。这表明所提出的方法不仅适用于家蚕检测,其设计思路对于通用的小目标检测任务也具有良好的泛化能力。
3.4. 消融分析
本部分深入探讨了混合模块的结构设计。通过构建不同变体,研究发现:
- •
结构有效性:将卷积与自注意力并行连接的结构(即最终采用的混合YOLO)性能最佳,优于任何串行连接(CNN后接自注意力或反之)或仅在网络单一部位(仅主干或仅PANet)使用混合模块的方案。这证明了并行结构在保持YOLOv5原有局部特征提取优势的同时,能最有效地利用自注意力补充全局上下文信息。
- •
通道分配:研究了输入特征通道在CNN分支与自注意力分支之间的分配比例。结果显示,当采用1:1的均衡分配时,模型取得了最优性能(mAP 90.93%)。过度倾向于任何一方(如1:7或7:1)都会导致性能下降,说明维持局部与全局特征提取的平衡对最大化检测性能至关重要。
3.5. 检测结果可视化
通过在不同环境下的测试图像上可视化混合YOLO与YOLOv5s的检测结果,直观展示了混合YOLO的优势。在密集、稀疏、复杂背景、明亮光照、昏暗光照等多种挑战性场景下,混合YOLO都表现出更少的漏检(尤其在尾部区域),并且其生成的特征热图在关键区域显示出更高的置信度。这进一步证实了全局特征对于家蚕个体识别的积极作用,以及将头部和尾部作为检测靶点对于解决遮挡问题的有效性。
研究结论与讨论部分对全文工作进行了总结与展望。本研究成功提出了一种用于家蚕个体检测的新方法。核心创新在于提出了一个混合模块,该模块通过并行整合卷积运算与自注意力机制,能够同时提取局部和全局特征表征。基于此模块开发的混合YOLO检测器,在自制数据集上取得了优异性能,其mAP达到90.93%,显著超越了原始YOLOv5系列、多种先进检测模型以及专为小目标设计的改进网络。
本研究得出了若干重要结论:第一,将家蚕的头部和尾部作为检测目标,能有效缓解高密度养殖中的遮挡问题,使得利用目标检测模型精确识别小而密集的个体成为可能。第二,通过自注意力机制提取的全局特征,能显著增强基于CNN的模型的识别能力,这是混合YOLO性能提升的关键。第三,所有被评估的模型对头部的检测效果均优于尾部,这提示在特定应用(如计数)中,可优先考虑将头部作为检测目标以获得更可靠的结果。
同时,作者也坦诚指出了当前研究的局限性:首先,模型能够检测头部和尾部,但无法判断检测到的头部和尾部是否属于同一个体,这限制了其在需要个体完整轨迹的行为分析任务中的应用。其次,尾部目标的召回率(81.25%)仍有提升空间,表明在极端遮挡情况下仍存在漏检。
针对这些不足,研究者规划了未来的工作方向:将探索姿态估计和关键点检测技术,或尝试将整条家蚕作为一个检测目标,以关联个体部位并追踪其随时间的位置变化。此外,计划扩充数据集的多样性,并引入更先进的特征提取技术和训练策略,以进一步提升检测器的整体性能,最终为智能养蚕和疾病识别提供更强大的支持。这项研究不仅为解决家蚕个体检测这一具体问题提供了高效方案,其结合卷积与自注意力的设计思路,也为高密度、小目标条件下的通用物体检测任务提供了有价值的工程见解和方法学参考。