基于YOLOv5与Transformer融合的稻虫小目标检测与分类研究

《AgriEngineering》:Research on Rice Pest Detection and Classification Based on YOLOv5 and Transformer Combination Qiaonan Yang, Yayong Chen, Qing Hai, Sehar Razzaq, Yiming Cui, Xingwang Wang and Beibei Zhou

【字体: 大 中 小 】 时间:2026年04月04日 来源:AgriEngineering 3

编辑推荐:

  针对虫情测报灯所诱害虫个体差异大、现有模型分类准确率低的问题,研究人员开展了一项结合YOLOv5检测主干与Transformer模块的稻虫小目标检测与分类研究。所提出的ViT-YOLOv5p模型实现了91.89%的最高分类准确率,平均检测时间为50.41 ms,为农业害虫智能监测与预警提供了高效精准的解决方案。

  
在农业生产中,病虫害是导致作物减产的重要因素。传统上,农民依赖经验和化学农药进行防治,但这种方式不仅效率低下,还可能带来环境污染和农药残留问题。随着智慧农业的发展,利用虫情测报灯自动监测田间害虫种群动态成为一种前沿手段。然而,这项技术面临一个核心瓶颈:从测报灯捕获的图像中,害虫种类繁多、个体大小差异显著,且同类害虫形态相似,导致现有基于深度学习的目标检测模型难以实现高精度的自动识别与分类。具体而言,像YOLOv5、Faster R-CNN这类主流模型,虽然在通用目标检测上表现出色,但直接应用于稻田间体积极小、形态多变的害虫时,分类准确率往往不尽如人意。为了解决这一农业植保领域的实际痛点,一项融合前沿计算机视觉技术的研究应运而生,旨在为精准、高效的害虫自动化预警系统提供新方案。
为开展此项研究,研究人员主要运用了以下几项关键技术方法:1) 数据采集与增强:研究数据全部来源于田间部署的虫情测报灯所捕获的图像。通过马赛克数据增强(Mosaic data augmentation)、复制-粘贴增强(copy-paste augmentation)和随机仿射变换等手段,将训练样本数量扩充至原始数据集的4倍,并引入适当噪声以提升模型鲁棒性。2) 图像切分与拼接技术:针对高分辨率图像中小目标害虫像素占比少的问题,创新性地将原始图像切割成9个子图像进行模型训练与检测,检测完成后再将结果拼接回原图坐标,以平衡检测精度与计算效率。3) 两阶段模型融合:构建了名为ViT-YOLOv5p的混合模型。第一阶段利用改进的YOLOv5主干网络进行害虫定位,获取边界框坐标;第二阶段将定位出的害虫区域图像送入视觉Transformer(Vision Transformer, ViT)模块进行分类。4) 模型训练与评估:在相同的实验环境下,对YOLOv5、Faster R-CNN、YOLOv4及提出的ViT-YOLOv5p模型进行训练,并以平均检测时间(Average Detection Time, ADT)、分类准确率(Precision)、平均精度均值(mean Average Precision, mAP)等作为核心评估指标进行对比分析。
3.1. 检测与识别结果
研究人员将图像切分与拼接技术嵌入YOLO主干网络的检测头进行改进,并将其与Transformer模块结合,提出了ViT-YOLOv5p模型。为了验证其有效性,研究团队在相同数据集上对比了YOLOv5、Faster R-CNN、YOLOv4和ViT-YOLOv5p的性能。实验结果显示,ViT-YOLOv5p在多项指标上均优于对比模型。具体而言,ViT-YOLOv5p取得了最高的分类准确率(91.89%)、mAP(91.12%)和F1分数(90.85%),同时保持了相对较高的检测速度(ADT为50.41 ms),展现出最佳的综合性能。而Faster R-CNN虽然准确率高(90.39%),但检测时间过长(1486.47 ms),难以满足实时性要求;YOLOv5和YOLOv4检测速度快,但准确率较低。此外,ViT-YOLOv5p的损失函数曲线收敛最快且损失值最小,表明其训练过程更稳定、高效。
3.2. 对不同尺寸目标的检测结果
稻田害虫种类多、尺寸差异大,分析模型对小目标的检测性能至关重要。为此,研究设定了XS、S、M、L、XL五种尺寸的害虫图像作为验证集。实验结果表明,改进后的ViT-YOLOv5p模型对于小目标害虫的检测精度显著高于其他对比模型。在五种尺寸的测试中,其检测准确率分别达到80.37%、90.69%、90.69%、94.28%和96.34%,证明该模型特别适用于田间复杂环境下小尺寸害虫的精确识别,更适合部署于移动设备的实时害虫检测系统。
3.3. ViT-YOLOv5p模型的检测与分类结果
通过使用ViT-YOLOv5p模型和单独的YOLOv5模型对同一组虫情测报灯图像进行识别检测,结果对比清晰展示了融合模型的优势。单独使用YOLOv5模型时,图像中存在大量漏检和误标的情况。而使用ViT-YOLOv5p模型后,图像中的大多数昆虫目标都被准确标记,且分类正确率高,极大地提升了对小目标的检测能力,显著提高了检测与分类的整体精度,能够为有效的害虫信息监测与预警提供可靠支持。
4. 讨论
本研究提出的ViT-YOLOv5p模型创新性地融合了YOLOv5与Transformer模块,并在检测头引入图像切分技术,有效提升了针对尺寸差异大、种间差异小的水稻害虫的小目标检测与分类能力。实验证实,该模型在精度和综合性能上超越了YOLOv5、Faster R-CNN等经典模型。
然而,研究也指出了模型的局限性。首先,模型的平均检测时间(50.41 ms)相较于直接使用YOLOv5(18.21 ms)或YOLOv4(36.18 ms)有所增加,这是在提升精度时付出的计算代价。其次,本研究仅针对11种常见水稻害虫,而实际虫情测报灯捕获的害虫种类远多于此,模型的泛化能力有待在更广泛类别上验证。
针对未来改进方向,研究指出可以从以下几方面着手:一是采用更轻量化的模型设计,例如优化Transformer模块的结构,在保证精度的同时降低计算负载;二是进一步扩充数据集,采集更多季节、更多种类的害虫图像,以提升模型的检测准确率和泛化能力;三是利用模块化设计的优势,未来可灵活地将探测器替换为YOLOv8、DETR等更新、更高效的模型,探索精度与速度的更优平衡。
5. 结论
综上所述,为解决小目标害虫检测分类准确率低的问题,本研究成功构建了一个融合YOLO主干网络与Transformer模块的ViT-YOLOv5p模型。该模型充分发挥了YOLO主干高检测精度与Transformer高分类精度的优势,并通过对YOLOv5检测头集成图像切分与拼接技术,强化了对小目标害虫的特征提取能力。验证结果表明,ViT-YOLOv5p在复杂田间场景下,对尺寸差异大的目标具有高鲁棒性和稳定性,并以91.89%的最高分类准确率和50.41 ms的平均检测时间,实现了高精度与低延迟的较好平衡。因此,该研究为在移动设备上部署实时、精准的水稻害虫监测预警系统提供了有力的技术参考和可行的模型方案,对推动农业害虫智能化防控具有重要意义。这项研究成果发表在期刊《AgriEngineering》上。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号