《Agriculture》:Detection and Targeted Pesticide Application for Tea Diseases Based on YOLOv12 and 3D Vision
编辑推荐:
作为一种全球重要的经济作物,茶叶的产量与品质深受病害防控效果的影响。传统人工巡检效率低下且具有主观性,而非靶向化学施药则可能增加农药用量与环境负担。为支撑病斑级精准植物保护,本研究提出一种将改进YOLOv12检测器与RGB-D三维(3D)感知及机器人执行相结合
作为一种全球重要的经济作物,茶叶的产量与品质深受病害防控效果的影响。传统人工巡检效率低下且具有主观性,而非靶向化学施药则可能增加农药用量与环境负担。为支撑病斑级精准植物保护,本研究提出一种将改进YOLOv12检测器与RGB-D三维(3D)感知及机器人执行相结合的茶病检测与靶向施药框架。研究人员首先构建了一个包含四类茶病、共2121张原始图像的自建数据集,并在原始图像层级将其划分为训练、验证和测试子集,且仅对训练子集进行数据增强,以防止源级信息泄漏。所提出的YOLO-EMA-SoftNMS-DSConv(YOLO-EPS)模型集成了高效多尺度注意力(EMA)、分布偏移卷积(DSConv)和软非极大值抑制(Soft-NMS)。在泄漏控制协议下,YOLO-EPS取得了94.28%的mAP@0.5和87.16%的mAP@0.5:0.95。采用固定源级划分的5次独立运行获得94.24±0.20%的mAP@0.5,表明训练行为稳定。在搭载Blackwell兼容PyTorch/CUDA软件栈的RTX 5090桌面GPU上,仅检测器推理耗时为每幅图像1.8 ms。该系统进一步将二维病斑检测结果映射至RGB-D点云和机器人坐标系,并利用局部表面几何信息支持姿态感知的靶向施药。受控3D定位与边缘平台延迟实验与桌面检测器基准测试分开进行。所提出的框架为在茶园中整合病害识别、空间感知与机器人靶向施药提供了基础。
茶叶作为我国重要的特色经济作物,其生产品质与产业效益深受病害发生与防控效果的影响。传统的大范围化学防治容易造成脱靶损失、农药利用率低和环境风险,精准施药技术的发展因此受到推动。与此同时,茶园病害监测主要依赖人工巡检和经验判断,而深度学习的发展为图像病害识别提供了更客观高效的途径。尽管已有研究在基于YOLOv12的茶病检测方面取得了进展,例如轻量化模型实现高精度识别和高速推理,但这些研究的输出主要停留在图像空间,缺乏将识别结果转化为机器人可执行空间信息的能力。农业机器人领域虽然已出现将视觉识别与深度感知、施药控制相结合的研究,但在茶树环境下,将病斑级检测、三维空间定位和机器人靶向施药集成于统一闭环框架的工作仍不充分。茶园叶片尺度小、遮挡严重、背景复杂、光照变化大,对实时性、鲁棒性和工程部署提出了严峻挑战。为此,研究人员提出一种基于改进YOLOv12与三维视觉的茶病检测和靶向施药框架,旨在将病斑识别、空间感知与机器人执行统一于感知-决策-执行流程中。
研究人员开展的工作主要包括:构建了一个包含四类茶病、共2121张原始图像的数据集,采集自某茶叶种植基地,使用AT-S1000-06C-S2工业相机在充足光照条件下拍摄,并在原始图像层级按8:1:1分层划分为训练(1697张)、验证(212张)和测试(212张)子集,增强操作仅施加于训练子集以避免源级泄漏。在检测器层面,提出了YOLO-EPS模型,其在YOLOv12n基础上集成EMA模块(插入于检测头前)、DSConv(分布偏移卷积)和Soft-NMS后处理。系统还构建了基于RGB-D相机和协作机械臂的靶向施药框架,将二维检测映射至三维机器人坐标,并通过局部点云平面拟合估计叶片朝向。动态数据增强策略(前150轮强增强、后150轮弱增强)也被评估。在受控条件下,3D定位实验使用Intel RealSense D435i相机以眼在手外方式安装,通过张正友标定法标定内参(平均重投影误差0.23像素),采用Tsai-Lenz手眼标定法获得相机到机器人基座的变换矩阵(平移残差1.6 mm,旋转残差0.31°),定位验证使用分辨率0.05 mm的线性平移台和0.1°的旋转台。
研究结果主要体现在以下方面。在EMA放置位置实验中,将EMA插入检测头前(YOLOv12n-db)相比基线模型F1分数提高1.58个百分点,mAP@0.5提高2.39个百分点,mAP@0.5:0.95提高2.03个百分点,同时保持1.8 ms的推理时间。Grad-CAM热图可视化显示,引入EMA后模型特征响应明显集中于病斑中心,背景干扰显著减少,小尺度低对比度病斑也能被准确聚焦。模型对比实验在相同数据集和桌面GPU环境下进行,YOLO-EPS优于YOLOv8n、YOLOv11n和Faster R-CNN等模型。消融实验表明,EMA+Soft-NMS组合取得最高检测精度(94.52% mAP@0.5和87.74% mAP@0.5:0.95),而加入DSConv略微降低精度,因此YOLO-EPS应理解为准确率-效率折中方案。训练收敛分析显示,动态增强策略优于固定强增强和固定弱增强,损失曲线在训练轮次150附近出现加速下降,最终平稳收敛,动态增强下的mAP@0.5达到94.28%,高于固定强增强(92.87%)和固定弱增强(93.54%)。重复运行实验中,YOLO-EPS五次独立运行的平均mAP@0.5为94.24±0.20%,表明训练稳定性良好。3D定位评估中,300 mm距离处平均误差为3.1 mm,700 mm处增至4.5 mm;在固定500 mm距离下,视角从0°增至30°时平均误差从3.7 mm增至4.8 mm,整体平均定位误差为4.0 mm,RMSE为4.4 mm,最大误差8.2 mm。边缘平台延迟实验中,在NVIDIA Jetson Orin NX 16 GB平台上以TensorRT FP16精度推理,检测器推理耗时为13.6±0.7 ms/帧,完整感知-命令处理链低于70 ms,机械臂运动主导总循环时间,完整循环为846±46 ms。
讨论部分指出,EMA放置位置显著影响检测性能,改进后特征响应集中;动态训练策略更适合泄漏控制子集;DSConv的保留应基于准确率-效率综合评估。局限性包括:数据集仅含四类病害且采集自单一基地,无法验证跨场地、跨季节和跨设备泛化能力;3D定位实验在受控距离和视角下进行,尚需在真实茶园环境下验证;端到端延迟仅评估了单一边缘计算和机器人配置。研究结论表明,该框架建立了从病斑识别到空间映射再到机器人执行的技术链路,YOLO-EPS在泄漏控制协议下取得高性能和稳定训练,动态增强策略优于固定策略。田间尺度的农药节省和防控效果仍需更大规模的多季、多场地试验进一步验证。