《Smart Agricultural Technology》:Corn stem diameter and ear orientation angle measurement method based on D3-YOLOv11 and RGB-D camera
编辑推荐:
为解决传统玉米收获装置因缺乏对茎秆直径和果穗朝向角的实时感知能力而导致损伤率高的问题,本研究提出了一种基于改进D3-YOLOv11实例分割网络和RGB-D相机的自动测量方法。通过引入双域动态门控卷积(D3GConv)增强特征提取能力,结合语义细节注入(SDI)模块与双向特征金字塔网络(BiFPN)优化特征融合,并采用广义焦点损失函数V2(GFLV2)提升边界定位精度。实验结果表明,该模型在茎秆和果穗实例分割任务中的Mask-mAP50分别达到99.3%和94.6%,茎秆直径测量的平均绝对误差(MAE)仅为0.16 cm,果穗朝向角测定系数R2达到0.95。该方法为玉米收获装备的自适应控制提供了有效的视觉感知基础,显著提升了作业智能化水平。
玉米作为全球重要的粮食作物和饲料来源,在保障粮食安全和农业经济中扮演着关键角色。鲜食玉米因其高营养价值和优良口感而备受青睐。随着农业机械化的发展,高效、低损失的鲜食玉米收获已成为产业迫切需求。近年来,反向掰穗装置作为降低收获损伤的重要方向受到广泛研究关注。然而,现有装置普遍存在一个共性瓶颈:缺乏对茎秆直径和果穗朝向角的实时感知能力,无法根据植株个体差异自适应调整作业参数,严重制约了收获效率和损伤率的进一步提升。
传统基于传感器的系统难以感知茎秆直径、果穗朝向角等作物参数,无法满足掰穗装置对植株物理状态的精细感知需求。虽然基于计算机视觉的作物参数测量方法逐渐展现出独特优势,但点云处理方法计算复杂,难以满足实时作业要求;而基于颜色特征的分割算法在复杂的田间环境中易受光照和背景干扰。深度学习技术的快速发展为突破这一瓶颈提供了新的技术路径。
在此背景下,本研究聚焦于视觉感知层面,提出了一种基于深度相机和改进D3-YOLOv11分割模型的识别方法。该方法通过三个关键技术创新,实现了玉米茎秆直径和果穗朝向角的实时精准测量,为后续的自适应调控提供了可靠的视觉输入。
研究人员在吉林长春的鲜食玉米试验田采集了2000张图像数据,构建了包含茎秆、果穗和茎节实例分割标注的数据集。数据采集涵盖了不同天气条件和一天中的多个时间段,确保了数据集的多样性和鲁棒性。研究中搭建了以Intel RealSense D435 RGB-D相机为核心的田间数据采集平台,能够输出1280×720分辨率的深度图,深度测量精度误差小于2%。
本研究的核心技术方法包括:首先,提出了双域动态门控卷积(D3GConv)模块,通过频域权重分解和空间自适应调制,增强模型对茎秆和果穗实例的分割能力;其次,在颈部网络中设计了结合语义细节注入(SDI)模块和双向加权金字塔(BiFPN)的混合架构,提高了小目标分割精度;最后,在检测头中采用广义焦点损失函数V2(GFLV2),通过其分布引导质量预测器(DGQP)提升密集茎秆场景中的边界定位精度。结合RGB-D深度信息,最终实现了茎秆直径和果穗朝向角的实时测量。
3.1. 模型性能评估指标与实验参数设置
本研究采用精确率(P)、召回率(R)、平均精度(AP)、平均精度均值(mAP)和帧率(FPS)作为模型性能评估指标。同时选用平均绝对误差(MAE)、均方根误差(RMSE)和决定系数(R2)来评估模型预测的性能和准确性。所有模型在统一实验设置下进行训练和评估,输入分辨率统一为640×640像素,训练300个epoch以确保充分收敛。
3.2. 实验结果
D3-YOLOv11模型在训练过程中表现出理想的学习特性,各项损失函数均呈现稳定下降趋势,并在280个epoch后趋于稳定。精确率和召回率随着训练轮次增加逐渐提高,表明模型具有良好的收敛性。在目标检测任务中,该模型在所有类别上的P、R和mAP50分别达到94.9%、95.0%和97.2%,均为表中列出的模型中的最高值。
3.3. 消融实验
消融实验结果表明,D3GConv、SDI-BiFPN和GFLV2三个模块具有明显的协同效应。最终模型在参数量减少至2.00 M(降低29.6%)的同时,实现了所有类别分割任务的综合性能提升,其中茎秆的Mask-R和Mask-mAP50分别达到94.2%和94.6%,比基线YOLOv11模型提高了3.4%和3.0%。节点分割性能提升尤为显著,R和mAP50分别达到79.2%和84.4%,比基线提高5.1%和3.6%。
3.4. 与其他模型对比
与Mask R-CNN、Swin Transformer、YOLOv8等主流实例分割模型相比,D3-YOLOv11在所有核心指标上均达到最优或领先水平。特别是在实例分割任务中,所有类别的Mask-mAP50达到92.7%,领先其他模型。同时,该模型保持了237.6 FPS的实时推理速度,在精度和效率之间取得了最佳平衡。
3.5. 茎秆直径和果穗朝向角测量实验
自动化测量结果与人工测量值的对比表明,该模型在实际田间环境中具有优异的性能和鲁棒性。对于玉米果穗,模型预测值与人工测量值之间的MAE和RMSE分别为6.76和8.36,R2达到0.95。在茎秆直径测量中,MAE和RMSE仅为0.16 cm和0.21 cm,R2为0.88。这些指标从不同角度一致证实了该自动化测量方法在精度上可以有效替代传统人工测量。
研究的讨论部分深入分析了模型的检测效果、局限性及泛化能力。虽然D3-YOLOv11在实验数据集上表现优异,但面对未知环境和极端工况仍存在局限性。由于数据集主要来自吉林省长春市同一生态区域,模型对于生长形态与东北玉米差异显著的品种或不同种植模式下的泛化能力仍需进一步验证。在真实部署中,系统可能面临强逆光、低光照、雨雾干扰等比实验环境更复杂的挑战。
针对上述问题,研究团队规划了系统的改进路径:在提升模型泛化能力方面,将构建覆盖中国主要玉米产区的多样化数据集;在增强环境适应性方面,考虑采用主动照明系统应对光照变化,并通过模拟图像退化增强数据多样性;在系统鲁棒性优化方面,计划使用时序滤波算法整合视频序列信息以稳定检测结果。
值得注意的是,D3-YOLOv11模型参数量仅为2.00 M,轻量级特性使其具备在计算资源有限的边缘设备上部署的潜力。在NVIDIA 5060 GPU上,模型推理速度达到约237.6 FPS,为实时性提供了上限参考。基于模型复杂度和在Jetson等嵌入式平台上的经验,估计在高性能边缘模块上可以实现超过30 FPS的推理速度,满足实时处理需求。
未来工作将在模型架构、训练策略和工程部署等方面进行深入探索。计划在频域分支中引入可变形卷积以增强对不规则形状茎秆的特征提取,设计渐进式特征传播路径以缓解深层网络中的细节信息丢失。同时,将开发针对农业场景的对抗样本生成方法,模拟雨雾等极端天气下的图像退化,显著提升模型在恶劣条件下的鲁棒性。
本研究通过双域动态门控卷积增强特征提取,结合语义细节注入与双向特征金字塔网络优化特征融合,并采用改进的损失函数提升边界定位精度,系统解决了当前模型在复杂田间环境中部署的瓶颈问题。D3-YOLOv11模型在保持高精度的同时显著降低了计算复杂度,为玉米收获装备的自适应控制提供了可靠的技术支持,对提升农业作业智能化水平具有重要意义。茎秆直径和果穗朝向角的高精度实时感知,为掰穗装置的自适应控制奠定了直接基础,有望在实际农业生产中发挥重要作用。