《Applied Sciences》:Multi-Class Weed Quantification Based on U-Net Convolutional Neural Networks Using UAV Imagery
Lucía Sandoval-Pillajo,
Marco Pusdá-Chulde,
Jorge Pazos-Morillo,
Pedro Granda-Gudi?o and
Iván García-Santillán
编辑推荐:
杂草识别与量化通常是人工、主观且易出错的过程。杂草与作物竞争养分、矿物质、物理空间、阳光和水分。因此,杂草识别是精准农业(Precision Agriculture, PA)中实现自主清除、定点处理、高效杂草控制和可持续性的关键组成部分。卷积神经网络(Conv
杂草识别与量化通常是人工、主观且易出错的过程。杂草与作物竞争养分、矿物质、物理空间、阳光和水分。因此,杂草识别是精准农业(Precision Agriculture, PA)中实现自主清除、定点处理、高效杂草控制和可持续性的关键组成部分。卷积神经网络(Convolutional Neural Networks, CNNs)在杂草识别中非常常见。本研究实施了基于U-Net架构的CNN模型,用于语义分割,以自动分割和量化马铃薯作物中的杂草,使用无人机在9–10米高度、1米/秒速度下获取的RGB图像。遥感图像受到降低图像质量和模型精度的因素影响。研究人员评估了五种U-Net变体:原始U-Net、残差U-Net(Residual U-Net)、双U-Net(Double U-Net)、修改版U-Net(Modified U-Net)和AU-Net。模型使用TensorFlow/Keras框架在Google Colab Pro+上训练,遵循知识发现数据库(Knowledge Discovery in Databases, KDD)方法进行图像分析。每个模型在非受控环境中使用多样化自定义数据集进行训练,考虑六个类别:背景、阔叶酸模(Rumex obtusifolius)、蒲公英(Taraxacum officinale)、基库尤草(Cenchrus clandestinum)、其他杂草物种和作物马铃薯(Solanum tuberosum L.)。模型的语义分割效果通过平均Dice系数(Mean Dice Coefficient)、平均交并比(Mean Intersection over Union, Mean IoU)和Dice损失(Dice Loss)指标广泛评估。结果表明,残差U-Net模型在多类别分割中表现最佳,达到平均IoU为0.8021,性能与文献报告相当或更优。此外,应用Student's t检验补充数据分析,表明该模型在杂草量化中可靠。
论文解读文章
**1. 研究背景与问题**
杂草是全球农业生产的主要挑战之一,据联合国粮食及农业组织(FAO)统计,发达国家因杂草导致的产量损失达5%–10%,发展中国家可达30%。传统人工杂草识别与量化方法主观性强、易出错,且耗时费力,导致除草决策滞后和农药滥用。精准农业(Precision Agriculture, PA)借助深度学习(Deep Learning, DL)实现自动杂草识别,其中卷积神经网络(Convolutional Neural Networks, CNN)在语义分割(Semantic Segmentation)中表现突出。然而,现有研究多限于二元分割或少数类别,且针对马铃薯作物的无人机(Unmanned Aerial Vehicle, UAV)影像数据集匮乏,尤其缺乏对原生杂草物种的标注。此外,非受控环境(光照、天气、植物形态变化)显著降低模型鲁棒性。为此,研究人员开展了基于U-Net架构的多类别杂草量化研究,论文发表在《Applied Sciences》。
**2. 研究内容与结论**
研究人员采用知识发现数据库(Knowledge Discovery in Databases, KDD)方法,使用DJI Mavic 2 Pro无人机在厄瓜多尔Carchi和Imbabura省的8个马铃薯田块,于9–10米高度采集3810幅RGB图像(5472×3648像素)。从原始图像中提取2100幅250×250子图像,再重采样为128×128像素,并手动标注6类(背景、阔叶酸模、蒲公英、基库尤草、其他杂草、马铃薯),共8119个植物实例。数据集按80/10/10比例分层划分训练/验证/测试集,并应用亮度调整、高斯模糊、旋转等数据增强。模型训练采用TensorFlow/Keras框架在Google Colab Pro+的Nvidia A100 GPU上进行,超参数包括Adam优化器、稀疏分类交叉熵损失函数、100周期训练、批量大小32,并设置早停和学习率衰减。五种U-Net变体(原始U-Net、残差U-Net、双U-Net、修改版U-Net、AU-Net)被评估,残差U-Net表现最佳,其测试集平均IoU(Mean Intersection over Union, mIoU)达0.8021。统计分析采用配对Student's t检验和皮尔逊相关系数,验证模型预测的杂草覆盖率与真实值之间的一致性。
**3. 研究结果**
- **3.1 U-Net性能指标**:在验证集上,残差U-Net在原始不平衡数据集中取得平均IoU=0.7755;经扩展平衡数据集训练后,平均IoU提升至0.8053,Dice损失0.1236,平均Dice系数0.8763。AU-Net(带注意力门控模块)性能最差(平均IoU=0.6150),因注意力机制在非受控UAV影像中难以聚焦稀疏杂草。测试集上,残差U-Net的各类别IoU分别为:背景0.9721、马铃薯0.9376、基库尤草0.7730、阔叶酸模0.7933、蒲公英0.7460、其他杂草0.5907。背景类因像素占比高而表现最优,其他杂草类因视觉异质性大而最低。可视化结果(图4)显示预测掩膜与真实掩膜匹配良好。
- **3.2 模型预测的统计验证**:Student's t检验显示,在阔叶酸模(p=0.053)、蒲公英(p=0.392)、其他杂草(p=0.363)和马铃薯(p=0.970)的覆盖率上,预测值与真实值无显著差异;而基库尤草(p=0.004)和背景(p=0.001)存在显著差异。皮尔逊相关系数(r>0.78)表明各类别均呈高线性关联。残差U-Net推理时间为每128×128像素块58.5毫秒(约17帧/秒),模型大小515 MB。
**4. 讨论与结论**
**讨论部分**:残差U-Net性能与文献报道的多种U-Net变体相比具有可比性或更优,尤其在多类别(6类)分割任务中。与先前基于ResNeXt50的研究相比,残差U-Net因扩展平衡数据集和架构改进,平均IoU提升9.1%。但“其他杂草”类因异质性而拉低整体性能。模型在复杂场景下平均IoU>0.80,满足实际应用需求。局限性包括:仅涵盖6类、作物生长期仅15–40天、未进行跨季节/区域验证、未探索Transformer架构或轻量化策略。未来工作建议增加数据多样性、实验混合架构和注意力机制,以及优化轻量模型用于嵌入式设备。
**研究结论翻译**:在本研究中,研究人员测试了五种U-Net架构版本,用于在非受控环境中对多种原生杂草进行语义分割,成功处理六个类别:背景、马铃薯、阔叶酸模、蒲公英、基库尤草和其他杂草。网络架构包括原始U-Net、残差U-Net、双U-Net、修改版U-Net和AU-Net。基于先前工作,研究人员扩展并平衡了模型训练数据集以获得更优结果。残差U-Net是调整多类分割结果使其贴近所研究原生植物轮廓的最佳模型,平均IoU为0.8021。该模型在类别数更少的文献中取得了可比或更优的结果(表6),推理时间为每128×128图像58.5毫秒(17帧/秒),存储大小为515 MB。未来工作应通过加入形状、大小和环境的更大变异来增加数据集图像和杂草类别的变异性,并优先考虑类别平衡。同时建议实验基于CNN和/或Transformer的现代深度神经网络组合,以及除注意力门控模块外的其他注意力机制,以处理小目标和不同大小的植物。进一步研究将探索混合架构以评估潜在精度提升,同时保持UAV农业部署的可行性。推荐采用量化、剪枝或知识蒸馏等技术优化的轻量模型,用于嵌入式设备实时实现。此外,可探索替代损失函数如焦点损失、类别平衡交叉熵或Dice与交叉熵的混合组合,以改善少数杂草类的分割。建议通过纵向数据收集和域适应策略严格评估跨季节或跨区域条件下的模型鲁棒性。最后,遵循这一研究路线,需要进行杂草制图以创建指示田间杂草空间分布和密度的地理参考地图。