DINOv3 与 YOLO26 结合用于增强作物杂草检测,面向精准蔬菜除草

《Computers and Electronics in Agriculture》:DINOv3 meets YOLO26 for enhanced crop-weed detection toward precision vegetable weeding

【字体: 大 中 小 】 时间:2026年08月27日 来源:Computers and Electronics in Agriculture 10.3

编辑推荐:

   •提出了一种 DINOv3–YOLO26 框架,用于稳健的蔬菜作物 - 杂草检测。 •整理了一个包含 19.9 万张图像的多季节杂草大型数据集,用于 DINOv3 微调。 •与基线 YOLO26 相比,域内和跨域 mAP@50 分别提升了 +5.4% 和 +14.0%。 •D

  

•提出了一种 DINOv3–YOLO26 框架,用于稳健的蔬菜作物 - 杂草检测。
•整理了一个包含 19.9 万张图像的多季节杂草大型数据集,用于 DINOv3 微调。
•与基线 YOLO26 相比,域内和跨域 mAP@50 分别提升了 +5.4% 和 +14.0%。
•DINOv3–YOLO26 优于实时检测器 YOLOv8-YOLO26 和 DEIMv2。
引言
杂草是影响全球作物生产的主要生物胁迫因素之一,有效的杂草控制仍然是保护作物产量、质量、粮食安全和农业可持续性的主要挑战 (Benjamin et al., 2024)。严重的杂草侵染可使主要作物减产超过 34% (Kumar et al., 2022),并使蔬菜作物造成超过 70% 的产量损失 (Chacko et al., 2021),导致每年全球经济损失估计达 320 亿美元 (Kubiak et al., 2022)。这些影响可能会通过与次要作物胁迫因素(包括虫害、植物病害和营养缺乏)的相互作用而进一步加剧 (Norris and Kogan, 2000, Kubiak et al., 2022)。蔬菜作物特别脆弱,因为它们对杂草的竞争能力有限且选择性除草剂选项相对有限 (Boyd et al., 2022)。报道的蔬菜产量损失范围从大约 70% 到在胡萝卜和大蒜等高敏感作物中超过 90% (Chacko et al., 2021)。与此同时,传统的撒施除草剂应用导致环境污染 (Fishkis et al., 2024),并日益受到除草剂抗性的挑战,全球已记录 273 种杂草具有抗性 (Heap, 2026)。其他限制因素,包括生物除草剂开发缓慢 (Duke et al., 2024)、继续依赖残效期短的萌芽前处理方案 (Becerra-Alvarez, 2025) 以及依赖劳动密集型的人工除草 (Zimdahl and Basinger, 2024),经常导致杂草控制不力。这些挑战凸显了对精准、减少化学药剂的杂草管理策略的迫切需求。

过去几十年中,对结合机器视觉、自动化、机器人技术以及最近的人工智能(AI)的精准杂草控制越来越感兴趣 (Brainard et al., 2023, Wang et al., 2025)。20 世纪 90 年代初,研究人员开发了一种精密脉冲喷枪,集成了位移传感量规轮和基于 640×480 Gy 图像的传统侵蚀和几何图像检测 (Lamm et al., 2002)。随着基于 AI 方法的出现,AgBotII (Bawden et al., 2017) 将基于视觉的杂草检测与机械除草和精密喷雾相结合,实现了 96% 的植物分类准确率和 92.3% 的杂草物种识别准确率。最近,据报道机器视觉引导的喷雾系统已达到高达 90% 的精度,并大幅减少了化学药剂投入 (Vijayakumar et al., 2023)。其他精准除草策略正在探索中以减轻对化学药剂的依赖。智能机械农具如弹簧齿和旋转锄头可作为化学控制的有效补充 (Xiang et al., 2024),而激光除草通过聚焦光束提供高度局部化、植物级别的处理 (Mutuyimana et al., 2025)。然而,配备这些执行器的自动化或机器人除草器依赖于准确、可靠的作物 - 杂草检测才能正确运行。不准确的植物定位或分类可能导致无意损伤作物或未能抑制杂草竞争,从而削弱精准除草系统的效益。

对于基于机器视觉的杂草管理,依赖几何、形态和颜色特征的传统图像处理方法往往在复杂田间条件下失效 (Thompson et al., 1991, Slaughter et al., 2008)。人工智能和深度学习的引入显著增强了系统可靠性,并实现了对多种作物和杂草类型的准确识别。多项研究表明,使用 AI 模型区分杂草与作物并识别杂草物种取得了令人鼓舞的结果 (dos Santos Ferreira et al., 2017, Salazar-Gomez et al., 2022, Deng et al., 2024)。例如,dos Santos Ferreira 等人 (2017) 使用卷积神经网络(CNNs)在豆类图像中检测阔叶和禾本科杂草,相对于作物和土壤背景的准确率超过 98%。YOLO 作为一种代表性的一阶段目标检测器,因其效率和强大的检测性能而变得流行 (Vijayakumar and Vairavasundaram, 2024)。在作物 - 杂草检测中,与传统方法相比,YOLO 模型已得到广泛采用。Osorio 等人 (2020) 报告称,YOLOv3 将生菜检测 F1 分数从 0.79 提高到 0.89,优于基于定向梯度直方图特征训练的支持向量机模型。Wang 等人 (2022) 发现 YOLOv3、YOLOv5 和 Faster R-CNN 达到了相似的 mAP@50(约 92%),其中 YOLOv5 达到了最高的 F1(0.89)。Dang 等人 (2023) 进一步评估了 18 种 YOLO 变体(v3–v7),在 12 类杂草数据集上的 mAP@50 为 88–95%。使用 YOLOv10,Deng 等人 (2026b) 报告称作物 - 杂草检测 mAP@50 为 80.0%,并在田间生菜喷雾中实现了 84.5% 的实时杂草命中率。然而,在不同环境中的泛化仍然困难。

先进 AI 模型的快速演进正在创造新机会,以增强精准除草系统中的植物感知。YOLO 系列的涌现呈现出向优化架构效率和减少边缘设备延迟的战略转变 (Redmon et al., 2016)。YOLOv2 引入了锚框和批归一化以提高召回率和收敛性 (Redmon and Farhadi, 2017)。YOLOv3 利用 Darknet-53 和用于检测重叠物体的多尺度预测改进了特征提取 (Redmon and Farhadi, 2018)。YOLOv4 引入了 CSPNet 和 Mosaic 增强,以平衡硬件受限系统的准确性和速度 (Bochkovskiy et al., 2020)。YOLOv5 引入了 CSP-Darknet53 和 AutoAnchor 机制,该机制为自定义数据集优化锚框 (Jocher, 2022)。YOLOv6 和 YOLOv7 随后分别通过 RepVGG 和 E-ELAN 架构改进了硬件效率和推理速度 (Li et al., 2022, Wang et al., 2023)。YOLOv8 通过无锚框预测简化检测,并使用分布焦点损失(DFL)建模定位不确定性,建立了强基线 (Jocher et al., 2023)。在此基础上,YOLOv9 通过可编程梯度信息提高了参数效率 (Wang et al., 2024a),而 YOLOv10 开创了免非极大值抑制(NMS)的流水线以提高推理速度 (Wang et al., 2024b)。YOLO11 通过架构优化和更轻的卷积设计进一步减少了 22% 的总参数 (Ultralytics, 2024)。YOLO12 融入了基于注意力为中心的设计,结合 FlashAttention (Dao et al., 2022),在略微增加内存需求的代价下提高了准确性 (Tian et al., 2025)。YOLOv13 增加了基于超图的机制,以保持轻量级轮廓的同时改进多尺度检测 (Lei et al., 2025)。值得注意的是,从 v8 到 v13 使用了 DFL,因为它将边界框回归从确定性的连续坐标转换为通用概率分布,实现了密集检测的优越定位精度。基于这些迭代,YOLO26 (Jocher et al., 2026b) 作为 YOLO 系列的最新版本,通过移除 DFL 并执行端到端免 NMS 预测简化了部署流水线,并引入了受大型语言模型训练策略启发的 MuSGD 优化器以实现更稳定的收敛。其 ProgLoss(渐进损失平衡)和 STAL(小目标感知标签分配)机制进一步改进了对密集作物行中小目标或部分遮挡杂草的检测,并且与 YOLOv8 相比,纳诺模型的 CPU 推理速度最高提升了 2.07 倍 (Sapkota and Karkee, 2025)。

作物和杂草检测的稳健深度学习受到缺乏大规模、标注数据集的限制,这些数据集旨在捕捉实际的农业环境。现有数据集通常限于数百或数千张图像,缺乏对植物生长、土壤类型、光照、照明及其他季节和环境因素田间变异性的充分表示 (Li et al., 2022, Deng et al., 2024)。尽管一些农业数据集包含大量图像(例如超过 1 万张),但它们通常存在功能限制或需要大量的标注工作。甜菜数据集 (Chebrolu et al., 2017) 包含约 5 TB 的原始传感器数据,但只有 300 张标注图像。DeepWeeds (Olsen et al., 2019) 提供了 17,509 张近距离图像,但仅支持图像分类。开放植物表型数据库 (Leminen Madsen et al., 2020) 包含 7,590 张 RGB 图像和 315,038 个标注植物对象,但依赖于固定的数据采集设置,即盆栽植物沿导轨移动,而不是在田间条件下捕获。Moving Fields 杂草数据集 (Genze et al., 2024) 采用了类似但更大规模的采集设置,包含 94,321 张高分辨率图像和 200,148 个标注对象。MH-Weed16 (Shinde and Attar, 2025) 包括 25,972 张高分辨率图像,但仅有 6,656 张图像具有实例级标注。因此,在特定域捕获的有限数据集上开发的模型倾向于在应用于不同域的数据集时性能下降。Deng 等人 (2024) 表明 YOLOv8、YOLOX 和 DINO 在同一季节 mAP@50 中实现了高性能(95.7–98.7%),但跨季节 mAP@50 对于 YOLOv8 降至 81.5%。此外,密集分布的杂草和视觉相似作物之间的部分遮挡导致假阳性,因为模型在田间条件下难以区分边界 (Raza, et al., 2025)。克服这些瓶颈需要具有多样样本的大规模、异构数据集,而实例级标注是必需的。

自监督学习(SSL)通过从大量无标签数据中学习可迁移表示,为解决精准农业中标注图像稀缺问题提供了一个有前途的解决方案。为了减轻人工标注的劳动密集型过程,Güldenring 和 Nalpantidis (2021) 将对比 SSL 应用于无标签农业图像,在标注数据有限的下游任务中优于传统的监督深度学习,并将前 1 分类准确率提高了高达 14%。同样,Xu 等人 (2022) 证明,视觉 Transformer(ViTs)在大规模、特定领域植物数据集上的自监督预训练,显著优于标准的 ImageNet 监督预训练,适用于植物疾病分类等下游任务。在应用于农业视觉任务的 SSL 方法中 (Carneiro et al., 2025),DINOv2 (Oquab et al., 2023) 是 DINO(无标签自蒸馏)(Caron et al., 2021) 的进阶版,已在一系列农业任务中表现出强大的泛化性能,包括作物 - 杂草分类、植物健康诊断、叶片计数估计和植物分割 (Espejo-Garcia et al., 2025, Benito-Del-Valle et al., 2025)。最近,DINOv3 (Siméoni et al., 2025) 作为一个最先进的 SSL 框架涌现,通过利用大规模数据整理和模型缩放策略进一步提高了表示质量。具体来说,DINOv3 采用了一个在 17 亿张精选图像上训练的高容量视觉 Transformer(ViT)教师模型,并纳入 Gram 锚定损失以减轻密集预测任务中的特征坍塌,即使在无特定任务微调的情况下,也能在多种计算机视觉基准上实现卓越性能。此外,DINOv3 提供了一套视觉模型,可适应不同的资源约束和部署场景。

对于作物 - 杂草检测,将训练数据从数千个样本扩展到数百万个样本预计能提升模型在跨域泛化方面的性能,从而改善杂草控制和作物保护的稳健性。然而,尽管有这些优势,DINOv3 在实际除草系统中的直接部署仍受限于其计算需求,这限制了实时推理性能。这一限制与农业中 ViTs 的早期评估相一致,后者实现了高分类准确率但需要大数据集和大量计算资源,尽管迁移学习使它们在数据有限的情况下优于标准 CNN (Reedha et al., 2022)。为了在保留全局上下文感知的同时减少 Transformer 的计算负担,早期框架引入了知识蒸馏,将归纳偏差从大型教师模型转移到更小、可部署的架构中 (Touvron et al., 2021)。同时,检测 Transformer(DETR)引入了一种端到端的目标检测范式,消除了 NMS 等后处理步骤,尽管早期版本在边缘设备上存在收敛缓慢和延迟高的问题 (Carion et al., 2020)。为了解决早期 DETR 模型的延迟问题,最近的发展引入了实时检测 Transformer(RT-DETR),实现了与 YOLO 系列相当或更快的推理速度 (Zhao et al., 2024)。RT-DETRv4(实时检测 Transformer 第 4 版)(Liao et al., 2025) 通过引入深度语义注入器解决了轻量级检测器语义表示有限的问题,该注入器在训练过程中将高级语义知识从冻结的 DINOv3 教师模型转移到实时 CNN 学生模型中。同样,DEIMv2(改进匹配版 DETR)(Huang et al., 2026) 在 DETR 框架内将 DINOv3 集成为主干,并采用空间调适适配器(STA)将单尺度 ViT 输出转换为多尺度特征表示,有效解决了小目标检测中的分辨率不匹配问题,同时表明与 YOLOs 相比,非常适合资源受限设备。

这些进展既凸显了实时检测器的快速进步,也凸显了 DINOv3 预训练 ViT 模型的强大视觉表示能力。基于这些发展,本研究提出将 DINOv3 预训练 ViT 主干与 YOLO 集成,以提高精准农业场景中的杂草检测准确性和稳健性。

具体来说,Ultralytics 最新发布的 YOLO26 因其灵活的架构以及与其他 YOLO 变体(例如 YOLOv8–YOLOv12)的兼容性而被选中,使其非常适合探索 DINOv3–YOLO 集成。本研究的目的是通过结合 DINOv3 强大的视觉表征能力与 YOLO26 轻量级、高效率的探测器,开发一个鲁棒的作物 - 杂草检测模型。利用精心策划的多源数据集,我们提出了一种 DINOv3-YOLO26 框架,该框架利用 DINOv3 学习的丰富语义特征,同时保持 YOLO26 的计算效率和实时适用性。探索了两种架构配置:1) 单一主干配置,其中 DINOv3 预训练的 ViT 替换标准 YOLO 主干,直接将基础级表征传输到检测管道中;2) 双分支配置,其中 DINOv3 预训练的 ViT 作为辅助主干与原生 YOLO 主干并行,来自两个分支的特征在多个阶段融合,以将全局语义感知(来自 DINOv3)与轻量级空间高效表征(来自 YOLO)相结合。为了促进两个分支之间的有效交互,引入了一种特征对齐损失,以在联合优化过程中协调基于 YOLO 和基于 DINO 的特征。所提出的模型在跨越多个生长季的数据集上进行了评估,以评估其在真实田间变异下的鲁棒性。通过将基础模型增强型架构适应于作物 - 杂草图像,本研究旨在:1) 减少对有监督训练大量人工标注数据的依赖,2) 提高模型的跨域泛化能力,3) 保持轻量级推理以支持实际的田间部署。因此,本研究的具体目标如下:(1) 提出一种结构化数据策划流程,用于整合来自多个公共源的作物和杂草图像,以微调 DINOv3 ViT-small。(2) 通过将 DINOv3 微调的 ViT-small 集成到 YOLO26-large 中,提出 DINOv3-YOLO26 框架,包括单一和双分支架构,具有多阶段特征融合和特征对齐损失。(3) 通过在植物分类上评估 DINOv3 微调的 ViT-small,在作物 - 杂草检测任务上评估提出的 DINOv3-YOLO26 架构,以及在多季节作物 - 杂草数据集上的泛化能力,来评估模型性能和鲁棒性。片段章节 数据集本研究选择性使用了三个杂草数据集,这些数据集是在之前的研究(Deng and Lu, 2025, Deng et al., 2025a, Deng et al., 2026a, Deng et al., 2026b)中从 2021 年到 2025 年多季节的不同蔬菜田中收集的,包括 3SeasonWeedDet10、Weed&CropDet2024 和 Weed&LettuceDet2025 数据集。2021–2023 年的大部分数据构成了 3SeasonWeedDet10 数据集(Deng and Lu, 2025),该数据集包含 8,436 张图像和 27,963 个杂草实例,跨越 10 类。作物 - 杂草分类由 DINOv3 完成初步实验表明,在 2025 年生菜边界框图像上使用 7:3 的训练 - 验证集划分,官方和微调后的 DINOv3 ViT-small 模型在二分类生菜 - 杂草分类任务中均达到了 96% 以上的平均准确率,模型之间的差异小于 0.5%。即使在仅使用 10% 数据进行训练的 1:9 训练 - 验证集划分的少样本设置下,准确率仍保持在 94% 左右,模型之间的差异同样极小,表明计算权衡本研究提出了一种有前景的混合检测框架 DINOv3-YOLO26,通过利用 DINOv3 预训练的 ViT 主干,在作物 - 杂草检测方面超越了标准 YOLO26。这一改进与此前发现的一致,即基于 DINO 的 YOLO 模型通过利用变压器的全局感受野,在小目标检测和数据高效任务中表现出色(Malaisree et al., 2025)。尽管提出的混合架构使模型总参数量增加了 45.6%,但它带来的结论本研究提出了一种新颖的 DINOv3-YOLO26 框架,通过用 DINOv3 预训练的 ViT 替换原始 YOLO 主干来增强作物 - 杂草检测。精心策划了大规模公共数据集,产生了 199,338 张图像用于微调 DINOv3 预训练的 ViT-small。经过 Gram 锚定后,微调后的 ViT 在作物 - 杂草分类任务上比官方 DINOv3 预训练的 ViT 高出 2.2%。尽管在高分辨率适应后分类准确率下降,但检测性能 CRediT 作者贡献声明 Boyang Deng: 写作 – 初稿,可视化,软件,形式分析,数据策划。Yuzhen Lu: 写作 – 审查 & 编辑,验证,监督,调查,概念化。写作过程中生成式人工智能和人工智能辅助技术声明在准备本工作期间,作者 (s) 使用了 ChatGPT(免费计划)以提高稿件的语法、清晰度和整体可读性。在使用该工具/服务后,作者 (s) 根据需要审查和编辑了内容,并对出版物的内容承担全部责任。竞争利益声明作者声明他们没有任何已知的竞争财务利益或个人关系,这些利益或关系可能被视为影响了本论文中报告的工作。致谢本研究得到了密歇根州农业和农村发展部(MDARD)的特色作物区块拨款和农场创新拨款的支持。Boyang Deng|Yuzhen Lu
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号