基于基础模型辅助标注与视觉感知的收获机传送带蓝莓流量及质量估算
《Computers and Electronics in Agriculture》:Blueberry flow and mass estimation from harvester conveyor videos via foundation-model-assisted labeling and vision-based sensing
【字体:
大
中
小
】
时间:2026年09月24日
来源:Computers and Electronics in Agriculture 10.3
编辑推荐:
• 蓝莓流在收获机传送带上的RGB-D传感实现实时反馈。
• YOLOv8与SAM2联合自动标注,从未标注图像中构建大型蓝莓数据集。
• SegFormer在蓝莓和青蓝莓类别上分别达到0.912和0.817的IoU。
• YOLOv8在蓝莓和青蓝莓类别上分别达到0.966和0
• 蓝莓流在收获机传送带上的RGB-D传感实现实时反馈。
• YOLOv8与SAM2联合自动标注,从未标注图像中构建大型蓝莓数据集。
• SegFormer在蓝莓和青蓝莓类别上分别达到0.912和0.817的IoU。
• YOLOv8在蓝莓和青蓝莓类别上分别达到0.966和0.898的mAP。
• 基于深度和基于检测的质量估计方法各具互补优势。
## 引言
过去十年中,全球蓝莓产量增长了约三倍,主要受消费者需求增长驱动(IBO,2025)。2023年美国栽培蓝莓产量达7.95亿磅,其中54%以鲜果形式消费(USDA,2025)。传统上,鲜食蓝莓依靠手工采摘。然而,由于劳动力成本不断上升和劳动力短缺日益严重,美国各地的商业蓝莓种植户越来越多地采用行间式(OTR)机械收获机来采收鲜食蓝莓。与传统手工采摘相比,行间式机械收获机可显著降低采收成本(Seavert等,2025)。然而,实施行间式收获的一个重大挑战是果实内部淤伤导致的品质下降。蓝莓淤伤率居高不下,仍是鲜食市场广泛采用机械收获的一大障碍。
如图3(左)所示的行间式机器,通过振动棒摇动灌木来收获蓝莓。脱落的果实落在接果板上,再由传送带输送至机器顶部的中央收集点。设备制造商和种植者/生产者已经了解振动杆的振动力如何传递至植物和果实(Takeda等,2021),并确定了实现理想采收性能所需的操作参数。然而,为不同种植体系、修剪方式、蓝莓品种等条件的田地准备行间式收获机,面临着运营挑战,需要调整多项机器设置,包括收获机的行驶速度、振动转速、振动幅度和打果器的重量与重叠度。
行间式收获机的配置方式会影响收获到的蓝果和青果(即成熟与未成熟果实)的数量和比例。在当前的实践中,设置机器操作参数的决策过程完全是人工的,通常取决于机器操作员在采收作业开始时的经验。一旦某一行开始采收,几乎无法获得关于采收性能的实时反馈(如总果实流量、蓝果与青果比例、废弃物含量等),也无法对机器设置进行自动控制。蓝莓果实体积流量与散装颗粒物料相比波动较大,加之行间式收获机上物料特性的可变性,对传统质量流量传感器的有效集成构成了挑战。开发更"智能"的收获机,利用传感、数据和学习的组合来自主地持续调整机器设置以优化性能,代表了推进鲜食市场机械收获的重大机遇。
以往使用行间式收获机改善鲜食蓝莓品质的研究包括:开发蓝莓撞击记录装置以指导收获机设计变更,减少物理冲击(Yu等,2012),以及设置柔性接果面以减少果实淤伤(Sargent等,2021)。在其他作物中,如番茄和甘蔗,冲击传感器已被用于优化机械收获机设置(Arazuri等,2010),立体相机则实现了作物流量的精确估算(Hamdan等,2020),两者均有助于改善包装质量和可靠的作物质量预测。在杏仁生产中,研究人员探讨了使用机器学习估计树干直径、加速度和振动时长之间关系的方法(Farajijalal等,2024)。该工作的长期目标是开发能够根据实时传感器数据自动调整振动参数的智能坚果收获机。
最先进的行间式蓝莓收获机集成了称重传感器,以确保传送带末端用于收集蓝莓的存储斗装入一致的重量。虽然这些测量可以与RTK GNSS结合,生成精确的地理定位收获产量图,但此类数据无法提供收获到的蓝果与青果比例以及传送带中废弃物含量的实时信息。虽然已有研究利用计算机视觉估算蓝莓产量(Chang等,2012;Qu等,2024),但对该领域先前工作的综述表明,几乎所有研究都聚焦于采收作业开始前(机械化或手工采摘)的田间果实产量预测。Deng等(2024)评估了YOLOv8和YOLOv9用于果园内蓝莓检测/计数和成熟果实估算的效果;根据图像分辨率的不同,整体mAP@50在91.0%至92.7%之间变化。作者还发布了公开可用的图像数据集,包含17,809个标注的成熟和未成熟果实实例。Singh等(2025)训练了YOLOv8模型以在灌木侧面视角的田间图像中检测蓝果和青果,最佳模型达到mAP@50为70.8%。MacEachern等(2023)使用早期版本的YOLO估算野生蓝莓产量;二类模型(蓝果和青果)的平均精度为88.12%。最近,Li等(2025)使用现有蓝莓检测数据集(Liu等,2023)中的边界框作为提示输入给Segment Anything(SAM)(Kirillov等,2023)以生成像素级掩码标签。随后利用该像素级果实数据集训练了BerryNet,一种定制化的YOLOv8架构,在果实分割任务中达到mAP@50为85.8%。虽然其应用场景为田间表型分析,但他们使用视觉基础模型减少人工标注的方法与我们的方法类似。关于机械收获过程中蓝莓成像的少数研究之一是一项废弃物检测系统,该系统使用YOLOv3-SPP模型(Redmon和Farhadi,2018)在商用机械野生蓝莓收获机传送带的俯视图像中检测野生蓝莓和废弃物,经过数据增强后mAP达到0.74(Das等,2023)。该研究未预测收获的蓝莓质量。此外,野生蓝莓在传送带上的密度通常比机械化收获栽培高丛蓝莓时的果实流更为稀疏,导致图像更为简单,杂乱和遮挡更少。
我们的长期目标是创建一个自动控制器,利用实时传感调整收获机的行驶速度和振动参数以实现最佳采收性能。本文针对该长期目标中的传感阶段,开发了一套计算机视觉系统,从收获机传送带的俯视RGB-D图像中高频估算蓝莓通量,尚未实现闭环控制。更具体地说,该系统使用最先进的深度神经网络进行语义分割和物体检测,估算收获到的蓝果与青果比例及体积流量。为构建计算机视觉流水线,我们在商业蓝莓农场采收作业期间收集了真实图像数据集,并通过变化机器设置以增加数据变异性。图像包含多种物体类型,且存在显著杂乱和遮挡,使得人工标注资源消耗极大。为充分利用最先进的深度学习分割模型,我们开发了一种新颖的数据标注扩展框架。本文的主要贡献为:(1) 在变化机器设置条件下、于商业行间式蓝莓采收期间收集的真实田间数据集;(2) 一种全自动标注流水线,将物体检测与基于基础模型的分割相结合,从未标注图像中生成大规模蓝莓数据集;(3) 在收获机传送带图像上训练语义分割和场景级物体检测模型,用于蓝莓分类和计数;(4) 两种互补的基于视觉的收获蓝莓质量估计方法,在五种机器设置组合下与地面真实称重传感器测量值进行验证。数据集和训练好的模型已在 https://github.com/Viper4717/berry_harvest 上公开。
本文其余部分组织如下:第2节首先概述数据采集实验,然后描述全自动数据集生成流水线。我们训练了两个模型来分析传送带上的蓝莓流动:一个用于蓝莓区域像素级分类的语义分割模型,以及一个用于定位单个蓝莓实例的场景级物体检测模型。自动蓝莓检测结果以及基于视觉的收获产量和体积流量估计结果在第3节中呈现。我们将预测产量(千克)与收获机称重传感器的地面真实测量值进行比较。结论(第4节)总结了关键要点并提出未来工作方向。
## 方法
本节描述了基于视觉的机械收获机传送带上蓝莓流动分析方法。我们首先描述田间数据采集流程,然后介绍用于创建初始标注数据集的人工标注过程。接着,我们提出一种自动化标注流水线,利用补丁级物体检测器和基于SAM2的掩码生成来大幅扩展训练数据。生成的数据集用于训练SegFormer语义分割……
### 蓝莓分割与检测
微调后的SegFormer模型在所有类别和指标上均显著优于基线模型,如表1所示。两个模型均在自动生成的411张验证图像集上进行评估,这些图像在两个模型的训练中被排除在外;基线模型仅使用人工标注数据集训练,而微调模型随后在更大的自动生成数据集上进一步训练,如2.4节所述。性能报告涵盖蓝莓、青……
## 结论
本文提出了一种基于计算机视觉的系统,用于检测并分类机械蓝莓收获机传送带俯视图像中的蓝莓。我们创建了一套全自动数据标注流水线,用于生成此类图像的大规模数据集,包含语义分割掩码和场景级边界框标注。这些数据集用于微调SegFormer语义分割模型并训练场景级YOLOv8-l物体检测模型……
### CRediT作者贡献声明
A.M. Aahad:原创稿件撰写、可视化、软件、方法学、形式化分析、数据整理。Pico Sankari:原创稿件撰写、可视化、软件、方法学、调研、数据整理。Wei Q. Yang:稿件审阅与编辑、资源、调研、资金获取。Sinisa Todorovic:稿件审阅与编辑、监督、项目管理、方法学。Joseph R. Davidson:原创稿件撰写、监督、资源、项目管理、……
### 生成式AI及AI辅助技术在写作过程中的声明
在本文撰写过程中,作者使用Claude(Anthropic)辅助稿件文本的撰写与编辑。作者对所有AI辅助内容进行了审阅和编辑,并对本文内容承担全部责任。
### 利益冲突声明
作者声明不存在可能影响本文研究的已知竞争性经济利益或个人关系。
### 致谢
本研究部分由美国国家科学基金会和USDA-NIFA支持的AI研究机构项目资助,具体为"农业AI与劳动力转型及决策支持AI研究所(AgAID)"(资助编号2021-67021-35344)。我们感谢Oxbo(荷兰Roosendaal)和AgriCare Inc.(美国俄勒冈州Jefferson)在田间试验和数据收集期间提供的支持。
A.M. Aahad | Pico Sankari | Wei Q. Yang | Sinisa Todorovic | Joseph R. Davidson
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号