面向机器人采收系统的番茄果柄切点检测与六维位姿估计的缺陷感知双流RGB?D感知

《Artificial Intelligence in Agriculture》:Defect-aware dual-stream RGB-D perception for tomato pedicel cutting-point detection and 6D pose estimation in a robotic harvesting system

【字体: 大 中 小 】 时间:2026年07月07日 来源:Artificial Intelligence in Agriculture 16.1

编辑推荐:

  本研究提出了一套面向温室番茄采收的集成化采收系统,该系统由YOLO-TKFNet(一种轻量级双流RGB?D关键点融合网络)驱动,并采用了缺陷感知鲁棒训练方案(DART),通过显式模拟深度信息缺失来提升系统对遮挡、深度 dropout 及光照变化的鲁棒性。研究背

  
本研究提出了一套面向温室番茄采收的集成化采收系统,该系统由YOLO-TKFNet(一种轻量级双流RGB?D关键点融合网络)驱动,并采用了缺陷感知鲁棒训练方案(DART),通过显式模拟深度信息缺失来提升系统对遮挡、深度 dropout 及光照变化的鲁棒性。研究背景在于,现有采收感知流程多遵循"RGB优先、深度次之"范式,其中微小的二维偏移会因深度测量噪声或不完整而被放大,最终导致工具对齐与剪切可靠性下降。YOLO-TKFNet在仅含2.70 M参数和7.63 GFLOPs的情况下,达到了95.8%的mAP@0.5:0.95,推理速度远超机械采收周期,满足实际部署约束。为验证系统级的工程就绪性,研究人员在配备六自由度(6-DoF)机械臂和剪刀式末端执行器的移动番茄采收机器人上,对完整的"感知?决策?运动?执行"流程进行了评估。温室试验中,系统重复定位性能为1.2826–4.5091 mm(均值2.5183 mm,均方根2.6863 mm),保障了簇级操作的可靠末端执行器对齐。在58组配对附着试验中,RGB?D感知将插入/附着成功率从81.03%提升至87.9%,且未引入新的失败案例。在下午和正午进行的全自动采收实验中,机器人分别实现了78.8%和82.6%的成功率,对应的平均采收周期分别为10.467 s和10.793 s,端到端平均成功率为80.9%(114/141),仅需有限的人工干预。总体而言,结果验证了所提方法不仅在感知层面具有准确性,且能直接转化为一致、适场(field-ready)的采收性能。
本研究旨在解决温室番茄采收中果柄切点三维定位与位姿估计的关键技术难题。番茄占全球蔬菜产量的16%,但采收作业仍高度依赖人力,面临劳动力短缺与生产成本上升的双重压力。对于簇生型果实(如樱桃番茄),采收成功不仅取决于果实识别,更依赖于在不损伤果实、主茎及邻叶邻枝的前提下可靠切断果柄。然而,果柄感知面临多重挑战:果柄纤细、像素占比小,与周围茎叶枝蔓的颜色纹理高度相似,且在非结构化温室环境中频繁遭受遮挡;此外,镜面反射、遮挡及薄结构边界易导致RGB?D图像局部深度缺失或噪声增大,进一步加剧切点定位的不确定性。现有方法主要分为基于分割的方法与基于关键点的方法,前者依赖几何先验推断切点,后者通过回归生物语义关键点重建姿态。然而,多数现有流程仍遵循"RGB优先、深度次之"策略,二维特征主要从RGB学习,深度仅用于后续反投影,导致小量二维偏移在深度噪声放大下产生显著的三维姿态误差;且针对真实深度缺陷的鲁棒性及完整采收机器人的验证仍显不足。

研究人员开展了以下研究:首先,基于YOLOv11?Pose架构开发了YOLO?TKFNet,一种轻量化双流RGB?D关键点融合框架,通过P2层融合联合学习几何与外观线索,而非将深度使用推迟至投影阶段。该网络包含一个主RGB?D流(处理四通道输入)和一个深度增强流,双流失在P2层拼接融合,以保留果柄等纤细结构的细粒度空间细节。其次,提出了缺陷感知鲁棒训练策略(DART),基于温室采集序列中观察到的缺陷统计,在训练中有比例地注入模拟的深度退化样本(包括点状dropout、沿果柄轴的线状空洞及混合缺陷),使网络在深度信息不完整时仍能学习稳定的RGB?D表征。第三,建立了RGB?D关键点标注与处理协议,通过两阶段标注策略(RGB阶段确立空间先验、深度阶段精修)定义了五个生物学关键点(P1:果柄主轴延长线上方主茎定位点;P2:下方主茎定位点;P3:切区语义最高点;P4:果柄?主茎连接点;P5:果柄?果实界面边界特征点),并基于这些点构建局部六自由度(6-DoF)剪切坐标系。最后,在自研温室番茄采收机器人上验证了完整的"感知?决策?运动?执行"流水线,包括重复定位测试、58组配对附着对比试验以及141个簇的全自动采收试验(下午场68个、正午场77个)。

关键技术方法方面,样本采集于2025年4月26–30日北京市宏福农业科技公司的标准化温室(地理坐标:北纬39°35′25.41″,东经116°16′2.91″),使用Intel RealSense D405 RGB?D相机在200–300 mm距离处采集1936组有效樱桃番茄簇样本,涵盖?90°至+90°偏航角、0°–30°俯仰角的多视角,以及低/中/高三种光照水平。网络训练使用640×640输入,Adam优化器配合余弦学习率衰减训练500轮,输入尺寸640×640。评估指标包括基于对象关键点相似度(OKS)的平均精度(AP)、召回率(R)、参数量(Params)、十亿次浮点运算量(GFLOPs)、推理帧率(FPS),以及三维姿态成功率(平移误差et≤8 mm且旋转误差er≤15°视为成功)、McNemar检验、重复定位误差等。

消融实验结果表明,P2层中层级融合(RGBD+D(P2))最优,达到95.8% mAP@0.5:0.95、98.1% mAP@0.5、93.8%召回率,仅2.70 M参数和7.63 GFLOPs,推理速度181.8 FPS。相比RGB仅输入的YOLOv11?Pose,YOLO?TKFNet在mAP@0.5:0.95上提升2.0个百分点。DART策略使RGB?D模型在缺陷条件下的mAP@0.5:0.95从93.9%提升至95.0%。三维姿态估计方面,在困难子集(45例含遮挡或深度缺陷)上,YOLO?TKFNet(含DART)的3D姿态成功率为73.3%,显著优于无DART版本(64.4%)和RGB仅基线(46.7%);McNemar检验显示DART将4例非DART模型的失败转为成功(χ≈4.0,p≈0.046),将15例RGB仅失败转为成功(χ≈8.0,p≈0.005)。连续残差分析表明,DART主要改善位置稳定性(均值平移残差降至3.28 mm,95th百分位降至9.64 mm),而旋转估计仍对多关键点结构不确定性较敏感。

系统级验证显示,重复定位误差均值为2.5183 mm(RMS 2.6863 mm);附着试验中RGB?D较RGB将成功率从81.03%提升至87.9%,有4例RGB失败而RGB?D成功的案例、无反向案例;全自动采收下午场成功率78.8%(52/66)、正午场82.6%(62/75),平均采收周期约10.6 s,平均成功率80.9%(114/141)。故障统计分析表明,27例失败中碰撞相关占63.0%(果实撞茎5例、末端执行器撞果实9例、末端执行器撞茎3例),植株晃动占14.8%(4例),果柄被叶遮挡和位姿定位失败各2例(各占7.4%),剪切失败2例(7.4%)。

讨论部分指出,视觉模块并非系统瓶颈(推理延迟约5.5 ms,远小于~10.6 s采收周期),核心问题在于感知误差如何向三维姿态及下游执行传播。DART的增益主要体现为深度缺陷条件下三维重建与剪切坐标系构建的鲁棒性提升,而非单纯的二维关键点精度提高。研究局限性包括:数据集与田间试验规模较小、单一温室单一品种;主要与轻量化关键点估计基线比较、未覆盖分割方法;单视角传感在极端遮挡时存在固有局限;DART基于人工设计缺陷模式与固定混合比例;平台自恢复能力有限。未来方向包括多视图规划、深度信息修复、跨品种跨站点数据集扩展、感知?控制协同设计(如碰撞感知接近规划、基于位姿置信度的自适应切割策略)及系统自愈合能力提升。

研究结论:本研究提出了YOLO?TKFNet,一种面向非结构化温室环境的轻量级RGB?D关键点融合框架,用于估计机器人就绪的三维果柄切点位姿,并通过算法基准测试与全系统采收实验进行了验证。通过引入双流RGB?D设计中的浅层P2层融合, combined with DART,所提方法在保留纤细果柄细结构线索的同时,增强了对深度噪声、dropout及光照变化的鲁棒性。综合评估表明,YOLO?TKFNet以仅2.70 M参数和7.63 GFLOPs达到95.8% mAP@0.5:0.95(98.1% mAP@0.5),并以181.8 FPS运行,展现出优异的精度?效率平衡与实时部署能力。更重要的是,这些感知增益在完整番茄采收机器人平台上转化为系统级改进:毫米级重复定位精度(均值2.5183 mm,RMS 2.6863 mm)、配对试验中末端执行器附着成功率的提升(RGB?D为87.9% vs. RGB为81.03%),以及不同时间条件下稳定的全自动采收表现(平均成功率80.9%,平均周期约10.6 s)。这些结果验证了所提感知?动作流水线能够在实际温室条件下支持可靠的整簇番茄采收。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号