《Computers and Electronics in Agriculture》:A lightweight restoration-assisted framework for occlusion-robust longan picking stem detection
编辑推荐:
•提出了一种恢复辅助框架,用于叶片遮挡下的茎检测。•设计了OSR-Net,以在叶片遮挡下恢复完整的茎结构。•可通过逐像素差异获得可见-遮挡空间关系。•级联OSR-Net与Nano检测器优于重量级单阶段模型。引言由于其独特的营养和药用特性,龙眼在全球范围内被广泛种植和消费,支撑
- •
提出了一种恢复辅助框架,用于叶片遮挡下的茎检测。
- •
设计了OSR-Net,以在叶片遮挡下恢复完整的茎结构。
- •
可通过逐像素差异获得可见-遮挡空间关系。
- •
级联OSR-Net与Nano检测器优于重量级单阶段模型。
引言
由于其独特的营养和药用特性,龙眼在全球范围内被广泛种植和消费,支撑着显著的全球市场(Lin等人,2020)。为应对集中成熟和狭窄采收窗口所带来的挑战,开发高效的机械化采收技术至关重要(Li等人,2022)。当前技术方法主要分为振动采收(Li等人,2023;Peterson等人,2003;Sargent等人,2019)和机器人采收(Hayashi等人,2010;Gao等人,2022;Xiong等人,2018)。其中,机器人采收因其减小果实损伤和实现选择性采收的卓越潜力而受到广泛关注。该技术的核心在于规划和执行高效安全的采摘操作,这从根本上依赖于快速的环境感知和精确的采摘点定位。
龙眼通常呈簇生生长模式,需要在采摘茎区域内精确定位实际采摘点。为平衡宽视场搜索效率和精细尺度定位精度,当前主流方法普遍采用级联感知策略(Li等人,2022;Liu等人,2024;Lin等人,2025):全局簇识别、局部感兴趣区域提取和采摘点检测。然而,龙眼果实主要分布在光照充足的外层树冠,导致其茎部极易受到不同程度的叶片遮挡。现有视觉识别方法尚未系统解决此类遮挡挑战,仅依赖可见茎段进行推断。这些方法不仅容易导致误检,更严重的是,导致预测的采摘点显著偏离理想的安全操作区域。具体而言,当仅能看到果簇附近的茎部时,定位点倾向于向果簇偏移,如图1所示。这些感知偏差直接导致机器人切割过程中的物理干涉,造成果实损伤,或因定位失败导致漏收。
目前,为解决果园中叶片遮挡的采摘点定位方法主要分为主动感知和单目感知。主动感知依赖多视角协调以避免遮挡(Sun等人,2024;Yi等人,2025;Yi等人,2024;Wang等人,2025)。然而,由于龙眼果簇密集生长于多叶外层树冠,机械臂的运动空间严重受限,难以规划有效的无遮挡视角。因此,单目感知从受限视角直接推断被遮挡的采摘点,具有更大的实际应用价值,并已在农业领域得到广泛采用。例如,在研究中(Lei等人,2022;Liang等人,2024;Kim等人,2023),研究人员改进了基于深度学习模型以增强遮挡下的采摘点检测。然而,这些方法主要适用于形状稳定的果实,未能明确区分可见与遮挡区域,这是采收决策的关键信息。参考文献(Son等人,2025)利用AISFormer直接预测被遮挡黄瓜和遮挡叶片的形态。然而,该研究表明AISFormer涉及巨大的计算开销,且设备友好的YOLO系列模型在此类任务中的性能欠佳。参考文献(Li等人,2023)尝试通过直接预测果实分布分析来确定采摘点以克服叶片干扰,但其精度难以满足高效采收的需求。总之,在叶片遮挡下龙眼采摘点检测的一个主要挑战是在计算受限的边缘设备上有效检测采摘茎并区分其可见-遮挡状态。
因此,本研究提出了一种恢复辅助的龙眼采摘茎检测框架,用于解决叶片遮挡问题。其核心是一种轻量级生成模型——遮挡茎恢复网络(OSR-Net),能够精确恢复被遮挡的茎部形态。在计算恢复图像与原始图像的逐像素差异后,可获得指示被遮挡茎部区域的掩码。因此,该框架可为下游任务提供全面的茎特征和空间遮挡解析。主要贡献总结如下:
首次提出了一种轻量级恢复辅助框架,将遮挡茎恢复与检测解耦,允许为无遮挡场景设计的检测器无缝集成,从而增强叶片遮挡下茎部和采摘点的检测性能。
建立了OSR-Net,一种轻量级生成模型,采用多尺度特征循环结构(MFRS)和BiMamba2模块以捕获茎部的全局长距离依赖关系,实现精确的恢复性能。特权信息蒸馏(PID)确保了盲修复条件下采摘茎的结构正确性。
大量实验验证了OSR-Net的优越性以及各模块的有效性。在下游任务中,级联轻量级检测器与OSR-Net不仅能显著提高检测精度和遮挡解析能力,还能在边缘设备上实现满足采收需求的推理效率,证明了其工程可行性和应用前景。
章节片段
采摘茎检测
精确的采摘茎定位是簇生果实自动化无损采收的核心前提。近年来,茎识别技术随着深度学习的发展取得了显著进步。现有研究主要分为两种范式。第一种侧重于通过语义分割进行像素级茎提取。例如,构建了荔枝-YOSO模型(Wang等人,2024)和改进了的DeepLabv3+(Li等人,2022)以精确检测茎。
数据集获取与构建
图像采集于中国广东省广州市广东省农业科学院果树研究所的龙眼果园。使用三种不同的平台拍摄RGB图像:Intel RealSense D435i相机、佳能数码相机和Redmi K80智能手机。拍摄距离控制在0.3至0.7米范围内。
在现实农业场景中,人工移除遮挡叶片不可避免地会引起物理损伤。
实验设置
本研究所有实验均在运行Ubuntu 18.04的高性能计算平台上进行,配备单块NVIDIA RTX 3090 GPU。软件环境基于Python 3.9、PyTorch 2.1.0和CUDA 11.8构建。使用NVIDIA Jetson Xavier NX进行推理时间测试。
关于OSR-Net的参数配置,考虑到农业边缘设备的计算约束和实时推理需求,所有输入图像统一调整为320 × 320分辨率。
局限性
尽管OSR-Net在茎恢复和下游检测方面具有显著优势,但在处理极端遮挡场景和视觉伺服中的高实时性要求时仍存在一定局限性:
- 1.
大规模连续遮挡下的线性化偏差:当前恢复模型倾向于优先采用训练数据中观察到的主导生长模式,导致在大规模遮挡下出现一定程度的线性化偏差。如图20所示,
结论
为解决龙眼科采中叶片遮挡下的精确采摘点定位挑战,本研究提出了一种恢复辅助的两阶段视觉检测框架。该框架的核心理念是将复杂的遮挡检测任务还原为标准的无遮挡任务。通过利用前端恢复模型将遮挡茎恢复为无遮挡状态,下游检测器无需学习复杂的遮挡特征,提供了一个高效的解决方案。
CRediT作者贡献声明
Hengxu Chen:撰写——审阅与编辑,撰写——原稿,可视化,验证,软件,方法论,数据管理,概念化。Hengyi Lin:验证,软件,方法论,数据管理。Mingda Lou:撰写——审阅与编辑,验证,数据管理。Yuju Mai:验证,数据管理。Hongcan Zheng:可视化,数据管理。Linlin Shi:验证,数据管理。Bob Zhang:验证,监督,资源,项目管理,资金获取。
利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系可能影响本文中报告的工作。
致谢
本研究部分由国家自然科学基金(基金号:52375094和62303188)、广东省科技计划(2025B0202100002)、2025广东省优秀青年科研人才国际培训项目、岭南现代农业实验室(基金号:NT2021009)、中国农业研究系统(基金号:CARS-32)以及农业科学十大关键优先开放竞争计划资助。
Hengxu Chen|Hengyi Lin|Mingda Lou|Yuju Mai|Hongcan Zheng|Linlin Shi|Bob Zhang|Jun Li