火龙果自动化收获三维关键点定位与姿态估计的五点几何模型

《Smart Agricultural Technology》:Five-Point Geometric Model for 3D Keypoint Localization and Pose Estimation in Pitaya Automatic Harvesting

【字体: 大 中 小 】 时间:2026年03月20日 来源:Smart Agricultural Technology 5.7

编辑推荐:

  为解决火龙果等需精准剪切的果树在非结构化果园中自动收获的视觉感知难题,本研究提出了一种基于五个关键点(两个剪切点和三个姿态点)的先验几何模型,并构建了对应的火龙果三维关键点数据集。基于此,研究人员开发了基于CNN的3D火龙果关键点检测网络(3DPKDNet),该网络集成二维热图分支与深度预测分支的3D关键点头,并引入掩码-关键点注意力模块(MK Transformer Block)以增强模型在复杂背景下的鲁棒性。实验表明,模型实现了73.63%的二维关键点检测mAP,在阈值为0.2时三维关键点检测率(PDK@0.2)达94.05%,平均姿态向量误差为15.08°,为机器人精准无损采收提供了可靠技术基础。

  
在智慧农业蓬勃发展的当下,自动化采摘已成为提升效率、保障产量的关键技术。然而,对于那些需要特定、精细采收手法的作物——例如火龙果——而言,采摘机器人正面临着一系列棘手的视觉感知挑战。传统的手工采摘火龙果,需要操作者用专用剪刀从果柄两端向果实中心轴方向各剪一刀,以切断果梗中的硬核,从而在不损伤果皮的前提下实现无损采收,保证储运新鲜。在非结构化的果园环境中,复杂背景、多变光照、枝叶遮挡等因素交织在一起,使得机器人“看清”并“理解”果实的精确三维位置和生长朝向变得异常困难。现有的研究大多关注于二维图像中的水果关键点检测,但仅靠二维信息不足以支撑机器人完成精确的抓取、剪切等自动化操作。为了克服这些难题,一篇发表在《Smart Agricultural Technology》上的研究,提出了一套从几何建模到深度学习网络构建的端到端解决方案,旨在实现火龙果三维剪切点的精确定位与果实姿态的准确估计,为机器人自动化精准采收奠定了坚实的技术基础。
为了开展这项研究,研究人员主要应用了几个关键技术方法。首先,在数据准备层面,他们于2024年7月在中国广西柳州某火龙果种植区,使用英特尔RealSense D435i RGB-D相机采集了888张RGB-D图像,并生成了对应的彩色点云。基于此,他们创新性地构建了一个包含五个关键点(两个剪切点CU、CL和三个姿态点PC、PN、PR)的先验几何模型,将火龙果果实拟合为椭球体,果枝拟合为二次曲面,进而通过几何计算得到了精确的、可作为“金标准”的三维关键点坐标,最终构建了一个可靠的火龙果三维关键点数据集。其次,在模型架构上,研究团队在Keypoint R-CNN的基础上,开发了名为3D火龙果关键点检测网络(3DPKDNet)的模型。该网络以ResNet-101为主干特征提取网络,其核心创新在于设计了一个3D关键点头,该模块整合了二维热图预测分支和深度预测分支,通过联合优化热图损失、深度损失和姿态向量余弦损失来提升三维坐标的预测精度。此外,为了提高模型在复杂背景和遮挡情况下的鲁棒性,研究首次引入了掩码-关键点Transformer模块,该模块利用果实的预测掩码信息,通过注意力机制引导网络聚焦于果实区域,有效减少了关键点的误检率。
2D关键点评估结果:实验结果表明,3DPKDNet在近、中、远不同距离下均表现良好。在近距离(0.2-0.35 m)条件下,模型实现了73.63%的mAP和83.22%的mAR。其中,果实中心点PC和果柄连接点PR的检测稳定性最高。随着距离增加,检测性能有所下降,这主要源于图像细节分辨率的降低和深度预测噪声的放大。
三维关键点评估结果:在三维定位精度方面,模型表现稳定。在近距离下,大部分关键点在阈值0.15内的检测率(PDK@0.15)超过80%。果实中心点PC和果柄连接点PR的三维定位稳定性最优,而脐点PN和下剪切点CL受遮挡和点云稀疏的影响,误差波动相对明显。综合来看,在阈值为0.2时,模型的平均三维关键点检测率(PDK@0.2)达到了94.05%。
姿态向量评估结果:在果实姿态向量(定义为从脐点PN指向果柄连接点PR的三维向量)预测方面,模型在中距离(0.35-0.5 m)条件下表现最佳,中值角度误差(MedAE)为8.00°,平均角度误差(MAE)为12.81°,有84.04%的样本角度误差小于20°。虽然近距离和远距离下的误差有所增加,但整体平均角度误差为15.08°,能够满足机器人末端执行器抓取和剪切动作的精度要求。
消融实验结果:消融实验验证了所提改进策略的有效性。单独引入掩码-关键点Transformer模块能显著提升二维关键点检测的mAP和mAR。单独引入深度预测分支虽对二维检测略有干扰,但能实现三维关键点定位和姿态估计。将两者结合的完整3DPKDNet模型,则在保持二维检测性能的同时,最优地提升了三维关键点检测率(PDK@0.2达到94.05%)并降低了姿态角度误差。可视化热图对比进一步表明,掩码-关键点Transformer模块能有效提升模型在不同距离和复杂背景下的关键点定位准确性和鲁棒性。
不同主干网络的对比实验结果:对比不同特征提取主干网络(ResNet-101, ResNeXt, HRNet, Mix Vision Transformer)的实验表明,在现有的火龙果数据集上,ResNet-101在二维检测mAP、召回率以及三维姿态估计误差方面均表现最佳,其深度残差结构能有效提取区分复杂背景下剪切点所需的高层语义特征。而HRNet和Transformer架构的模型,在有限的农业数据集和存在点云噪声的条件下,表现不够稳定。
本研究的结论清晰地指出,该工作通过融合先验几何重建与深度学习,为解决非结构化果园环境下火龙果的三维剪切点定位与姿态估计难题,提出了一种有效的端到端框架。所提出的五点几何模型为神经网络提供了坚实的物理约束,而3DPKDNet网络通过其创新的3D关键点头和掩码-关键点注意力模块,成功实现了对火龙果五个三维关键点坐标及其生长姿态向量的联合精确预测。实验数据证实,该框架在多种距离和复杂场景下均表现出高精度和强鲁棒性,三维关键点检测率和姿态估计精度均能满足自动化采收的实操需求。这项研究的意义在于,它不仅为火龙果这类需要“双点剪切”的特殊作物的机器人自动化采收提供了直接可用的视觉感知方案和高质量数据集,其提出的“几何先验+深度学习”框架以及掩码引导的注意力机制,也为其他具有特定生长形态和采收要求的园艺作物的智能化收获技术开发,提供了可借鉴的思路与方法论。最终,这项研究成果为提升果园管理自动化水平、降低劳动依赖、实现精准农业提供了可靠的技术基础。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号