基于三维视觉与几何先验融合的深度学习在线甘薯体积估计框架

《Food Bioscience》:A Deep Learning-based Framework with Geometric-Prior Fusion for 3D Vision-Based Online Sweetpotato Volume Estimation

【字体: 大 中 小 】 时间:2026年05月28日 来源:Food Bioscience 5.9

编辑推荐:

  精确估计甘薯体积对于自动化分级与高通量表型系统至关重要。传统的基于水排法的体积估计方法繁琐、劳动强度大且具有破坏性。本研究提出了一种三维(3D)视觉系统,该系统集成了一个创新的基于深度学习的端到端框架,用于在线甘薯体积估计。研究采用安装在定制双通道滚筒输送机上

  
精确估计甘薯体积对于自动化分级与高通量表型系统至关重要。传统的基于水排法的体积估计方法繁琐、劳动强度大且具有破坏性。本研究提出了一种三维(3D)视觉系统,该系统集成了一个创新的基于深度学习的端到端框架,用于在线甘薯体积估计。研究采用安装在定制双通道滚筒输送机上方的短程立体视觉相机(RealSense? D405),以约15 cm/s的输送速度采集甘薯的3D图像。提出了一种改进自PointNet++架构的回归模型,用于直接从无序点云输入估计甘薯体积。为缓解不完整视角的影响,评估了四种模型变体:1) 单视图点云,2) 来自三次观测聚合的多视图点云,3) 增加了短轴嵌入的单视图点云,以及4) 增加了短轴嵌入的多视图点云。一个You Only Look Once版本11 nano(YOLOv11-n)模型在甘薯实例分割中达到了0.99的准确度,甘薯在输送机运行期间通过Bag of Tricks for Simple Online and Realtime Tracking with a StrongSORT关联框架(BoT-SORT)算法进行跟踪。所有开发的模型均表现出强劲的预测性能(决定系数(R2)> 0.85;均方根误差(RMSE)< 36 cm3)。最佳性能的配置结合了多视图点云与短轴嵌入,达到了RMSE ≈ 20.7 cm3和R2 ≈ 0.95,并具有较低的相对误差(平均绝对百分比误差(MAPE)5.2%,均方根百分比误差(RMSPE)6.9%),优于先前基于特征工程的方法。所提出的框架处理每个甘薯耗时470 ms。总体而言,本研究表明,利用部分、无序点云并融合几何先验的端到端框架在移动中进行准确体积预测方面是有效的,为经过更广泛的外部验证后,部署于实时输送机分级和甘薯表型系统奠定了基础。
**研究背景与问题**
甘薯(Ipomoea batatas [L.] Lam)是一种经济上重要的根茎作物,在全球主要粮食作物中占有重要地位。准确评估其尺寸与形状对于甘薯的分级、包装效率、加工回收率和市场营销决策至关重要。在所有尺寸相关性状中,体积是衡量果实大小的直接指标,并且比单一的线性维度(如长度和宽度)提供了更全面的三维尺度描述。目前,水排法被广泛认为是估计不规则形状农产品体积的参考方法。然而,该方法耗时、劳动密集、需要单独处理、通常具有破坏性,且易受人为误差影响,因此不适用于在线、高通量的应用场景。
基于二维图像特征的无损成像技术虽有研究,但其主要局限在于二维投影无法充分约束厚度信息,导致体积估计存在误差,尤其对于不规则形状的园艺产品。三维场景重建是一个有竞争力的替代方案,但在收获后作业中,农产品通常在输送机上传输,同时经历平移和滚动运动,这使得点云对齐和三维场景重建变得极具挑战性,因存在部分观测和场景遮挡。虽然有研究利用深度学习进行点云补全,但这类方法通常需要配对的不完整-完整数据集进行监督训练,且在挑战性环境中的泛化能力有限。因此,直接从输送机运动中采集的部分、无序点云回归体积的研究尚未充分探索,特别是针对不规则的甘薯。本研究旨在开发并评估利用点云数据在实时输送机系统中进行准确甘薯体积估计的深度学习架构。

**研究方法**
本研究的关键技术方法主要包括:在硬件上,构建了定制的双通道滚筒输送机以实现连续流成像,并采用短程立体视觉相机进行3D图像采集。在软件算法上,首先采用YOLOv11-nano模型进行像素级的甘薯实例分割,并利用BoT-SORT跟踪算法在连续帧中维持甘薯的持久身份,为构建准确的单样本点云奠定基础。核心的体积估计模型是一种改进自PointNet++的回归模型,其通过替换分类头为回归层,直接从无序点云学习全局形状嵌入并映射至连续体积值。为提升精度,研究人员引入了“几何先验融合”策略,即在线性尺寸(短轴长度)作为辅助几何线索嵌入到点云表征中。实验设计了四种模型变体(单视图、多视图、单视图加几何先验、多视图加几何先验)进行对比评估。所有实验使用的甘薯图像数据集来源于密歇根州立大学的内部实验。

**研究结果**
**实例分割与跟踪性能**:训练的YOLOv11-nano模型在输送机运行条件下有效分割了甘薯与背景,实现了高精度的实例分割(准确度0.99,F1分数0.98,交并比0.96)。结合BoT-SORT跟踪器,系统能够在甘薯移动和滚动过程中维持其身份,为后续点云处理提供了可靠输入。

**体积估计模型性能**:所有四种模型变体均取得了良好的预测性能(R2 > 0.85,RMSE < 36 cm3)。对比研究表明,多视图策略(聚合三次观测的点云)显著优于单视图,因为它提供了更全面的空间信息。进一步地,融合了短轴长度这一几何先验的模型变体,其性能得到了进一步提升。最终,结合了多视图点云与几何先验的配置表现最佳,达到了RMSE ≈ 20.7 cm3和R2 ≈ 0.95,其平均绝对百分比误差(MAPE)和均方根百分比误差(RMSPE)分别低至5.2%和6.9%。该性能优于先前基于手工特征工程的方法。该最优框架处理每个甘薯的平均时间为470毫秒,满足了实时处理的潜在需求。

**讨论与结论**
本研究成功开发并验证了一个用于在线甘薯体积估计的端到端深度学习框架。该框架克服了传统方法劳动密集和破坏性的缺点,也规避了二维成像深度信息缺失以及三维场景重建在动态输送场景下复杂的局限。研究证实,即使面对输送机上滚动甘薯产生的不完整和无序点云,直接通过深度学习模型回归体积是可行且高效的。引入多视图聚合和显式几何先验(短轴长度)被证明是提升估计精度的有效策略,这为利用领域知识增强深度学习模型性能提供了参考。该框架以470毫秒的处理时间实现了高精度估计(RMSE ≈ 20.7 cm3),展示了其在实时输送机分级和高通量表型分析中的部署潜力。
研究结论如下:本研究提出了一种基于三维视觉与几何先验融合的深度学习框架,该框架能够直接从输送机运行中采集的部分、无序点云准确预测甘薯体积。通过结合YOLOv11-nano实例分割、BoT-SORT多目标跟踪以及改进的PointNet++回归模型,并创新性地将短轴长度作为辅助线索嵌入点云处理流程,框架在保持实时处理能力(470毫秒/个)的同时,实现了优于先前方法的体积估计精度(RMSE ≈ 20.7 cm3,R2 ≈ 0.95)。该研究为开发适用于实际生产环境的、非接触式甘薯体积在线检测与分级系统提供了坚实的技术基础和可部署的解决方案。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号