视觉语言模型引导的三维分割用于自动化和高保真的草莓点云重建

《Engineering Applications of Artificial Intelligence》:Vision-language model guided three-dimensional segmentation for automated and high-fidelity strawberry point cloud reconstruction

【字体: 大 中 小 】 时间:2026年10月22日 来源:Engineering Applications of Artificial Intelligence 9.0

编辑推荐:

   •设计了低成本旋转装置,用于高效的多视角RGB图像采集。 •提出了Straw3D:一种由视觉语言模型引导的基于3DGS的多视角草莓分割方法。 •在自建的 Multi-View 数据集上实现了优越的3D草莓分割效果。 •从400颗草莓构建了高质量的3D点云数据集。 •在公开数据

  

•设计了低成本旋转装置,用于高效的多视角RGB图像采集。
•提出了Straw3D:一种由视觉语言模型引导的基于3DGS的多视角草莓分割方法。
•在自建的 Multi-View 数据集上实现了优越的3D草莓分割效果。
•从400颗草莓构建了高质量的3D点云数据集。
•在公开数据集Mip-NeRF 360上展现了优越的泛化能力。

## 引言

感知草莓果实完整的三维(3D)点云对于机器人采摘系统至关重要。然而,在农业环境中,通过利用激光雷达(LiDAR)进行多视角点云配准或使用深度传感器来获取完整的草莓点云,或者通过多视角红绿蓝(RGB)图像进行3D重建来获取完整的草莓点云,仍然不切实际(Tang等,2020年)。因此,近期研究聚焦于利用基于深度学习的点云补全网络,从单视角RGB图像或不完整点云中恢复完整的果实结构。这些方法已被应用于多种农产品,包括开花的大白菜、甜椒、草莓和土豆(Blok等,2025年;Chen等,2023年;Magistri等,2022年、2024a、2024b;Pan等,2023年)。然而,这些方法的性能在很大程度上取决于用于模型训练的大规模高质量3D果实点云数据集的可获得性。由于果实形态差异、生长条件变化以及3D数据获取成本高昂,在农业场景中构建大规模完整的果实点云数据集仍然具有挑战性。因此,高效、自动化地获取高质量完整果实点云是进一步推进基于深度学习的点云补全方法的根本前提。

获取完整3D果实点云的另一种策略是首先在受控的实验室环境中采集场景级点云,然后通过3D语义分割提取单个果实对象。场景级点云可以通过配准深度传感器捕获的多视角点云来生成,也可以通过从多张二维(2D)图像中重建3D场景来生成。现有的基于深度学习的3D点云分割方法(Liang等,2019年;Qi等,2017年;Thomas等,2019年;Wu等,2024年)已经展示了自动提取对象的能力;然而,它们通常依赖于大规模人工标注的3D数据集,并且在应用于多种果实品种、不同姿态和复杂农业环境时,泛化能力有限。因此,如何从低成本的视觉数据中自动获取完整的果实点云,仍然是农业3D感知中的一个关键挑战。

近年来,视觉基础模型的快速发展为2D图像理解和3D场景感知提供了新的机遇。以Segment Anything Model(SAM)为代表的大规模视觉模型(Kirillov等,2023年)能够从2D图像中提取高度可泛化的对象级语义信息,从而为将2D语义知识迁移到3D空间提供了新范式。一种直观的策略是利用SAM对多视角图像进行分割,然后进行基于运动恢复结构(SfM)的3D重建(Schonberger和Frahm,2016年)。然而,基于SfM的重建高度依赖足够的纹理信息来建立可靠的特征匹配,而背景去除可能会减少有效特征点的数量,从而降低重建精度。

另一种新兴的策略是将SAM从多视角图像中提取的二维(2D)语义先验信息融入基于神经辐射场(NeRF)(Mildenhall等,2021年)或3D高斯溅射(3DGS)(Kerbl等,2023年)的三维(3D)场景表示中,利用这些语义线索来引导对象级3D分割(Cen等,2025a、b;Ye等,2024年)。具体来说,这些方法首先使用NeRF或3DGS重建场景级3D表示,然后利用SAM从多个视角生成的掩码来优化场景参数,从而实现3D场景中的对象级分割。通过将视觉基础模型的可泛化语义表示能力与现代3D表示的显式建模能力相结合,这些方法为自动化对象级3D分割提供了一条有前景的途径。

然而,大多数现有的SAM引导的3D分割方法主要是针对通用3D对象感知而开发的,其在自动化农业数据采集中的适用性尚未得到充分研究。尽管SAM引导的3D分割方法已取得显著进展,但在将其扩展到自动化农业数据采集场景时仍面临若干挑战。首先,现有方法通常依赖手动生成的提示来获取初始监督掩码,限制了完全自动化数据采集流程的可行性。其次,某些方法从渲染视图而非原始采集图像生成监督信号,导致域差异并降低了生成掩码的可靠性。第三,在跨视角掩码传播过程中可能会累积误差,从而影响多视角间的分割一致性。第四,现有的优化策略通常缺乏有效的几何约束,使得保留锐利的对象边界和精细的结构细节变得困难。

为解决上述局限性,本研究提出了一种基于3DGS的视觉语言模型(VLM)引导的多视角草莓3D分割框架,称为Straw3D,用于自动化获取高质量完整的草莓点云数据集。首先,利用用于开放世界定位的视觉Transformer(OWL-ViT)(Minderer等,2022年),通过自然语言概念自动定位草莓目标并生成边界框提示,从而消除了SAM中对手动设计提示的需求。随后,将微调后的SAM应用于原始多视角RGB图像以生成监督掩码,从而提高2D监督信号的准确性和可靠性。在3D优化阶段,设计了一种融合掩码一致性、视觉外观一致性和几何边界约束的新型损失函数,用于优化3D分割权重向量,最终实现完整草莓点云的自动化重建。本研究的主要贡献总结如下:

(1)设计并开发了一种旋转采集装置及专用软件。通过手动调节摄像头的垂直方向并通过软件控制旋转角度,系统能够高效地采集具有全面视角覆盖的RGB图像。

(2)提出了一种称为Straw3D的基于3DGS的视觉语言模型引导的多视角3D分割框架,以实现草莓点云的高效重建。特别是,引入了一种高效、高精度且完全自动化的各视角监督掩码获取方法:使用低秩适配(LoRA)对SAM进行微调,并将其直接应用于原生RGB图像,从而确保掩码生成的高度准确性。此外,利用自然语言概念"strawberry(草莓)"来提示视觉语言模型OWL-ViT,自动为SAM生成草莓边界框作为提示,从而实现监督掩码的完全自动化获取。

(3)为了优化各视角的3D分割权重向量,引入了一种基于掩码损失并辅以视觉外观一致性和几何边界约束的损失函数。学习到的3D分割权重向量进一步提高了最终分割结果的准确性。

## 3D场景表示

3D场景表示的发展已经从传统的几何重建方法演进到神经隐式和显式表示。早期方法依赖于主动传感设备,如激光雷达和RGB-D相机,来获取深度信息并通过点云配准构建3D场景。随着RGB相机的日益普及,基于图像的重建方法,包括运动恢复结构(SfM)和多视角立体匹配(MVS),已成为重要的解决方案。

## 草莓点云重建概述

所提方法的总体工作流程如图1所示,包含四个主要步骤。(1)多视角图像采集。利用自设计定制化的图像采集装置(图1a),从多个预定义视角采集草莓样本,获得一系列高分辨率RGB图像,全面覆盖整个果实表面,为后续的3D重建提供完整的数据基础(图1c–f)。(2)运动恢复结构预处理。

## Straw3D工作流程

尽管3DGS能够通过显式3D高斯表示实现对复杂场景的高质量重建,但它缺乏固有的语义理解和实例级分割能力(Zhu等,2025年)。因此,重建的点云通常同时包含草莓和不相关的背景组件,如支撑杆、平台纹理和叶片遮挡,这使得直接提取果实变得困难。传统的3D分割方法,如……

## 实验设置

本实验在Ubuntu 20.04.6操作系统上进行,配备NVIDIA Tesla V100 GPU(32 GB显存)。3D重建和分割算法使用PyTorch深度学习框架实现。生成的3DGS模型使用Super Splat平台(https://superspl.at/)进行可视化分析。表2总结了SAM LoRA微调、OWL-ViT推理和Straw3D分割优化中使用的主要超参数,而3DGS重建……

## 结论

本研究提出了一种基于3DGS的多视角提示驱动分割框架。使用自设计的旋转图像采集装置,高效采集了草莓图像。利用COLMAP进行稀疏点云重建和相机参数估计,为后续的3DGS重建奠定了基础。在该框架中,我们整合了微调后的SAM模型、基于视觉语言模型OWL-ViT的提示生成机制以及联合损失……

## 作者贡献声明

Pengyu Li:撰写—审阅与编辑,撰写—初稿,可视化,验证,方法论,调查研究,形式化分析,数据整理,概念化。Yangjun Deng:验证,资源,项目管理,方法论,经费获取。Xiangchao Zhou:撰写—审阅与编辑,验证,资源,调查研究,数据整理。Dewei Kong:撰写—初稿,可视化,形式化分析,数据整理。Changyun Li:撰写—审阅与编辑,……

## 伦理审查

本文由各位作者撰写,不包含任何涉及人类参与者或动物的研究。

## 利益冲突声明

作者声明不存在任何可能影响本文所报告工作的已知竞争性经济利益或个人关系。

## 致谢

作者衷心感谢中国国家自然科学基金(62401203)、中国湖南省科技计划重点研发项目(2020NK2033)以及中国湖南省长沙市自然科学基金项目(kq2402123)提供的资金支持。

Pengyu Li | Yangjun Deng | Xiangchao Zhou | Dewei Kong | Changyun Li | Yiming Chen
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号