作物表型三维重建与虚拟现实沉浸式可视化:融合NeRF与G-Splat的跨生长阶段分析框架

《Smart Agricultural Technology》:Neural 3D Reconstruction and Immersive VR Visualization of Row Crops Across Phenological Growth Stages

【字体: 大 中 小 】 时间:2026年03月26日 来源:Smart Agricultural Technology 5.7

编辑推荐:

  为克服传统植物三维重建方法在精度、效率与可视化交互性上的局限,本文推荐一篇发表于《Smart Agricultural Technology》的研究。该工作集成神经辐射场(NeRF)与3D高斯溅射(G-Splat)技术,构建了一套从温室数据采集、BBCH标准化生长阶段对齐,到沉浸式VR(Virtual Reality)环境部署的完整植物表型分析流水线。研究在小米、绿豆、豌豆等多种作物上验证了该框架,定量评估显示G-Splat在结构保真度上更优,而NeRF在感知真实性上表现更好。该研究为精准农业中的高通量表型分析和交互式教育提供了实用、可扩展的技术基础。

  
想象一下,未来的农民或植物学家不再需要长时间蹲在田间地头,顶着烈日或风雨观察作物生长。他们只需戴上一副VR(Virtual Reality,虚拟现实)眼镜,就能置身于一个虚拟温室中,近距离、多角度地观察一株株作物的三维立体模型,甚至可以“穿越”到作物的不同生长阶段,细致比较其叶形、分枝和花朵的细微变化。这听起来像是科幻场景,但得益于计算机视觉和图形学的飞速发展,它正逐渐成为现实。在精准农业和植物表型组学领域,获取作物精确的三维形态结构对于理解其生长、评估抗逆性、筛选优良品种至关重要。然而,传统的三维重建技术,如摄影测量法和激光雷达(LiDAR),在面对结构复杂、枝叶交错的植物时,往往显得力不从心——前者流程繁琐、对光照敏感,且难以处理低纹理区域;后者则成本高昂,对叶片等薄结构的分辨率有限。近年来,神经辐射场(Neural Radiance Fields, NeRF)和3D高斯溅射(3D Gaussian Splatting, G-Splat)等神经渲染技术的崛起,为高保真、高效率的三维重建开辟了新道路。但如何将这些前沿技术系统性地应用于农业研究,并使其成果能够被研究人员和教育者直观、交互地探索,仍存在诸多挑战:缺乏与标准化生物学生长阶段(如BBCH尺度)对齐的时间序列数据、跨不同作物架构的 rigorous 定量验证不足,以及高精度模型与可部署的沉浸式可视化平台之间存在脱节。
为了解决这些难题,由Shambhavi Joshi、Juan Di Salvo、Yanben Shen、Mozhgan Hadadi、Venkata Naresh Boddepalli、Zaki Jubery、Soumik Sarkar、Arti Singh、Baskar Ganapathysubramanian、Asheesh K. Singh和Adarsh Krishnamurthy组成的爱荷华州立大学研究团队,开展了一项开创性的研究。他们成功开发并验证了一套集成化的技术流水线,将NeRF、G-Splat与VR可视化无缝结合,用于对行播作物跨越多个关键物候生长阶段进行三维重建与沉浸式分析。相关成果已发表在学术期刊《Smart Agricultural Technology》上。这项研究不仅比较了两种主流神经渲染方法在植物重建中的优劣,更重要的是构建了一个从数据采集到最终VR体验的完整、实用框架,为精准农业的研究、教育和决策支持提供了强大的新工具。
为了完成这项研究,作者团队主要运用了以下几项关键技术方法:首先,在受控温室条件下,以黍子(手指黍、稷子)、绿豆和豌豆为研究对象,按照完全随机设计进行种植,并严格依据BBCH物候学标准记录生长阶段。数据采集采用了混合策略,包括使用带LiDAR的iPhone 14 Pro运行Polycam应用进行摄影测量,以及利用传统相机在RAUBAY 360°旋转台上从不同高度录制4K视频。其次,在三维重建环节,他们使用GLOMAP(一个基于COLMAP的全局优化运动恢复结构,Structure-from-Motion, SfM框架)从图像序列中高效、精确地估计相机姿态。随后,利用相同的图像和姿态数据,分别通过NeRF的变体Nerfacto和3D Gaussian Splatting(G-Splat)开源实现进行三维重建。接着,为了定量评估重建质量,研究者在Unreal Engine中实现了相机匹配的渲染流程,将重建模型在原始相机位姿下渲染成图像,并与真实图像进行对比,计算峰值信噪比(PSNR)、结构相似性指数(SSIM)和学习感知图像块相似度(LPIPS)等指标。最后,将优化后的重建模型(NeRF点云和G-Splat高斯表示)集成到Unreal Engine中,构建了一个沉浸式VR温室环境,并部署到Meta Quest系列独立头戴设备上,实现了对植物模型的实时、交互式探索。
研究结果
1. 三维重建
研究成功地对所有测试作物在不同BBCH生长阶段生成了详细的三维模型。通过流程图展示了从输入图像、经GLOMAP进行姿态估计,到分别通过NeRF和G-Splat进行重建的完整管线。为了提高在低纹理环境(如重复的叶片和统一颜色的盆)中的特征匹配成功率,他们在种植桶的角落粘贴了彩色胶带作为视觉标记。重建后的点云经过了包括统计离群点去除和基于参考图像的全局色彩校正在内的后处理,显著提升了模型的视觉清晰度和一致性。
2. 定量评估
为了公平比较NeRF和G-Splat的重建质量,研究者建立了一套基于Unreal Engine的量化评估工作流。这需要将COLMAP/GLOMAP(遵循OpenGL坐标系)估计的相机姿态精确转换到Unreal Engine(使用左手坐标系)中,以确保渲染视图与原始拍摄视角严格对齐。评估分别针对训练集已知视角和未参与训练的未知视角进行。
定量结果显示,两种方法呈现互补优势。在大多数数据集上,G-Splat在PSNR和SSIM指标上优于NeRF,表明其具有更好的像素级保真度和结构相似性。例如,在绿豆的未知视角测试中,G-Splat取得了约18.74 dB的PSNR和0.62的SSIM。相反,NeRF在所有数据集上均获得了更低的LPIPS分数(0.09-0.18),这意味着其渲染结果在感知上更接近真实图像,具有更高的视觉连续性和平滑度。具体数据以均值±标准差的形式汇总于表格中,涵盖了手指黍、稷子、Delta豌豆、Amarillo豌豆和绿豆等作物。这表明G-Splat更侧重于几何结构的精确呈现,而NeRF则优化了整体的光度一致性和真实感。
3. 沉浸式虚拟现实可视化
研究构建了一个基于Unreal Engine的沉浸式VR温室环境,成功将重建的植物模型整合其中。用户可以在VR中以真实比例探索植物结构,自由变换观察视角,并查看附有采集日期、BBCH生长阶段等信息的标注卡片。起初,NeRF生成的高密度点云通过LiDAR点云插件导入,虽然视觉细节丰富,但模型庞大,难以打包部署到独立的VR设备。为解决此问题,团队转而利用XScene插件集成G-Splat重建结果。G-Splat模型显存占用小、渲染效率高,能够完全打包并流畅运行于Meta Quest系列等独立VR头显上。
4. VR性能
在Meta Quest 2设备上进行的性能测试表明,无论是NeRF点云还是G-Splat模型,在VR温室环境中都能保持稳定的72 FPS帧率,满足实时交互的要求。GPU和CPU的占用率均处于合理水平,未出现性能瓶颈或过热降频。特别值得注意的是,G-Splat模型在更高的每眼渲染分辨率(1840 × 1920)下,依然能保持与NeRF点云(1024 × 1024分辨率)相近的帧时间和延迟,凸显了其卓越的渲染效率和适用于移动VR平台的潜力。
研究结论与意义
本研究成功地开发并验证了一个集数据采集、三维重建、定量评估与沉浸式可视化于一体的完整技术框架,用于作物跨生长阶段的高通量表型分析。该框架的核心贡献在于将两种前沿的神经渲染技术——NeRF与3D Gaussian Splatting(G-Splat)——系统性地应用于农业领域,并解决了从数据到可视化应用的关键技术环节。
研究表明,NeRF和G-Splat在植物三维重建任务上具有互补性。G-Splat在结构保真度(更高的PSNR/SSIM)和渲染效率方面表现突出,其显式的高斯表示非常适合需要实时交互和清晰几何细节的应用,例如在VR环境中进行植物形态的实时检视。而NeRF则提供了更优的感知真实性(更低的LPIPS)和光滑的光度过渡,更适用于对视觉连续性和颜色渐变要求较高的表型量化分析。这种差异为不同应用场景下的方法选择提供了明确指导:追求几何精度和实时性能可选G-Splat,注重视觉真实性和全局光照效果则可选NeRF。
本研究的另一大亮点是实现了与BBCH物候标准的对齐,使得三维重建数据被赋予了明确的生物学时间标签,从而支持跨生长阶段的定量比较和发育生物学研究。此外,将重建模型部署到沉浸式VR环境,并能在消费级独立VR设备上流畅运行,极大地降低了高精度三维植物模型的使用门槛,使其不仅可用于专业科研,也能广泛应用于农业教育、技术培训和公众科普。
总之,这项工作为神经渲染和沉浸式技术在农业表型分析中的实际应用奠定了坚实、可扩展的基础。它不仅提供了两种强大工具的性能基准和选用指南,更通过构建从“数据采集”到“VR体验”的端到端流水线,展示了数字农业技术如何深度融合,以创造性地解决农业研究中的老问题,并为未来的智慧农业研究和实践开辟了充满想象力的新方向。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号