《Engineering Applications of Artificial Intelligence》:Pseudo-view-driven Gaussian optimization for sparse novel view synthesis
编辑推荐:
摘要基于神经辐射场(NeRF)这一主流人工智能方法的现有新视角合成方法,往往面临训练时间过长的问题。虽然三维高斯泼溅(3DGS)速度更快,但这两种方法在稀疏视角场景下都难以处理,会产生几何不一致性。在3DGS中,这源于稀疏的初始三维点和有缺陷的基于梯度的稠密化,导致高斯分布的
摘要
基于神经辐射场(NeRF)这一主流人工智能方法的现有新视角合成方法,往往面临训练时间过长的问题。虽然三维高斯泼溅(3DGS)速度更快,但这两种方法在稀疏视角场景下都难以处理,会产生几何不一致性。在3DGS中,这源于稀疏的初始三维点和有缺陷的基于梯度的稠密化,导致高斯分布的位置或形状不佳。为了解决这些局限性,我们提出了一个基于伪视角驱动的高斯优化框架。我们的连贯策略首先采用伪视角高斯稠密化。该核心模块利用多视角立体视觉(MVS)网络,并借助自适应生成的伪视角,克服稀疏初始化问题,创建密集且几何精确的高斯集合。随后,通过异常高斯形状校正模块对过程进行优化,该模块作为一种正则化方法,分析这些伪视角之间的多视角一致性,以识别并校正形状异常的原语,确保高渲染保真度。在公共数据集上的实验评估表明,我们的方法优于最先进的3DGS和NeRF方法,取得了具有竞争力的渲染质量和几何保真度。
引言
新视角合成(NVS)已取得显著进展,旨在从现有图像生成新的场景视角(Hou等,2025)。在该领域内,三维高斯泼溅(3DGS)(Kerbl等,2023)已成为一种突出的方法,将场景表示为带有颜色和透明度的3D高斯点云集合。当有大量输入视角可用时,3DGS能够高效且准确地生成合理的场景几何3D高斯重建,从而渲染出高质量的新视角图像。然而,在自动驾驶和机器人等应用中稀疏的输入会导致3DGS过拟合,降低渲染质量(图1,右上)。这源于两个关键问题。首先,3DGS通过运动恢复结构(SfM)(Sch?nberger和Frahm,2016)初始化稀疏的3D高斯。有限的输入视角导致稠密化策略(分裂/克隆)失效,产生稀疏且位置错误的3D高斯(Rota Bulò等,2024)(图1,左上)。其次,稀疏训练下的3D高斯形状优化导致形状异常(图1,中上)。尽管近期工作提出了各种策略来缓解这些问题,但从稀疏输入中稳健地重建复杂几何和精细细节仍然是一个重大挑战。
近期工作通过集成先验模型来解决稀疏输入问题。如FSGS(Zhu等,2024)和LoopSparseGS(Z. Bao等,2024)等基于伪视角的方法对3D高斯进行稠密化以增强几何一致性,而DNGaussian(J. Li等,2024)等方法则利用深度正则化来约束高斯位置。然而,这些方法通常依赖于启发式稠密化或单目深度先验,这可能限制了所生成几何的准确性,并且可能无法解决高斯形状异常的问题。
为了直接解决这些几何不准确问题,一些方法,如GeoGaussian(Y. Li等,2024),引入了显式几何正则化,以更好地将高斯原语本身与表面对齐。虽然该方法对提高表面质量有效,但如果初始几何从根本上不完整,这种方法则受到固有限制。
完全脱离逐场景优化的范式,另一条研究路线,以NoPoSplat(Ye等,2025)为代表,利用大规模预训练先验。这使其即使在没有已知相机位姿的情况下也能实现合理的重建,但其对模型泛化的依赖可能导致细节过度平滑,牺牲了特定场景的保真度。不同策略中未解决的挑战凸显了需要一个连贯的框架,该框架既能生成密集的高质量新几何,又能以特定场景的方式稳健地校正渲染伪影。
在本研究中,我们提出了一个基于伪视角驱动的高斯优化框架,以改进稀疏视角合成。该框架集成了伪视角生成和多视角立体视觉(MVS)以生成密集的3D高斯初始化,并在训练过程中通过深度和形状正则化优化3D高斯参数。具体而言,我们引入了自适应伪视角合成,它在训练视角周围生成伪视角,为下游模块提供额外的视角信息。为了解决3D高斯稀疏问题,伪视角高斯稠密化利用伪视角增强MVS生成的初始点云,并在训练期间通过单目深度估计约束3D高斯位置(图1,左下)。最后,我们的异常高斯形状校正模块通过分析其在伪视角间的渲染一致性来识别形状异常的高斯,然后重置和正则化它们的形状,以确保高保真结果(图1,中下)。
总之,本文的主要贡献如下:
- 1.
我们引入了自适应伪视角合成,一个通过自适应平衡渲染质量与视角多样性来生成鲁棒多视角几何线索的模块。
- 2.
利用这些合成视角,我们提出了伪视角高斯稠密化,一种MVS补充标准稠密化以生成密集且几何精确的高斯集合的策略。
- 3.
我们提出了异常高斯形状校正,一种在伪视角间强制多视角一致性以校正异常高斯形状的正则化方法,确保高渲染保真度。
- 4.
我们的基于伪视角驱动的框架在具有挑战性的稀疏视角基准测试中,在渲染质量和几何保真度方面均达到了最先进的性能。
本文其余部分组织如下:第2节回顾了辐射场和稀疏输入渲染的相关工作。第3节详细介绍了所提出的方法。第4节分析了实验的定量和定性结果。最后,第5节对论文进行了总结。
章节摘要
相关工作
当前的基于辐射的新视角合成方法主要包括神经渲染(以NeRF为代表)和基于点的渲染方法(以3DGS为代表)(Y. Bao等,2024)。稀疏输入渲染方案主要是无先验方法和有先验方法。本节回顾了这些领域的相关工作。
所提框架概述
如图2所示,我们框架的整体流程以稀疏图像和运动恢复结构(SfM)(Sch?nberger和Frahm,2016)相机参数作为输入。该过程从我们的APS模块开始,该模块从原始相机位姿生成新的伪视角,以丰富可用的几何信息(第3.3节)。这些合成视角与原始图像结合,然后在PGD阶段使用。在这里,一个MVS流程生成用于初始化的密集点云,
实验设置
数据集。我们在LLFF(Mildenhall等,2019)、MipNeRF360(Barron等,2022)和DTU(Jensen等,2014)数据集上进行评估。LLFF包含8个面向前方的场景,每个场景通常由20到60个视角组成。为了模拟稀疏视角条件,我们遵循FSGS(Zhu等,2024)的协议,每隔8张图片使用一张进行测试,并通过从剩余图片中选择3、6和9张训练图片来建立三种设置。分辨率被降采样4倍至1008 × 756。MipNeRF360包含9
结论
在本文中,我们介绍了一个基于伪视角驱动的高斯优化框架,专门用于解决使用三维高斯泼溅进行稀疏新视角合成的挑战。我们的方法提出了一种连贯的策略,其中自适应生成的伪视角驱动了重建过程。这种基于伪视角驱动的方法引导了两个核心组件。第一个是集成MVS的高斯稠密化模块,用于构建密集且准确的场景表示。第二个是
CRediT作者贡献声明
Wei She:撰写——审阅与编辑、资源、项目管理、资金获取、概念化。Shipeng Liu:撰写——初稿、可视化、软件、方法学、调查、数据整理、概念化。Xiangji Kong:可视化、调查、概念化。Lihong Zhong:撰写——审阅与编辑、验证。Xingliang Xue:可视化、验证、软件。Yinghao Li:撰写——初稿、资源、方法学、资金获取。
利益冲突声明
作者声明他们没有已知的竞争性经济利益或个人关系,这些利益或关系可能影响本文报告的工作。
致谢
这项工作得到了中国人民解放军军事科学院防御工程研究院目标毁伤评估国家重点实验室开放研究基金(YSX2024KFPG004);国家自然科学基金委员会[批准号 62206252];河南省教育厅高校重点科研项目[批准号 25A520015];河南省科技重点项目[批准号 242102210040];以及科技重点项目
Wei She|Shipeng Liu|Xiangji Kong|Lihong Zhong|Xingliang Xue|Yinghao Li
郑州大学网络空间安全学院,河南 郑州 450001,中国