《Journal of Visual Communication and Image Representation》:Improving 3D Gaussian splatting with reliability-guided densification and hierarchical semantic supervision
编辑推荐:
•通过可靠性引导的加密策略,增强3D高斯泼溅的细粒度重建质量。•采用尺度锚定策略约束高斯尺度演化,抑制形状漂移。•引入层次化语义特征监督,实现多级差异化优化约束。•在复杂场景中改善细节保持和优化稳定性,同时减少伪影。引言3D场景重建和新视角合成(NVS)是计算机视觉与计算机图
- •
通过可靠性引导的加密策略,增强3D高斯泼溅的细粒度重建质量。
- •
采用尺度锚定策略约束高斯尺度演化,抑制形状漂移。
- •
引入层次化语义特征监督,实现多级差异化优化约束。
- •
在复杂场景中改善细节保持和优化稳定性,同时减少伪影。
引言
3D场景重建和新视角合成(NVS)是计算机视觉与计算机图形学中的重要研究方向,在增强现实、虚拟现实和数字内容生成等应用中具有广泛需求[1]、[2]、[3]、[4]、[5]。近年来,神经隐式表征方法在图像质量和场景表征方面取得了显著进展[6],并逐渐成为该领域的主流技术范式。然而,神经辐射场(NeRF)中的隐式推理和体素积分过程引入了较高的计算成本和较低的渲染效率,从而限制了其在实时场景中的应用。
为平衡渲染质量与效率,基于显式表征的3D高斯泼溅(3DGS)[7]被提出并迅速发展。该方法使用一组可学习的3D高斯来建模场景,并直接在图像空间中进行可微分光栅化,从而避免了计算密集的体素积分过程。与隐式方法相比,3DGS在保持高保真渲染的同时显著降低了计算成本,实现了高效的新视角合成。
然而,在3DGS的自适应加密过程中,当场景包含复杂的细节分布时,不同视角对同一高斯的有效观测区域可能存在显著差异,但通常以等权重处理。在这种情况下,由少数视角一致覆盖所形成的可靠观测很容易被大量边缘性和不稳定的弱观测所干扰。结果,本应细化的区域无法有效触发加密。即使在某些区域成功触发了加密,新生成的高斯在尺度和形状方面仍拥有较大的自由度。在缺乏显式尺度约束的情况下,优化过程倾向于放大或拉伸高斯来补偿几何误差,而不是通过生成更细粒度的高斯来逐步细化和重建场景。因此,这导致复杂区域的高频细节退化[8]、[9]、[10]。
此外,尽管3DGS在稠密视角条件下能够实现高质量重建,但其优化过程仍主要依赖于基于RGB的辐射度监督。RGB辐射度监督本质上是一种像素级外观一致性约束,难以区分由表征不准确引起的误差与由外观变化引起的误差。因此,表征误差容易被外观变化所掩盖,从而在复杂场景中引入优化歧义,一定程度上影响优化稳定性。
这双重瓶颈促使我们考虑,是否可以引入更具判别力的监督信号,并结合更可靠的几何生长策略,来系统性地提升3DGS的整体重建稳定性和细节保真度。在此背景下,语义特征提供了潜在的理想监督形式。与像素级RGB信号相比,中高层语义特征通常在局部空间邻域内表现出更稳定的响应,对局部外观变化和光照扰动具有更强的鲁棒性。因此,语义特征可以在优化过程中作为辅助约束,弥补传统RGB辐射度监督的局限性[11]、[12]。
为此,我们提出了一种统一的3D高斯泼溅优化框架,称为RDS-GS,从表征演化和优化机制两个方面提升重建质量。首先,引入可靠性引导的尺度锚定加密策略。该策略从不同视角构建每个高斯的观测支撑,确保加密主要由可靠观测触发,从而引导高斯在真正表征不足的区域增殖。随后,在加密发生后,利用尺度锚来约束细化高斯的尺度和形状演化,抑制尺度不平衡和形状漂移,从而增强3DGS在复杂区域表达细节的能力。其次,引入层次化语义特征监督机制。在多视角约束下,语义特征监督利用其对外观扰动的鲁棒响应特性,提供辅助约束,缓解表征误差与外观变化纠缠所导致的优化歧义。此外,层次化特征建模将语义监督显式地投影到粗、中、细空间层级,实现从全局语义布局、区域过渡和局部语义边界的互补约束,从而为优化过程提供稳定且具有层次感知能力的辅助监督信号。
这两种机制协同工作,分别解决生长控制与优化约束问题,共同增强3DGS在复杂场景中的优化稳定性和细节表达能力。本文的主要贡献如下:
- •
提出可靠性引导的尺度锚定加密策略。利用观测支撑引导高斯增殖,使高斯在真正表征不足的区域生成。进一步采用尺度锚约束细化高斯的尺度和形状演化,从而提高复杂场景中的高频细节重建能力。
- •
针对RGB监督在误差判别方面的局限性,提出层次化语义特征监督机制以缓解优化歧义。通过层次化特征建模构建层次监督信号,该机制在不同层级施加差异化约束,获得更稳定的多级语义约束信号。
- •
构建统一的3DGS优化框架RDS-GS,并在多个复杂场景上进行了系统评估。实验结果验证了所提方法在提升重建稳定性和细节表达能力方面的有效性。
章节摘要
用于3D重建的神经表征
新视角合成旨在从多视角图像中恢复场景表征,并生成先前未观测视角的图像。它是计算机视觉和计算机图形学中的基础研究问题[1]、[2]、[3]、[4]、[5]。传统方法通常依赖于运动恢复结构(SfM)[13]和多视角立体(MVS)[14]从图像中重建稀疏或稠密点云,然后结合网格或基于点的表征进行渲染。
方法
在本节中,我们提出了一种统一的3DGS优化框架。所提方法通过可靠性引导的尺度锚定加密策略和层次化语义特征监督机制,从表征演化和优化约束两个方面提升模型的细节表达能力和优化稳定性。整体工作流程如图1所示。
实验设置
数据集与评估指标:我们在四个数据集上对所提方法进行评估。这些数据集包括Mip-NeRF360[48]中所有公开可用场景、Tanks & Temples[49]中的两个场景以及Deep Blending[50]中的两个场景。此外,我们使用OMMO数据集[51]中全部八个场景,进一步验证该方法在层次信息更复杂、观测关系更多样场景中的稳定性和泛化能力。我们采用三种常用的标准
结论
本文针对3D重建和新视角合成任务,提出了一种统一的3DGS优化框架以提升复杂场景中的重建质量。首先,引入可靠性引导的尺度锚定加密策略。在可靠观测的引导下,鼓励高斯在真正表征不足的区域增殖,同时通过尺度锚约束细化高斯的尺度和形状演化,从而抑制尺度
CRediT作者贡献声明
庞国英:撰写——审阅与编辑,撰写——初稿,可视化,验证,软件。李可为:调查,形式化分析,概念化。张广源:资源,项目管理,调查,资金获取。彭雨飞:指导,软件,方法论。李晓通:调查,形式化分析,概念化。俞佳怡:指导,项目管理,调查。朱震方:指导,方法论,概念化。王鹏:
利益冲突声明
作者声明不存在已知的竞争财务利益或个人关系,这些利益或关系可能影响本文所报告的工作。
致谢
本研究得到了中国山东省自然科学基金的资助,项目编号:ZR2021MF064和ZR2021QG041。
庞国英|李可为|张广源|彭雨飞|李晓通|俞佳怡|朱震方|王鹏|王震飞|傅晨