具有全局意识的体素化自适应密度控制,用于高效且紧凑的3D高斯散布技术

《Neurocomputing》:Global-aware voxelized adaptive density control for efficient and compact 3D Gaussian splatting

【字体: 大 中 小 】 时间:2026年03月21日 来源:Neurocomputing 6.5

编辑推荐:

  3D Gaussian Splatting通过可微渲染实现实时全景渲染,但其自适应密度控制依赖局部梯度信号,导致全局密度错位和冗余累积。本文提出全局感知体素化自适应密度控制框架,通过频率域分析引入全局参考信号解决局部偏差,结合体素级决策机制打破拓扑死锁,显著提升渲染质量与模型效率。

  
徐瑞思|方莉|刘晨宇|张媛|魏青兰
中国传媒大学信息与通信工程学院,北京 100024,中国

摘要

3D高斯散布(3DGS)通过可微分光栅化实现实时新视图合成。然而,其自适应密度控制(ADC)仅依赖于局部梯度信号,这常常导致级联的局部启发式方法,无法建立与场景几何结构相匹配的合理高斯分布。我们发现了导致这一问题的两个主要因素:局部包围偏差(Local Enclosure Bias),即孤立的梯度信号缺乏反映实际密集化需求的全局参考框架;以及密度依赖偏差(Density-dependent Bias),即密集化速率与初始密度相关联,而非几何需求。这些偏差导致全局密度错位,表现为细节丢失和冗余高斯的累积。为了解决这个问题,我们提出了全局感知体素化自适应密度控制(Global-aware Voxelized Adaptive Density Control)框架,作为一种可行的工程解决方案,以实现更合理且空间效率更高的高斯分布。我们引入了全局感知梯度重缩放(Global-aware Gradient Rescaling)来消除梯度歧义,利用频域分析得出的相对模糊度作为几何需求的代理。在该信号的指导下,基于体素的密集化将决策粒度提升到体素级别,有效打破了由初始密度反馈循环引起的拓扑死锁。大量实验表明,我们的方法是一种稳健的即插即用增强方案,实现了更高的渲染保真度,同时显著减少了模型存储需求并提高了渲染效率。

引言

3D高斯散布(3DGS)[1] 最近已成为3D计算机视觉领域的一个变革性范式。通过使用从结构从运动(SfM)[2] [3] 点云中初始化的显式3D高斯表示,并结合高度并行的可微分光栅化器,3DGS在保持体积渲染高保真度的同时实现了实时渲染速度。控制这种表示效率和质量的关键组件是自适应密度控制(ADC)。该机制通过密集化区域来解决缺失的结构和纹理细节问题,从而在理论上使高斯空间分布与场景的固有复杂性保持一致。
然而,原始的ADC策略从根本上受到其依赖于视图空间位置梯度的限制,这是一个严格局部的、未经校准的信号,作为密集化的唯一指标。由于缺乏全局参考框架,该策略对由于初始化差异、噪声或混叠而变化巨大的梯度应用统一的阈值。因此,标准标准无法区分真正需要几何细化的区域和那些由于伪影或属性优化不足而显示高梯度的区域。这种无能导致全局密度错位:系统错误地密集化了受噪声主导的区域,而未能在真正需要复杂性的地方提供高斯分布,从而导致细节丢失和冗余高斯的累积,如图1(a)所示。
为了解决这些识别不准确的问题,最近的研究主要集中在设计更敏感的局部启发式方法以促进积极的密集化。例如AbsGS [4]、Pixel-GS [5] 和 ReAct-GS [6] 通过修正梯度信号来促进密集化,而Mini-Splatting [7] 则明确识别大规模高斯以触发分割。独特的是,ResGS [8] 提出了一种残差分割策略,利用粗到细的金字塔监督逐步补充几何覆盖并恢复细节。然而,一个关键差距仍然存在:这些方法仍然在通过局部信号测量密集化必要性的原始范式内运作,并在每个高斯基础上触发密集化。尽管它们在缓解局部欠密集化方面取得了成功,但由于缺乏全局参考框架,这些方法仍然无法有效区分必要的密集化和过度增殖。即使ResGS采用了扩大感受野并实现更好细节恢复的粗到细残差密集化方案,它仍然受到相同局部驱动范式的根本限制。因此,它们无法从根本上解决全局密度错位问题,导致模型要么计算量大,要么在细节上局部不足。
我们认为这些问题的持续存在源于高斯空间分布的优化,这是由基于初始化的ADC执行的任务,本质上是一个非凸的、连续-离散混合系统的全局优化问题。理想情况下,这种优化应同时解决最优高斯数量(离散)及其属性(连续)的问题。然而,当前的实现受到算法设计的理论限制,导致这一全局目标退化为一系列级联的局部优化。这种退化通过有偏初始化和ADC策略的固有限制的相互作用表现出来,导致了三个关键“陷阱”,现有方法未能消除:
  • 1.
    初始化偏差:由于局部梯度下降无法有效地将基本元素传输到空旷空间,重建质量始终紧密依赖于SfM初始化的完整性。这在不同区域之间造成了密集化必要性的不一致评估。
  • 2.
    信号歧义:仅依赖于位置梯度,而该梯度与颜色等多个高斯属性内在相关,这常常导致系统将高频混叠伪影误认为是缺失的几何结构,从而导致错误的密集化,使混叠问题更加严重。
  • 3.
    拓扑死锁:按每个高斯触发密集化会产生一个“富者越富”的反馈循环。错误的密集化决策难以逆转;一旦引入,冗余的高斯往往会持续累积,使模型陷入低效的空间分布中。
  • 鉴于初始化是一个固定的先验,我们将ADC无法纠正局部优化的原因正式归结为两个偏差:局部包围偏差(信号限制),即孤立的局部梯度缺乏全局参考框架;以及局部密度依赖偏差(机制限制),即密集化速率与初始密度相关联,而非实际密集化需求。
    为了解决这些已识别的偏差,我们提出了全局感知体素化自适应密度控制(Global-aware Voxelized Adaptive Density Control)框架,旨在打破局部优化的死锁。我们的方法将密度控制从纯粹的局部启发式提升为全局引导的过程,通过两种协同策略实现:
    首先,为了解决信号限制,我们引入了全局感知梯度重缩放(Global-aware Gradient Rescaling)。为了规避位置梯度的歧义(这些梯度与属性更新混淆),我们引入了一个几何需求的代理信号:通过频域分析渲染图像和真实图像计算出的相对模糊度。通过将此指标与全局统计数据进行标准化,我们为局部梯度信号引入了一个全局参考框架。如图2所示,由此产生的全局感知位置梯度准确反映了实际的密集化需求。
    其次,为了解决机制限制,我们引入了基于体素的密集化(Voxel-based Densification)。这将决策粒度从每个高斯提升到每个体素。在每个体素内,通过聚合其组成高斯的全球感知需求来触发密集化,并通过重要性采样执行。通过设计,这种体素级策略取代了原始的每个高斯触发方式,从而将密集化速率与局部高斯密度解耦,打破了拓扑死锁。
    通过结合这两种策略,我们的框架有效地缓解了全局密度错位问题,产生了更符合场景复杂性的精细空间分布,同时避免了冗余,如图1(b)所示。我们的主要贡献总结如下:•
    我们确定了导致当前3DGS方法退化为级联局部优化的限制,并正式定义了两个关键因素:局部包围偏差和密度依赖偏差。
  • •
    我们提出了全局感知体素化自适应密度控制框架。通过整合全局感知梯度重缩放和基于体素的密集化,我们的方法有效地引入了一个全局参考框架,解决了标准局部启发式方法中的固有偏差。
  • •
    大量实验证明了我们方法的卓越渲染质量、效率和紧凑性。作为一种高度通用的即插即用模块,我们的方法显著优于现有的最佳实践,实现了更高的渲染保真度,并大幅减少了模型存储需求,证明了其有效性和广泛的应用性。
  • 部分摘录

    3D高斯散布

    虽然神经辐射场(NeRF)[9] 为新视图合成[10] [11] [12]建立了一个高保真范式,但它们的隐式体积渲染带来了巨大的计算成本[13]。之前的加速尝试通过空间数据结构[14] [15]或张量分解[16]来解决这个问题,但通常需要在质量和速度之间进行权衡。为此,3DGS[1]使用从稀疏SfM点初始化的各向异性高斯来表示场景,进行了优化

    3D高斯表示

    3DGS[1]是一种基于辐射场的3D表示技术,它使用一组各向异性3D高斯来表示3D场景,实现可微分光栅化渲染。3DGS依赖于通过SfM[2] [3]获得的稀疏点云来构建初始高斯集,每个高斯独立表示为一个3D高斯分布:其中均值和协方差矩阵分别表示高斯的位置和形状。

    方法

    我们提出了全局感知体素化自适应密度控制(Global-aware Voxelized Adaptive Density Control)框架,旨在超越局部启发式方法,实现更合理且空间效率更高的高斯分布。整体流程如图3所示。我们首先提出了全局感知梯度重缩放(Section 4.1)。该组件通过为局部梯度信号引入全局参考框架来解决局部包围偏差。这建立了一个全局标准,以此来区分真正的几何

    设置

    数据集和指标。遵循3DGS[1]的协议,我们在Mip-NeRF360 [41]、Tanks & Temples [42]和Deep Blending [43]数据集上进行了评估,严格遵循官方的训练-测试分割和图像分辨率。我们使用峰值信噪比(PSNR)、结构相似性指数(SSIM)和学习感知图像块相似性(LPIPS)来衡量新视图质量,并通过报告模型的存储占用量和总

    局限性

    尽管我们的框架在Mip-NeRF360和Tanks&Temples等具有挑战性的基准测试上一致提高了渲染保真度,并保持了相当的训练效率,且总体开销适中,但它依赖于局部频域能量分析来将密集化的实际需求与这些干扰因素分离,这不可避免地增加了流程复杂性,如图6所示。这表明未来的工作有进一步优化的机会。

    结论

    在本文中,我们从全局优化的角度分析了高斯空间分布。我们发现,由于两个根本偏差——局部包围偏差(信号限制)和密度依赖偏差(机制限制),标准自适应密度控制策略退化为级联的局部启发式方法,这导致了全局密度错位,阻碍了合理且空间效率高的分布。为了解决这个问题,我们提出了全局感知体素化

    CRediT作者贡献声明

    徐瑞思:撰写——审稿与编辑,撰写——原始草稿,可视化,验证,方法论,形式分析,数据管理。方莉:撰写——审稿与编辑。刘晨宇:数据管理。张媛:撰写——审稿与编辑。魏青兰:撰写——审稿与编辑。

    利益冲突声明

    作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
    徐瑞思于2023年获得中国传媒大学电子工程学士学位,目前正在该校攻读博士学位。她目前的研究兴趣包括3D重建和沉浸式通信。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号