PS-GS:用于多视图光度立体测量的高斯插值技术
《Computers & Graphics》:PS-GS: Gaussian splatting for multi-view photometric stereo
【字体:
大
中
小
】
时间:2026年03月09日
来源:Computers & Graphics 2.8
编辑推荐:
陈一啸|梁斌|郭汉志|程永清|赵嘉艺|翁东东
中国北京信息科技大学光学与光子学院,混合现实与先进显示北京工程研究中心
**摘要**
将逆向渲染与多视图光度立体测量(MVPS)相结合,可以获得比依赖固定环境照明的逆向渲染方法更准确的3D重建结果。然而,高效地结合MVP
陈一啸|梁斌|郭汉志|程永清|赵嘉艺|翁东东
中国北京信息科技大学光学与光子学院,混合现实与先进显示北京工程研究中心
**摘要**
将逆向渲染与多视图光度立体测量(MVPS)相结合,可以获得比依赖固定环境照明的逆向渲染方法更准确的3D重建结果。然而,高效地结合MVPS进行逆向渲染仍然具有挑战性。为了解决这一问题,我们提出了基于高斯散布的多视图光度立体测量方法(PS-GS),该方法能够同时估计被多种方向光照照亮的物体的几何形状、材质和光照情况,并实现精确高效的渲染和几何重建。我们的方法首先重建一个标准的2D高斯散布模型作为初始几何结构。在此基础上,通过完整的渲染方程进行延迟逆向渲染。在整个优化过程中,我们利用未经校准的光度立体测量估计的法线图对渲染结果进行正则化处理。为了更好地模拟入射光,我们设计了一种多单方向光照表示和优化方法,该方法使用基于MLP的神经入射场来表示光照,并通过改进的2D高斯光线追踪结果对入射光进行正则化。这些正则化措施以及多视图和多光源图像的应用减轻了逆向渲染中的病态问题。优化完成后,重建的物体可用于新视图合成、重新光照以及材质和形状编辑。在合成数据和真实数据集上的实验表明,我们的方法在重建精度和计算效率方面优于以往的研究成果。
**引言**
逆向渲染(IR)专注于从捕获的图像中重建几何形状、材质和光照信息。基于IR,可以实现许多下游任务,如重新光照和材质编辑,这些任务在游戏、增强现实、文化遗产和电影制作等领域发挥着关键作用。然而,由于IR是一个病态问题,尤其是在输入图像是在未知环境光照下捕获的或视图稀疏的情况下,它仍然是一个长期存在的挑战。神经辐射场(NeRF)[1]的成功激发了许多基于NeRF的方法[2][3][4]来解决IR问题,该方法利用方向感知的多层感知器(MLP)通过体积渲染来表示3D场景。尽管这些方法在几何形状和反射率的重建方面表现出了出色能力,但它们在显式编辑和计算成本过高方面仍面临挑战,这限制了它们的进一步应用。
最近,3D高斯散布(3DGS)[5][6]由于其在新视图合成(NVS)中的实时和高保真渲染能力而受到了广泛关注。3DGS通过一组显式的3D高斯基元来建模3D场景,并通过专门设计的栅格化器进行像素渲染,从而实现高效的IR。然而,由于其难以准确模拟基于光线的效果,一些基于3DGS的IR方法采用了简化的渲染方程[7][8]或提出了3D高斯光线追踪技术[9]。这些方法的另一个挑战是它们仅通过深度相关的正则化来精确计算法线,而没有利用基元法线与几何属性之间的关系。为此,2D高斯散布(2DGS)[10]及其相关研究[11][12]使用椭圆形圆盘的法线作为每个基元的法线,从而获得了比基于3DGS的方法更精确的法线结果。然而,由于优化过程中缺乏额外信息,渲染出的法线图仍然过于平滑且缺乏细节。此外,在进行稀疏视图重建时,病态问题会加剧,导致整体重建质量下降。
另一方面,光度立体测量(PS)是一种利用被多种方向光照照亮的单视图图像来获取场景每像素表面法线的技术。尽管PS方法[13][14]能够恢复精细的表面细节,但它们无法仅依靠单视图输入重建完整的3D形状。为了同时获得表面细节和完整的3D形状,提出了多视图光度立体测量(MVPS)[15][16][17]方法,该方法结合了多视图立体测量(MVS)和PS技术。PS-NeRF[18]和DPIR[19]分别通过结合神经隐式场和基于点的散布技术提供了基于MVPS的IR解决方案。尽管这些方法有所进步,但它们要么面临过高的计算成本,要么使用的渲染方程过于简化,无法获取更多样的材质信息。
为了解决上述问题,我们提出了基于高斯散布的多视图光度立体测量方法(PS-GS),这是一种将2D高斯散布扩展到基于物理的延迟渲染与MVPS的逆向渲染框架,实现了准确高效的渲染和法线估计。为了更好地优化几何形状,我们采用了PS-NeRF[18]中的法线优化策略,该方法利用未经校准的光度立体测量(UPS)估算的引导法线对渲染出的法线图进行正则化,并使用多视图和多光源图像进行训练。为了减少反照率-光照的不确定性,我们为光度立体测量方法设计了一种多单方向光照表示和优化方法。具体来说,我们使用神经入射场来表示光照,然后修改2D高斯光线追踪技术[11]以适应SDL,并利用其结果对神经入射场进行正则化。
我们的方法从预训练一个标准的2D高斯散布模型开始。基于该模型,我们使用完整的基于物理的渲染方程进行优化,同时考虑材质、几何形状和光照。在渲染方程中,利用多层感知器(MLP)来模拟高斯基元参数无法表示的神经入射光照。渲染出的法线图和入射光照分别通过UPS估算的法线和SDL 2D高斯光线追踪计算结果进行正则化。我们利用预获取的各种参数图作为正则化手段来减轻IR的病态问题。为了高效渲染多视图和多光源图像,我们在图像空间中进行着色处理,从而实现快速渲染并提高重建质量。据我们所知,这是首次将基于高斯散布的逆向渲染与MVPS相结合的方法,能够进行几何形状、材质和光照的联合优化,并实现高效准确的渲染和几何重建。我们的方法支持新视图合成、法线估计、重新光照以及材质和形状编辑等任务。在真实数据和合成数据集上的实验表明,我们的方法在训练时间和GPU内存使用方面优于以往的基于MVPS的IR方法,同时实现了相当或更好的结果。
**本文的贡献**
- 我们提出了一种逆向渲染框架PS-GS,它结合了MVPS和基于高斯散布的逆向渲染的优点,能够高效联合优化几何形状、材质和光照。
- 我们为光度立体测量中的入射光照设计了一种新的多单方向光照表示和优化方法,该方法使用基于MLP的神经入射场来表示光照,并通过适用于单方向光照(SDL)的改进2D高斯光线追踪结果进行正则化。
- 我们的方法即使在视图稀疏的情况下也能实现高效高质量的逆向渲染,有效减轻了反照率-光照的不确定性问题,在NVS、重新光照和法线重建方面提供了先进性能,并支持材质和形状编辑等下游任务。
**章节摘要**
- **新视图合成(NVS)**
新视图合成(NVS)是计算机视觉和图形学中的一个长期存在的问题,它专注于利用捕获的场景图像集合生成未见视角下的图像。神经辐射场(NeRF)[1]利用神经网络将场景表示为连续的5D函数,推动了复杂3D场景的高保真NVS的发展趋势。后续的发展提高了NeRF的训练速度[20][21]和渲染效率。
**2D高斯散布(2DGS)**
在标准的2DGS[10]中,每个高斯点被表示为2D定向平面圆盘,由位置p、两个缩放因子su和sv、两个主切向量tu和tv、不透明度o以及颜色系数c定义。每个2D高斯点的影响定义为:
G(u(x))=exp?u2+v2
其中(u,v)是局部切空间中的光线-散布交点坐标,x表示穿过像素(x,y)并与2D高斯基元在z点相交的均匀光线。
**我们的目标**
我们的目标是通过来自M个视图的多光源图像同时估计3D物体的几何形状、材质和光照。我们将每个视图的多光源图像定义为Im={I1m,I2m,…,Ilm},其中l表示光源的索引。值得注意的是,本文仅关注对象级别的IR,场景级别的IR不在研究范围内。图1展示了我们方法的整体流程。所提出的PS-GS包含两个阶段,以实现高效的基于高斯的逆向渲染。在实验中,PS-GS实现了对象的高效准确渲染和几何重建。
**结论**
在本文中,我们提出了基于高斯散布的多视图光度立体测量方法(PS-GS),这是一种高效的逆向渲染框架,它结合了基于2DGS的PBR渲染和MVPS,实现了准确的渲染和几何重建。我们的方法首先使用标准的2D高斯模型作为初始化,然后通过多视图和多光源图像基于完整的渲染方程联合优化物体的几何形状、材质和光照。
**作者贡献声明**
陈一啸:撰写——原始草案,可视化,验证,监督,软件,项目管理,方法论,调查,形式分析,概念化。
梁斌:验证,数据整理。
郭汉志:验证,调查,形式分析。
程永清:可视化,软件,调查。
赵嘉艺:可视化,验证。
翁东东:撰写——审稿与编辑,监督,资金获取,概念化。
**利益冲突声明**
作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
**致谢**
本工作得到了中国国家重点研发计划(编号2022YFF0902303)和中国北京朝阳互联网3.0关键技术研发项目以及中央高校基本科研业务费(编号2024CX06023)的支持。我们还要感谢PS-NeRF合成数据和DiLiGenT-MV数据集的作者为学术非商业研究提供的数据集支持。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号