《Pattern Recognition Letters》:Fast Generalizable Human Novel View Synthesis from Image Pairs
编辑推荐:
•一种新颖的3DGS框架,可在2K分辨率下实现快速、高质量的人体新视角合成。•一种结合不确定性引导几何校正与解耦编码的方法。•我们的方法在多个数据集上实现了SOTA性能。引言新视角合成(NVS)旨在从有限的输入视角中合成密集视角。通过消除对复杂密集采集系统的需求,它在三维视频
- •
一种新颖的3DGS框架,可在2K分辨率下实现快速、高质量的人体新视角合成。
- •
一种结合不确定性引导几何校正与解耦编码的方法。
- •
我们的方法在多个数据集上实现了SOTA性能。
引言
新视角合成(NVS)旨在从有限的输入视角中合成密集视角。通过消除对复杂密集采集系统的需求,它在三维视频会议、沉浸式体育转播和自由视角视频(FVV)等应用中具有巨大潜力,因此引起了广泛关注。早期方法通常依赖视角插值或基于深度的翘曲来合成目标视角。然而,这些方法仍然需要相对密集的输入,并且在稀疏输入条件下难以产生高质量的重建。
近年来,神经渲染方法如NeRF [1]在新视角合成方面取得了显著进展。尽管早期的NeRF需要对每个场景进行优化,但后来的前馈方法 [2]、[3]、[4]被引入以提高渲染速度和泛化能力。然而,对每个视角进行光线步进和密集空间采样的需求仍然限制了基于NeRF方法的推理效率,从而限制了其实用部署。
随后,三维高斯泼溅(3DGS)[5]以其改进的效率和渲染质量脱颖而出。尽管原始3DGS由于其基于梯度对高斯基元进行优化而缺乏泛化能力,但后来的工作 [6]、[7]、[8]通过深度估计实现了前馈式3DGS。然而,这些方法引入了复杂的深度估计和回归网络,削弱了3DGS的效率优势。此外,由于缺乏误差校正机制,初始估计的不准确会被传播到最终表示中,导致视觉质量明显下降。
与此同时,人体新视角合成也受到了越来越多的关注。然而,许多现有方法依赖于参数化人体模板(例如SMPL [9]),难以捕捉复杂的宽松衣物或复杂的发型,并会使人机交互变得更加复杂,从而限制了其实用性。另外,一些方法使用变形场 [10]等技术从单目视频中执行人体NVS,但它们有限的泛化能力限制了其在现实场景中的适用性,例如沉浸式体育转播或3D视频会议等没有预先录制完整视频的场景。
为了解决这些挑战,我们提出了一种快速且可泛化的人体新视角合成方法,该方法基于图像对进行操作。我们首先通过立体匹配估计输入视角的深度图。我们不仅仅是依赖学习到的特征来推断几何校正,而是通过双向深度重投影来明确评估估计几何的可靠性。由此产生的跨视角深度差异表明了不可靠的区域,并保留了观察到的几何不一致的大小,并直接提供给后续的校正网络以指导高斯几何的细化。
此外,为了实现高效的分辨率重建,我们将低分辨率语义推理与高分辨率纹理处理进行了解耦。计算密集型的语义和几何特征提取在固定的低分辨率下进行,而由此产生的特征则通过轻量级高分辨率分支与原始分辨率的图像和几何信息进行上采样和结合。这种设计保留了精细的纹理和边界信息,同时避免了在高斯回归和渲染之前进行昂贵的全分辨率特征提取。
总之,我们的贡献如下:
- •
我们提出了一种新颖的基于3DGS的人体新视角合成框架,能够在2K分辨率下实现快速、高质量的渲染。
- •
我们将不确定性引导的几何校正与解耦的语义和纹理编码相结合,提高了几何和纹理的保真度,同时实现了高效的分辨率渲染。
- •
我们的方法在多个数据集上的定性和定量评估中均优于SOTA方法。
章节摘要
可泛化的新视角合成
前馈式3DGS方法通常根据估计的深度来确定高斯位置。MVSplat [6]构建代价体用于深度回归。DepthSplat [7]和TranSplat [8]进一步引入单目特征以改善深度估计。然而,估计几何中的残余误差可能会传播到后续的高斯重建中,从而降低渲染质量。
不确定性也被探索用于改善几何重建。SparseRecon [11]估计几何
立体深度估计
整体流程如图1所示。我们的深度估计框架主要基于RAFT-Stereo [24]。我们保留了其主要的立体匹配组件,包括沿极线方向的1D相关性构建、迭代视差细化、凸上采样和序列监督,而没有引入新的相关性公式或迭代更新规则。在我们的实现中,迭代更新被简化为单个1/8分辨率的ConvGRU,并且我们使用
数据集与指标
我们使用PSNR、SSIM [26]和LPIPS [27]来评估定量性能。对于实验数据集,我们使用THuman [28]、THuman-Sit [29]、Dual-GS [30]和DNA-Rendering [31]。THuman包含具有不同姿态和外貌的人体主体,而THuman-Sit进一步包含了具有挑战性的交互式物体。Dual-GS和DNA-Rendering包含具有多样运动和场景配置的动态人体序列。
除了PSNR、SSIM和LPIPS之外,我们采用了额外的补充指标
局限性
我们的方法目前假设输入是经过准确标定和校正的立体图像,因为基于视差的深度估计和双向深度重投影都依赖于可靠的相机参数。该框架专为两个输入视角设计,当有更多视角可用时并不会显式利用额外的观察。此外,非常大的视角差异和严重遮挡可能会使立体对应和跨视角一致性估计变得不那么可靠,从而降低
结论
我们提出了一种从图像对快速且可泛化的人体新视角合成框架。不确定性引导的几何校正提高了几何和渲染保真度,而解耦的语义和纹理编码则实现了高效的高分辨率推理。广泛的评估证明了该方法在多个数据集上的强重建质量和泛化能力,凸显了所提框架的实际潜力。
CRediT作者贡献声明
Kaijin Zhao:撰写——原稿,可视化,验证,软件,方法学,形式分析,概念化。Bingjie Song:撰写——审阅与编辑,验证,软件。Chen Gong:调查,数据整理。Guoqing Zhou:撰写——审阅与编辑,指导,资源。Qing Wang:撰写——审阅与编辑,指导,资金获取。
利益冲突声明
作者声明他们没有已知的可能影响本文所述工作的竞争性经济利益或个人关系。
致谢
本工作由国家自然科学基金资助(项目编号62031023)。
Kaijin Zhao|Bingjie Song|Chen Gong|Guoqing Zhou|Qing Wang