高保真文本到3D生成中用于稳定分数蒸馏的渐进潜空间校准
《Pattern Recognition》:Progressive latent calibration for stable score distillation in high-fidelity text-to-3D generation
【字体:
大
中
小
】
时间:2026年09月28日
来源:Pattern Recognition 9.1
编辑推荐:
•DDIM反演在分数蒸馏中会导致累积的离散化误差。•渐进式潜在校准(PLC)实现了无DDIM反演的分数蒸馏。•PLC在伪地面实况采样过程中重新注入与渲染相关的信息。•实现了高保真度的文本到3D生成,防止了颜色退化伪影。
引言
随着3D计算机视觉和图形技术的快速发展,并在游
•DDIM反演在分数蒸馏中会导致累积的离散化误差。•渐进式潜在校准(PLC)实现了无DDIM反演的分数蒸馏。•PLC在伪地面实况采样过程中重新注入与渲染相关的信息。•实现了高保真度的文本到3D生成,防止了颜色退化伪影。
引言
随着3D计算机视觉和图形技术的快速发展,并在游戏、电影制作、虚拟现实(VR)、增强现实(AR)和机器人等领域获得广泛应用,对高质量3D资产的需求稳步增长。然而,生产大量高质量、手工制作的3D资产仍然成本高昂且耗时,往往需要大量的专家努力。在此背景下,文本到3D生成领域——能够通过文本提示创建所需的数字3D资产——正获得越来越多的关注并快速增长。人们已经提出了各种文本到3D生成的方法,其中分数蒸馏采样(SDS)[1]作为一种将预训练的文本到图像扩散模型的先验知识蒸馏以训练3D表示(如神经辐射场(NeRF)[2]和3D高斯溅射(3DGS)[3])的方法,受到了特别的关注。这一机制在克服文本到3D生成任务的挑战方面取得了突破,因为构建大规模训练数据集往往不可行,并且已经开始在一系列下游任务中找到应用,如3D编辑[5]、[6]、新视角合成[7]、[8]和运动合成[9]。
尽管SDS因其流行性和有效性而广受欢迎,但由于过饱和和过度平滑等问题,在生成高保真度3D资产方面面临挑战,这限制了其实际应用。SDS中这些问题的出现是由于在每次迭代中更新方向存在过大的方差,这是由应用随机噪声并执行单步去噪引起的。因此,在优化过程中,精细特征往往会趋于平均。虽然变分分数蒸馏(VSD)[10]解决了这些问题并成功生成了高保真度、细节丰富的对象,但它存在一个缺点,即在每次训练迭代中都需要对扩散模型进行微调,与标准方法相比,计算成本显著更高。
为了解决这个问题,最近的方法[11]、[12]、[13]探索了基于反演的替代方案,利用DDIM反演[14]来获得更稳定的更新方向,而无需对扩散模型进行微调。一个显著的例子,区间分数匹配(ISM)[11]将SDS的目标解释为3D表示的渲染与扩散模型的预测样本之间的匹配,后者被称为伪地面实况(pseudo-GT)。作者认为,特征不一致且低质量的伪地面实况是SDS中过度平滑问题的主要原因。为了解决这种不一致性,他们在分数蒸馏过程中引入了DDIM反演。引导一致性采样(GCS)[13]和通过反演的分数蒸馏(SDI)[12]分别在扩展基于反演的分数蒸馏范围方面做出了贡献。具体而言,GCS旨在在概率流常微分方程[15]的框架内改善去噪轨迹的自一致性,而SDI则探索了在DDIM反演期间集成无分类器引导[16]以提高反演保真度。
然而,在我们的分析中,我们发现这些基于反演的方法存在另一组局限性,这源于DDIM反演过程中固有的离散化误差[17]、[18]。与DDIM反演的传统用法不同,基于反演的分数蒸馏涉及通过DDIM反演重复生成噪声样本,然后对其进行去噪以获得干净样本,这跨越了数千次迭代。在这种设置下,即使在每次迭代中存在微小的偏差,也会在蒸馏过程中积累,最终导致结构扭曲、颜色过饱和或最终3D输出质量下降等伪影。尽管GCS试图通过亮度均衡等启发式方法缓解这些问题,但这种解决方案是针对特定表示的,并不很好地推广到多种3D格式,如NeRF。
为了克服这些问题,我们提出了一个分数蒸馏框架,该框架消除了对DDIM反演的依赖,同时保留了监督和高质量的优势。通过引入渐进式潜在校准来进行多步伪地面实况采样,在去噪轨迹的每一步添加纠正噪声残差,我们的方法能够生成高质量且一致的伪地面实况。这有助于学习具有增强结构保真度和颜色一致性的3D表示,如图1所示。我们通过各种最先进的分数蒸馏方法全面验证了我们方法的有效性。
章节摘要
扩散模型
扩散模型(DMs)[15]、[19]旨在通过逐步去噪一个噪声样本来生成数据x0,其中xt=αtx0+σt?,0< />
去噪扩散隐式模型(ddims)[14]
方法
在本节中,我们分析了ddim反演(如各种最近的分数蒸馏方法[11]、[12]、[13]所采用的)如何对3d资产的生成产生负面影响,导致颜色退化、过饱和和结构扭曲等问题。然后,我们提出了一种新的分数蒸馏方法,通过逐步校准扩散采样轨迹以与原始渲染的潜在空间对齐,解决了高
实现细节
我们的方法是在ism [11]代码库之上实现的,并且我们遵循其设置,如相机参数和学习率等超参数。3d高斯初始化是使用point-e [27]进行的。cfg缩放系数固定为7.5,我们使用stable diffusion 2.1 base [23]作为所有实验的基础扩散模型。每个资产训练5000次迭代。辅助损失权重w设置为0.8。我们在最小时间步和最大时间步之间均匀采样时间步t,
plc的内存消耗和计算效率
我们在表7中比较了与最先进的分数蒸馏方法相比的3d资产生成的内存消耗和运行时。运行时在rtx 4090和a6000上都进行了报告,由于vsd和sdi超过了4090的内存容量,它们在a6000上进行测量。每个条目是五个提示的平均值±标准差。此类框架中的主要显存瓶颈来自于3d表示本身,因为扩散模型仅用于推理而非训练。
文本到3d生成
近年来,得益于扩散模型和3d表示的进步,文本到3d生成获得了显著的发展动力。早期工作如dreamfields [40]和clip-mesh [41]利用基于clip的监督从文本提示优化隐式3d表示,但通常受到几何保真度有限和监督信号薄弱的困扰。dreamfusion [1]带来了重大突破,它提出了从预训练的2d文本到图像扩散模型中蒸馏梯度以
结论
在本工作中,我们研究了基于反演的分数蒸馏方法中重复的ddim反演如何导致生成的3d资产出现伪影。此外,我们提出了一种使用渐进式潜在校准的多步伪地面实况采样策略,该方法无需依赖ddim反演,即可缓解分数蒸馏采样中的高方差问题。在此基础上,我们定义了一个新的分数蒸馏目标,克服了现有方法的局限性。通过广泛的实验
credit作者贡献声明
gyojin han:写作–审阅与编辑,写作–原稿撰写,可视化,验证,软件,方法论,调查,形式分析,概念化。jiwan hur:写作–审阅与编辑,写作–原稿撰写,可视化,验证,软件,方法论,调查,形式分析,概念化。junmo kim:写作–审阅与编辑,监督,项目管理,资金获取。
生成式ai和ai辅助技术在稿件准备过程中的使用声明
在准备本手稿期间,作者仅使用了一个大语言模型(llm)来改善文本的语言质量,如语法、拼写和英语表达。该llm未用于研究设计、实验程序、数据分析或科学内容的构思。在使用llm后,作者根据需要审查并编辑了内容,并对出版物的内容承担全部责任。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系,这些关系可能影响本报告中所述的工作。
致谢
本工作由韩国政府(msit)资助的信息与通信技术规划与评估研究所(iitp)拨款支持(rs-2024-00439020,开发可持续的、实时的多模态交互生成式ai,sw starlab)。
gyojin han | jiwan hur | junmo kim 去噪扩散隐式模型(ddims)[14] 方法 在本节中,我们分析了ddim反演(如各种最近的分数蒸馏方法[11]、[12]、[13]所采用的)如何对3d资产的生成产生负面影响,导致颜色退化、过饱和和结构扭曲等问题。然后,我们提出了一种新的分数蒸馏方法,通过逐步校准扩散采样轨迹以与原始渲染的潜在空间对齐,解决了高 实现细节 我们的方法是在ism [11]代码库之上实现的,并且我们遵循其设置,如相机参数和学习率等超参数。3d高斯初始化是使用point-e [27]进行的。cfg缩放系数固定为7.5,我们使用stable diffusion 2.1 base [23]作为所有实验的基础扩散模型。每个资产训练5000次迭代。辅助损失权重w设置为0.8。我们在最小时间步和最大时间步之间均匀采样时间步t, plc的内存消耗和计算效率 我们在表7中比较了与最先进的分数蒸馏方法相比的3d资产生成的内存消耗和运行时。运行时在rtx 4090和a6000上都进行了报告,由于vsd和sdi超过了4090的内存容量,它们在a6000上进行测量。每个条目是五个提示的平均值±标准差。此类框架中的主要显存瓶颈来自于3d表示本身,因为扩散模型仅用于推理而非训练。 文本到3d生成 近年来,得益于扩散模型和3d表示的进步,文本到3d生成获得了显著的发展动力。早期工作如dreamfields [40]和clip-mesh [41]利用基于clip的监督从文本提示优化隐式3d表示,但通常受到几何保真度有限和监督信号薄弱的困扰。dreamfusion [1]带来了重大突破,它提出了从预训练的2d文本到图像扩散模型中蒸馏梯度以 结论 在本工作中,我们研究了基于反演的分数蒸馏方法中重复的ddim反演如何导致生成的3d资产出现伪影。此外,我们提出了一种使用渐进式潜在校准的多步伪地面实况采样策略,该方法无需依赖ddim反演,即可缓解分数蒸馏采样中的高方差问题。在此基础上,我们定义了一个新的分数蒸馏目标,克服了现有方法的局限性。通过广泛的实验 credit作者贡献声明 gyojin han:写作–审阅与编辑,写作–原稿撰写,可视化,验证,软件,方法论,调查,形式分析,概念化。jiwan hur:写作–审阅与编辑,写作–原稿撰写,可视化,验证,软件,方法论,调查,形式分析,概念化。junmo kim:写作–审阅与编辑,监督,项目管理,资金获取。 生成式ai和ai辅助技术在稿件准备过程中的使用声明 在准备本手稿期间,作者仅使用了一个大语言模型(llm)来改善文本的语言质量,如语法、拼写和英语表达。该llm未用于研究设计、实验程序、数据分析或科学内容的构思。在使用llm后,作者根据需要审查并编辑了内容,并对出版物的内容承担全部责任。 利益冲突声明 作者声明他们没有已知的竞争性财务利益或个人关系,这些关系可能影响本报告中所述的工作。 致谢 本工作由韩国政府(msit)资助的信息与通信技术规划与评估研究所(iitp)拨款支持(rs-2024-00439020,开发可持续的、实时的多模态交互生成式ai,sw starlab)。 gyojin han | jiwan hur | junmo>
去噪扩散隐式模型(ddims)[14]
方法
在本节中,我们分析了ddim反演(如各种最近的分数蒸馏方法[11]、[12]、[13]所采用的)如何对3d资产的生成产生负面影响,导致颜色退化、过饱和和结构扭曲等问题。然后,我们提出了一种新的分数蒸馏方法,通过逐步校准扩散采样轨迹以与原始渲染的潜在空间对齐,解决了高
实现细节
我们的方法是在ism [11]代码库之上实现的,并且我们遵循其设置,如相机参数和学习率等超参数。3d高斯初始化是使用point-e [27]进行的。cfg缩放系数固定为7.5,我们使用stable diffusion 2.1 base [23]作为所有实验的基础扩散模型。每个资产训练5000次迭代。辅助损失权重w设置为0.8。我们在最小时间步和最大时间步之间均匀采样时间步t,
plc的内存消耗和计算效率
我们在表7中比较了与最先进的分数蒸馏方法相比的3d资产生成的内存消耗和运行时。运行时在rtx 4090和a6000上都进行了报告,由于vsd和sdi超过了4090的内存容量,它们在a6000上进行测量。每个条目是五个提示的平均值±标准差。此类框架中的主要显存瓶颈来自于3d表示本身,因为扩散模型仅用于推理而非训练。
文本到3d生成
近年来,得益于扩散模型和3d表示的进步,文本到3d生成获得了显著的发展动力。早期工作如dreamfields [40]和clip-mesh [41]利用基于clip的监督从文本提示优化隐式3d表示,但通常受到几何保真度有限和监督信号薄弱的困扰。dreamfusion [1]带来了重大突破,它提出了从预训练的2d文本到图像扩散模型中蒸馏梯度以
结论
在本工作中,我们研究了基于反演的分数蒸馏方法中重复的ddim反演如何导致生成的3d资产出现伪影。此外,我们提出了一种使用渐进式潜在校准的多步伪地面实况采样策略,该方法无需依赖ddim反演,即可缓解分数蒸馏采样中的高方差问题。在此基础上,我们定义了一个新的分数蒸馏目标,克服了现有方法的局限性。通过广泛的实验
credit作者贡献声明
gyojin han:写作–审阅与编辑,写作–原稿撰写,可视化,验证,软件,方法论,调查,形式分析,概念化。jiwan hur:写作–审阅与编辑,写作–原稿撰写,可视化,验证,软件,方法论,调查,形式分析,概念化。junmo kim:写作–审阅与编辑,监督,项目管理,资金获取。
生成式ai和ai辅助技术在稿件准备过程中的使用声明
在准备本手稿期间,作者仅使用了一个大语言模型(llm)来改善文本的语言质量,如语法、拼写和英语表达。该llm未用于研究设计、实验程序、数据分析或科学内容的构思。在使用llm后,作者根据需要审查并编辑了内容,并对出版物的内容承担全部责任。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系,这些关系可能影响本报告中所述的工作。
致谢
本工作由韩国政府(msit)资助的信息与通信技术规划与评估研究所(iitp)拨款支持(rs-2024-00439020,开发可持续的、实时的多模态交互生成式ai,sw starlab)。
gyojin han | jiwan hur | junmo kim>
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号