漂移感知的去噪均匀步长优化用于快速扩散采样

《Pattern Recognition》:Drift-aware denoising-uniform step optimization for fast diffusion sampling

【字体: 大 中 小 】 时间:2026年10月01日 来源:Pattern Recognition 9.1

编辑推荐:

   •考虑漂移的调度改进了少步扩散采样。•去噪均匀(Denoising-Uniform)给出了一个难度平衡的初始网格。•该方法提升了生成质量与逆问题的求解质量。引言扩散模型已成为视觉及相关结构化数据任务中强大的生成框架 [1]、[2]。它们通过普通微分方程或随机微分方程(ODE/

  
  • •
    考虑漂移的调度改进了少步扩散采样。
  • •
    去噪均匀(Denoising-Uniform)给出了一个难度平衡的初始网格。
  • •
    该方法提升了生成质量与逆问题的求解质量。

引言

扩散模型已成为视觉及相关结构化数据任务中强大的生成框架 [1]、[2]。它们通过普通微分方程或随机微分方程(ODE/SDE)反转一个预定义的破坏过程来生成样本,但高保真推理仍然需要大量的神经函数评估(NFE)。高效的扩散推理也与复原及逆问题管线相关,近期的图像复原研究探讨了针对复杂退化建模的空间与频域优化以及提示引导的解码 [3]、[4]、[5]。
为了加速采样,现有方法分为三类:蒸馏、训练时调度与无训练加速。前两类是基于训练的,因此以多样性或容量换取速度,通常需要大量计算,例如 Tract [6]、一致性模型(Consistency Models)[1] 以及 ADD [7]。无训练路线利用了如下观察:DDPM [8] 的采样允许一个边缘等价的概率流 ODE,从而产生具有相同边缘分布的确定性轨迹 [9]。由于 ODE 采样器通常比随机采样器产生更小的离散误差,它们在少步情形下尤为有利。受此启发,许多研究开发了高阶 ODE 采样器,包括 PNDM [10]、EDM [11]、DEIS [12]、gDDIM [13]、DPM-Solver [14] 以及 UniPC [15]。
除了求解器本身,选择合适的时间步离散化对于降低数值误差同样至关重要。DPM-Solver 用 λ 域中的均匀间距取代了 DDPM 在时间 t 上的均匀离散化,而 EDM 则采用基于截断误差分析的定制化噪声水平调度。基于优化的步调度进一步推进了这一路线:在 SDE 设定下,Sabour 等人 [16] 提出了 Align Your Steps;在 ODE 采样中,Xue 等人 [17] 通过信赖域更新优化时间步以获得非均匀步长。
然而,大多数现有的基于 ODE 的时间步目标主要依赖于从训练时或教师轨迹代理估计出的预测误差,并且仅间接地考虑了采样过程中的暴露偏差 [18]、[19]。由于预测被递归地重复使用,在中间反向步骤引入的局部残差会累积并沿着反向轨迹传播,最终损害终端样本的质量。针对这一空白,我们提出了一种路径敏感、考虑漂移的代理目标,该目标在训练误差画像的基础上补充了一个经验性的反向时间敏感性画像。
第二个实际瓶颈是初始化敏感性:即使目标函数更强,在启发式初始调度下,调度优化也可能收敛缓慢或陷入次优的局部最小值。现有的基于优化的调度方法,如优化时间步(OTS)[17],可以经验性地比较不同的初始时间网格,然后对所选网格进行优化;而基于搜索的方法,如几何启发的时间调度(GITS)[20] 和 AutoDiffusion [21],通过反复评估来探索步调度。相比之下,我们的去噪均匀(Denoising-Uniform)机制并非作为一种独立的全局最优调度器提出;它是一条有原则的初始化规则,将考虑漂移的去噪难度画像转化为一个等分布的起始网格,用于后续对同一代理目标进行受约束优化。在无条件与条件生成以及逆问题上的大量实验表明,这种两阶段设计在相同的 NFE 预算下始终能提升质量。总体而言,我们的主要贡献总结如下:
  • •
    我们提出了一种用于时间步优化的考虑漂移的代理目标,其灵感来源于一个非齐次残差放大界。在实现上,路径画像通过一个可复用的经验性局部敏感性代理来估计,而不是通过一个经过证明的利普希茨上界。
  • •
    在此基础上,我们提出了去噪均匀步初始化,并在累积去噪难度坐标中推导出了一条等分布规则。这为显式 ODE 求解器提供了理论引导的起始网格,随后通过对同一考虑漂移的目标进行受约束优化加以细化。
  • •
    我们进行了全面实验以验证其有效性与鲁棒性。所提方法在标准生成基准上取得了强劲表现,并在预训练模型、求解器与 NFE 设置匹配的情况下,始终改进了逆问题的表现。

各节片段

扩散模型。

最早的扩散概率模型由 Sohl-Dickstein 等人开创 [22]。随后的基于分数的生成建模以及 DDPM 变体 [23]、[24] 显著改进了训练与采样。Song 等人 [25] 在 SDE 框架下统一了基于分数的模型与 DDPM,澄清了前向-反向动力学以及概率流 ODE 视角。Karras 等人 [11] 进一步拆解了设计选择并提出 EDM,将生成质量推向更高层级。

采样加速。

有相当大一部分

预备知识

本节对扩散模型及常用的时间步离散化方案作一介绍性讨论。

调度优化的积分视角

我们首先回顾时间步优化的基于积分的公式化表述,它提供了将由我们的考虑漂移分析加以细化的参考目标。以二阶 DPM-Solver++ 作为参考求解器配置,反向更新在式 (5) 中允许一个 λ 域上的积分形式。
由于被积函数涉及一个非线性网络,它由局部拉格朗日插值来近似。设 λn=λ(tn) 表示节点 tn 处的对数信噪比,并设 kn 为在区段 [tn 上

去噪均匀步初始化

基于第 4 节建立的考虑漂移的目标,本节转向步优化问题的初始化。由于式 (20) 中的目标是在有序的结点上进行优化的,其收敛可能受到初始调度的强烈影响。因此我们引入一种有原则的去噪均匀初始化机制,它将初始网格相对于采样轨迹的累积去噪难度进行均匀布置。
DPM-Solver 两者

实验

在本节中,所提出的时间步优化在 DPM-Solver++、UniPC 和 DEIS 上进行评估:在二阶 DPM-Solver++ 参考配置下优化调度,并将其转移到被测求解器上而不修改其原始公式。评估了不同的 NFE 预算,以 FID 作为主要指标,并在适当情况下使用任务特定指标。除另有说明外,所有采样器均使用二阶更新。为公平比较,

结论

在本工作中,我们提出了一种有原则的时间步优化框架,用于加速预训练扩散模型的采样。通过分析反向扩散轨迹上考虑漂移的误差累积,我们将步长设计公式化为一个无训练的优化问题。为了获得稳定的起点,我们进一步引入了去噪均匀初始化。所得到的调度与求解器兼容,可以在不修改原始采样器公式的情况下应用。

CRediT 作者贡献声明

Yuhang He(何宇航): 撰写—初稿,可视化,验证,软件,方法论,调查,形式化分析,数据整理,概念构思。Wenbin Lu(卢文斌): 验证,方法论,调查。Junnan Xu(徐俊南): 资源。Jiawei Jiang(蒋嘉伟): 撰写—审阅与编辑,项目管理。Jianwei Zheng(郑建伟): 撰写—审阅与编辑,资源,资金获取。

利益冲突声明

作者声明他们不存在已知的、可能对本文所报告工作产生影响的竞争性财务利益或个人关系。

致谢

本工作部分由 国家自然科学基金 资助,项目编号 62276232 与 62406285,并得到 浙江省自然科学基金重点项目 资助,项目编号 LZ24F030012。
Yuhang He(何宇航)|Wenbin Lu(卢文斌)|Junnan Xu(徐俊南)|Jiawei Jiang(蒋嘉伟)|Jianwei Zheng(郑建伟)
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号