《Pattern Recognition》:Boosting the understanding ability of diffusion model with masked image modeling
编辑推荐:
•揭示了语义信息对提高扩散模型理解能力的重要性。•开发了一种新的EDDM模型以及有效的训练框架。•在保持强生成能力的同时,使用更少的参数实现了最先进的分类性能。引言扩散模型是强大的生成模型。这些模型可以通过逐步去噪生成高保真度的图像[1]、[2]。它们在生成方面的强大能力使得多种
- •
揭示了语义信息对提高扩散模型理解能力的重要性。
- •
开发了一种新的EDDM模型以及有效的训练框架。
- •
在保持强生成能力的同时,使用更少的参数实现了最先进的分类性能。
引言
扩散模型是强大的生成模型。这些模型可以通过逐步去噪生成高保真度的图像[1]、[2]。它们在生成方面的强大能力使得多种生成任务成为可能。像SDXL[3]这样的模型可以根据文本提示生成逼真的图像。ControlNet[4]可以控制和自定义生成的图像。Open-Sora[5]将扩散模型扩展到了3D,并能生成真实的视频。
尽管扩散模型在生成任务上取得了显著突破和进展,但在更广泛的应用场景中仍面临限制[6]。由于扩散模型仅通过训练过程中的噪声注入和去噪来学习目标分布,因此它们对图像的理解仍然明显不足。这一缺陷限制了扩散模型应用于更复杂的任务,例如图像编辑、机器人视觉和世界建模。例如,在机器人或具身感知系统中,模型可能需要生成合理的未来视觉观察结果以进行规划,同时还需要识别物体和解释当前场景。一个具有改进理解能力的统一扩散模型可以在这些功能之间共享表征。
最近,一些统一的多模态大型语言模型能够同时完成生成和理解任务[7]、[8]。然而,这些模型始终依赖于复杂的训练过程,需要一个大型预训练模型和大量的训练数据。此外,这些模型通常为生成和理解使用不同的分词器,使它们看起来更像是两个独立的模型结合在一起。在本文中,我们提高了轻量级扩散模型的理解能力,并在一个模型内同时实现了生成和理解(见图1)。
本文的主要思想是将语义表示学习引入扩散模型,以帮助其获得更好的理解能力。本文利用了一个独立的变换器块来学习提取语义特征,并采用了一个辅助训练任务来指导这一学习过程。与直接增加一个用于理解的分支不同,我们的设计强调共享语义提取部分,这对生成和理解都很重要。
为了帮助扩散模型本身提取语义特征,我们提出了编码器-解码器扩散模型(EDDM)。它利用一个独立的变换器架构块从变分自编码器的潜表示中提取语义特征。通过使用跳跃连接设计,扩散模型在生成过程中可以同时利用低级和高级的语义特征。在本文中,这个独立特征提取器被称为特征编码器。去噪模型的部分被称为噪声解码器,它比之前的扩散模型更小,起到解码器的作用。
为了指导特征编码器学习语义特征,我们提出了一种新的训练框架,该框架在去噪任务之外还使用了掩码图像建模(MIM)作为辅助训练任务。由于恢复被掩码的图像需要对给定图像块有全局理解,这个任务可以帮助模型更多地关注全局上下文而不是局部像素噪声。为了执行MIM任务,本文提出了另一个与噪声解码器平行的掩码解码器来恢复被掩码的图像块。
为了评估所提出的EDDM模型和训练框架的有效性,我们在三个不同的任务上对其进行了验证。实验表明,我们的模型在理解任务上可以取得有竞争力的结果,同时保持了扩散模型的生成能力。具体来说,我们的模型在CIFAR-100数据集上的准确率可以与ViT相当,但仅使用了五分之一的参数。此外,它在参数数量仅为ViT一半的情况下,可以达到专家理解模型ViT的99%的性能水平。
我们的工作的主要贡献可以总结如下:
- •
本文通过添加语义信息,扩展了当前扩散模型的理解能力。我们的模型在理解任务上取得了有竞争力的性能,同时保留了扩散模型的生成能力。
- •
为了提取语义信息,本文提出了EDDM模型,该模型结合了特征编码器、噪声解码器和掩码解码器。编码器负责特征提取;噪声解码器用于生成,而掩码解码器用于理解监督。
- •
为了有效指导语义特征的学习,在去噪训练过程中使用了掩码图像建模作为辅助任务。
部分片段
相关工作
在本节中,我们简要介绍了生成和理解模型。具体来说,我们详细介绍了扩散网络,这是一种我们的模型所基于的生成模型。此外,我们还介绍了一些帮助模型学习语义特征的掩码图像建模(MIM)方法。
初步
本节快速概述了扩散模型的训练过程和掩码图像建模(MIM)过程。我们的训练方法与这些过程密切相关。
概述
本文主要关注提高扩散模型的理解能力。为此,我们设计了EDDM模型架构并开发了相应的训练方法。我们在4.2节详细介绍了主要架构设计,并在4.3节介绍了新的训练过程。最后,我们描述了生成和理解任务的评估协议。
EDDM架构设计
如图2所示,所提出的EDDM模型由特征编码器和两个解码器组成。
实验
在本节中,我们首先简要描述了实验设置,包括一些实现细节和评估指标。然后我们分析了三项不同任务的结果,包括分类条件图像生成、文本到图像生成和图像分类。接下来,我们对模型进行了一些消融研究,以进一步证明每种设计在生成和理解任务中的有效性。
结论
在本文中,我们通过一种新的编码器-解码器架构和新的训练目标提高了扩散模型的理解能力。我们提出了EDDM模型,该模型包含特征编码器和两个解码器。编码器负责提取语义特征。我们提出了一种新的训练框架来指导这一学习过程,该框架结合了掩码图像建模和噪声预测。我们的预训练框架使模型能够学习有效的语义特征。
局限性
本文在扩散模型的训练过程中引入了语义特征学习,以开发出一个既能生成又能理解的模型。然而,由于训练资源的限制,该模型尚未扩展到大约10亿个参数。使用更大的模型、额外的数据集和多样化的应用场景进行进一步验证是未来研究的有希望的方向。此外,当前的理解评估仅限于图像
CRediT作者贡献声明
Jianning Pei:写作——审核与编辑,撰写——原始草稿,可视化,验证,方法论,调查。Yingchao Feng:写作——审核与编辑,监督。Hanbo Bi:监督。Wenhui Diao:监督。Zhi Guo:监督。Xian Sun:监督。
资助
本工作部分得到了中国国家自然科学基金(NSFC)(项目编号:62301538)的支持,以及科学与颠覆性技术计划(项目编号:2025-AIRCAS-SDTP-04)的支持。
利益冲突声明
作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。
Jianning Pei|Yingchao Feng|Hanbo Bi|Wenhui Diao|Zhi Guo|Xian Sun