InDP:面向个性化的不可描述概念解耦
《Computer Vision and Image Understanding》:InDP: Indescribable concept disentanglement for personalization
【字体:
大
中
小
】
时间:2026年09月29日
来源:Computer Vision and Image Understanding 3.6
编辑推荐:
• InDP 实现了对无法用语言描述的概念的图像个性化,且无需类别名称。
• 边界框引导概念标记的初始化及解耦式标记学习。
• 一个新的多概念难以描述数据集,从定量和定性两方面验证了 InDP。
## 引言
个性化图像生成(Gal 等,2023;Ruiz 等,2023
• InDP 实现了对无法用语言描述的概念的图像个性化,且无需类别名称。• 边界框引导概念标记的初始化及解耦式标记学习。• 一个新的多概念难以描述数据集,从定量和定性两方面验证了 InDP。## 引言个性化图像生成(Gal 等,2023;Ruiz 等,2023;Chen 等,2024)旨在根据给定概念生成各种定制图像,如场景转换、风格变换和动作修改。最近,基于文本到图像(T2I)扩散模型的个性化图像生成方法展现出强大的能力,能够从文本描述和相应概念生成高质量、多样化的图像。现有的个性化图像生成方法通常使用可学习标记(例如 $V^*$)从一张或多张给定图像中学习特定概念,并利用这些可学习标记作为条件进行个性化图像生成。为了学习特定概念,这些方法(Zhang 等,2024;Kumari 等,2023;Shi 等,2024;Gal 等,2023;Mou 等,2025)通常依赖用户提供的类别名称进行显式引导,或用类别名称隐式初始化可学习标记。然而,现实世界中许多图像概念无法被语言准确描述。特别是当图像包含多个难以描述的概念时,提取和分离这些概念变得更为困难。因此,本文研究的核心挑战不仅仅是无类别名称的个性化,而是多个难以描述概念的区域级概念解耦。在此设定下,模型需要保留每个难以描述概念的身份特征,防止多个概念同时出现于图像时发生概念混合。如图 1 所示,存在两个难以描述的概念。针对这两个概念,我们首先使用 MLLM(多模态大语言模型)或人类先验知识,为依赖类别名称的方法获取精确(例如左侧概念标注为"mythical",右侧概念标注为"dog")和通用(例如左侧标注为"sculpture",右侧标注为"creature")的类别名称。我们分别采用基于 Stable Diffusion(Rombach 等,2022)的 DisenDiff(Zhang 等,2024)和基于 DiT(Peebles 与 Xie,2023)的 DreamO(Mou 等,2025)进行个性化生成。我们发现了两种局限性:(i)**对于精确类别名称**,当提供的类别名称表示语言上难以描述的概念(特别是涉及罕见词汇时),这些方法往往难以捕捉对应的视觉特征。例如,在第一行第一列中,DisenDiff 无法渲染标注为"mythical"的左侧概念。此外,不准确的类别标签会误导模型过度强调典型特征,从而降低对用户指定概念的还原度。当右侧概念被标注为"dog"时,这些模型生成了活的狗,而非参考图像中的目标概念(如第一行所示),而我们的方法避免了这一错误。(ii)**对于通用类别名称**,这些方法无法区分语义相似的类别,或在多概念生成中混合不同概念。在第二行第一列中,使用"sculpture"作为引导词,结果显示左侧概念被生成了右侧概念的眼睛,且右侧概念的姿态与左侧概念相似。同样,在第二行第二列中,描绘了一个混合概念,将右侧概念的姿态与左侧概念的外观结合在了一起。鉴于通过语言准确描述图像概念的困难,我们从基于边界框的图像编辑方法(P. Li 等,2024;Xie 等,2023)中获得灵感,探索了一种用户指定边界框的设定,用以在图像中表示这些难以处理的概念。与提供准确的类别名称相比,给出这些概念的边界框要容易得多。然而,边界框仅提供粗略的区域提示,无法直接解决多概念个性化中的概念混合问题。简单地裁剪每个区域并独立训练各概念,虽然有助于捕捉单个概念的外观,但会丢弃图像中不同概念之间的相对空间关系。因此,需要一种边界框引导的解耦机制来保留区域级对应关系并减少概念混合。此外,与一般的参考引导个性化(Ye 等,2023)不同,我们设定中的边界框不仅用于指示概念的位置,还作为训练过程中解耦不同概念的空间锚点。这一设计使我们在不依赖类别名称的同时,能够显式减少多概念个性化中的概念混合。为实现这一目标,我们提出了 InDP,一种新颖的个性化方法,促进对难以描述概念的个性化。InDP 包含三个主要组件:跨模态文本标记初始化、边界框引导的多概念解耦以及单概念辅助学习。在跨模态文本标记初始化中,我们基于对应概念的 CLIP 图像嵌入初始化可学习标记,从而避免显式使用类别名称。在边界框引导的多概念解耦中,我们首先从用户提供的边界框中推导出精确的概念掩码。这些掩码随后通过最大化每个概念的交叉注意力图与其对应掩码之间的一致性来监督标记学习。此外,我们引入单概念辅助学习,以更好地引导不同概念的标记学习。我们还收集了一个难以描述的多概念数据集,以验证方法的有效性,其中包含多样化的难以描述概念。如图 1 所示,与 DisenDiff(Zhang 等,2024)和 DreamO(Mou 等,2025)相比,我们的方法能够生成更好的难以描述概念图像。我们的贡献和优势总结如下:• 我们引入了 InDP,一个针对难以描述概念进行图像个性化的新颖框架。我们使用用户指定的边界框来表示难以描述的概念,从而避免提供准确的类别名称。• 我们提出基于给定边界框初始化概念标记并实现标记解耦学习。通过使用边界框作为区域锚点,我们的方法将不同概念标记与其对应区域显式对齐,并减少多概念生成中的概念混合。进一步地,我们引入单概念辅助学习以更好地进行标记学习。• 我们构建了一个难以描述的多概念数据集。实验在现有数据集和该新数据集上进行,表明我们的方法在定量和定性评估中均取得了卓越的性能。我们首先在第 2 节介绍相关工作。随后,我们分别在第 3 节和第 4 节详细阐述我们的方法和数据集。接着,我们在第 5 节进行实验。最后,我们在第 6 节总结我们的方法并讨论未来工作。## 章节摘要### 文本到图像生成文本到图像生成(Mansimov 等,2016;Wu 等,2025b)旨在实现基于文本描述的可控图像合成。早期工作主要采用生成对抗网络(GANs)(Goodfellow 等,2020;Ahmed 与 Mittal,2025;Yang 等,2024),通过生成器与判别器之间的动态对抗模型(Zhang 等,2017;Xu 等,2018;N. Huang 等,2024;Pan 等,2023)实现高保真图像生成。然而,这些方法……### 我们的方法在本节中,我们首先简要介绍 Stable Diffusion 和注意力的基础知识,然后详细说明我们的方法和各模块。### 难以描述概念数据集 InCD据我们所知,目前缺乏专门针对难以描述概念个性化任务设计的数据集。为了完成这一新任务,我们构建了一个新的难以描述概念数据集,命名为 InCD。最初,我们使用搜索引擎和社交平台,通过"rare creatures"(稀有生物)和"abstract sculptures"(抽象雕塑)等关键词检索了约 1000 张图片。然后,我们从中选择了 34 张包含多个难以描述概念的图像和 106 张单个概念图像。鉴于难以描述概念……### 实验设置**实现细节。** 对于给定个性化任务的图像,我们对预训练的 Stable Diffusion 进行 700 步微调,批量大小为 2。基础学习率保持一致,设为 $8 \times 10^{-5}$。我们将掩码引导调整系数 $\lambda$ 设为 0.01。在训练过程中,我们更新可学习标记、投影器中的 MLP 层,以及交叉注意力操作中的键和值的线性层。投影器是一个轻量级的任务特定 MLP,用于将标记进行初始化映射……### 结论我们提出了 InDP,一种多概念个性化方法,专为文本形式难以准确描述概念的场景设计。我们不再使用类别名称,而是采用用户指定的边界框,对难以描述的概念进行图像个性化。我们使用从边界框区域提取的图像特征来初始化可学习标记,从而将对应概念外观和属性的视觉先验知识融入其中。我们还利用生成的……### CRediT 作者贡献声明**陈昱哲**:撰写初稿。**曹佳乐**:审阅与编辑。**谢金**:数据整理。**杨艾萍**:概念设计。**庞彦伟**:概念设计。### 利益冲突声明作者声明不存在任何可能影响本论文所报告工作的已知的竞争经济利益或个人关系。陈昱哲 | 曹佳乐 | 谢金 | 杨艾萍 | 庞彦伟
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号