ObjectAdd:无需训练的扩散修改技术,用于将物体添加到图像中并形成时尚效果
《Pattern Recognition》:ObjectAdd: Adding Objects into Image via a Training-Free Diffusion Modification Fashion
【字体:
大
中
小
】
时间:2025年12月09日
来源:Pattern Recognition 9.1
编辑推荐:
张子月|林明宝|宋全健|张宇欣|季荣荣
中国教育部多媒体可信感知与高效计算重点实验室,厦门大学信息学院,中国厦门
摘要
我们提出了ObjectAdd,这是一种无需训练的扩散修改方法,可用于将用户指定的对象添加到指定区域。开发ObjectAdd的动机在于:首先,用一个
张子月|林明宝|宋全健|张宇欣|季荣荣
中国教育部多媒体可信感知与高效计算重点实验室,厦门大学信息学院,中国厦门
摘要
我们提出了ObjectAdd,这是一种无需训练的扩散修改方法,可用于将用户指定的对象添加到指定区域。开发ObjectAdd的动机在于:首先,用一个提示词描述所有内容可能较为困难;其次,用户经常需要向生成的图像中添加对象。为更好地满足实际应用需求,我们的ObjectAdd通过以下技术创新在添加对象后仍能保持图像的高一致性:(1)嵌入级串联,确保文本嵌入的正确融合;(2)基于对象的布局控制,通过潜变量和注意力注入,使对象出现在用户指定的区域;(3)通过注意力重聚焦和对象扩展实现提示驱动的图像修复,确保图像其他部分保持不变。使用文本提示的图像时,ObjectAdd允许用户指定边界框和对象,从而实现:(1)将对象添加到框内区域;(2)保留框外区域的内容不变;(3)使两个区域无缝融合。该项目地址为https://github.com/potato-kitty/ObjectAdd。
引言
近年来,变换器架构取得了显著进展[1]。它最初被应用于CLIP[2]等生成模型中,提升了自然语言嵌入方法的效果,随后又扩展到检测[3]、时间卷积[4]、图神经网络[5][6]等诸多领域。此外,扩散模型[7]的发展也带来了更准确、更多样的图像生成能力。这些进步共同推动了文本到图像生成技术的普及。通常,文本到图像模型以描述性句子作为输入,生成相应的图像。DALL-E 3[8]和Stable Diffusion[9]等模型因其出色的性能而备受关注。在这些发展的基础上,许多软件平台应运而生,使得非专业人士也能轻松地通过文本生成图像,对艺术行业产生了深远影响。例如Midjourney,用户可以在此创建并分享人工智能生成的图像[10];另一例子是ChatGPT,其最新版本允许用户请求图像生成[11]。就连Photoshop这类传统软件工具也通过融入人工智能技术提升了功能,能够完成以前难以想象的任务,比如调整照片中物体的方向[12]。这些应用为未来通用人工智能的发展奠定了基础,因为它们仅需通过自然语言指令即可操作。借助这些工具,即使是没有受过专业培训的人也能创作自己的艺术作品,极大地提高了艺术行业的效率。然而,大多数文本到图像模型仅依赖文本提示作为输入,这使得用户难以表达物体之间的空间关系。以最著名的大型模型ChatGPT为例,它要求用户通过对话描述所有需求,这对非专业人士来说并非易事。为解决这一问题,已经有一些方法被提出,其中ControlNet[13]可能是最著名的模型之一。ControlNet允许用户加入Canny边缘或人体姿态作为额外输入,从而控制生成图像中人物或动物的姿态。通过ControlNet,用户可以更直观地控制生成结果,但仍然需要用户在看到任何生成内容之前就确定整个布局。因此,我们发现了两个实际问题:首先,用单个提示词描述所有内容可能很困难;其次,用户往往需要多次修改生成的图像才能得到理想的结果。遗憾的是,目前的模型仍存在这些难题。例如,如图1所示,在我们使用基于DALL-E 5进行图像生成的ChatGPT-4o进行的测试中,虽然初始图像质量很高,但在修改后往往会失去一致性,比如人物的姿势和服装细节就会丢失。在本文中,我们提出了ObjectAdd,这是一种无需训练的方法,允许用户将对象添加到图像的选定区域,同时几乎保持其余内容不变。给定图像提示和对象描述词后,我们首先分析文本编码器中自注意力机制的负面影响——简单的文本串联会导致嵌入混淆。因此,ObjectAdd的第一项创新在于将嵌入输出串联起来,整合两种文本的信息,同时防止它们相互干扰。接着,我们采用第二项创新,即基于对象的布局控制,以便在用户绘制的区域内捕获对象。在编辑图像的扩散过程中,ObjectAdd会考虑潜变量和注意力层面的信息。对于潜变量信息注入,我们会单独进行面向对象的扩散处理,首先采用无需训练的反向引导[14]来增强用户绘制框内添加对象的跨注意力分数,然后将扩散潜空间中的相应区域转移到编辑图像中。至于注意力信息注入,我们会增强编辑图像中用户绘制区域内的跨注意力图。通过在早期扩散步骤中采取这些措施,我们就能在编辑图像中添加高质量的对象。ObjectAdd的最终创新在于提示驱动的图像修复,以确保图像其余部分与原始图像保持一致。这是通过注意力重聚焦和对象扩展,将掩码注意力从用户绘制的框区域转移到生成的物体上来实现的。我们在中间扩散步骤观察到添加物体的注意力图具有很高的响应度。因此,我们对与物体相关的注意力图进行聚类,选取与用户绘制区域重叠最多的以物体为中心的子区域。确定了物体的大致位置后,我们会找到位于以物体为中心的区域、但至少有一个邻居位于物体区域外的种子像素。如果这些外部邻居距离对应的种子像素较近,我们就会将其恢复。在单个中间扩散步骤中应用注意力重聚焦和对象扩展,就能很好地处理框外的内容。图2展示了我们方法的整体结构。图中的三个扩散模型模块对应着我们方法的三个分支。这项工作中的关键创新——包括嵌入融合、注意力注入、布局控制的潜变量注入以及提示驱动的图像修复——也在图中呈现。为方便用户使用,我们还提供了该方法的一个扩展版本,允许使用真实图像作为输入。为此,我们首先将输入的真实图像重新塑形,使其适应用户选定的区域,然后应用一种新提出的反演方法[15],之后再使用ObjectAdd方法。除了非真实图像输入时的其他修改方式保持不变外,我们会用重新塑形后的真实图像的分割结果替换用户选定区域的掩码。实验表明,这种方法能提升性能。
片段内容
无需训练的控制
由于大型文本到图像模型是通过大规模数据集训练的,人们普遍认为它们已包含足够的信息来完成大多数任务。鉴于重新训练大型模型难度较大,且可能导致灾难性遗忘[16],许多研究人员致力于研究无需训练的方法来控制模型输出。这些方法主要分为两类:正向引导和反向引导。在我们的工作中,我们结合了这两种方法。
初步说明
给定用户指定的提示词P,Stable Diffusion模型F会从高斯噪声IT∈RH×W×C开始,经过T次去噪步骤,最终根据P生成定制化的图像I0∈RH×W×C,即I0=F(IT;P),其中IT~N(0,I)。这里,H、W和C分别表示图像的高度、宽度和通道数。在Stable Diffusion模型F中,有一些中间表示是我们方法的重点:(1)文本嵌入EP∈RN×D,通常来自CLIP模型。
实施细节
我们在一台NVIDIA GeForce RTX 3090 GPU上进行了实验。在基于对象的布局控制中,当扩散步骤t=T→0时,我们在最初的20%时间步中注入潜变量信息,而在前30%时间步中注入注意力信息。在t=15时,我们利用注意力重聚焦和对象扩展策略来恢复提示图像,该步骤的时间范围为0.3·T
结论
在本研究中,我们提出了一种开创性的无需训练的方法,能够在保留图像其余部分几乎不变的情况下,将对象插入到扩散图像的用户定义区域中。作为该领域的开创性工作,我们提出的objectadd技术通过嵌入级串联确保文本嵌入的精确融合,通过潜变量和注意力注入实现基于对象的布局控制,从而使对象准确地放置在指定区域。
credit作者贡献声明
张子月:写作——审阅与编辑,写作——初稿撰写,可视化,方法论,数据整理。林明宝:写作——审阅与编辑,监督,项目管理。宋全健:数据整理。张宇欣:写作——审阅与编辑。季荣荣:监督,项目管理。
利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。
致谢
本研究得到了国家杰出青年科学基金(编号62025603)、国家自然科学基金(编号u21b2037、u22b2051、u23a20383、62176222、62176223、62176226、62072386、62072387、62072389、62002305和62272401)以及福建省自然科学基金(编号2021j06003、2022j06001)的支持。 结论 在本研究中,我们提出了一种开创性的无需训练的方法,能够在保留图像其余部分几乎不变的情况下,将对象插入到扩散图像的用户定义区域中。作为该领域的开创性工作,我们提出的objectadd技术通过嵌入级串联确保文本嵌入的精确融合,通过潜变量和注意力注入实现基于对象的布局控制,从而使对象准确地放置在指定区域。 credit作者贡献声明 张子月:写作——审阅与编辑,写作——初稿撰写,可视化,方法论,数据整理。林明宝:写作——审阅与编辑,监督,项目管理。宋全健:数据整理。张宇欣:写作——审阅与编辑。季荣荣:监督,项目管理。 利益冲突声明 作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。 致谢>
结论
在本研究中,我们提出了一种开创性的无需训练的方法,能够在保留图像其余部分几乎不变的情况下,将对象插入到扩散图像的用户定义区域中。作为该领域的开创性工作,我们提出的objectadd技术通过嵌入级串联确保文本嵌入的精确融合,通过潜变量和注意力注入实现基于对象的布局控制,从而使对象准确地放置在指定区域。
credit作者贡献声明
张子月:写作——审阅与编辑,写作——初稿撰写,可视化,方法论,数据整理。林明宝:写作——审阅与编辑,监督,项目管理。宋全健:数据整理。张宇欣:写作——审阅与编辑。季荣荣:监督,项目管理。
利益冲突声明
作者声明没有已知的财务利益或个人关系可能影响本文所述的工作。
致谢
本研究得到了国家杰出青年科学基金(编号62025603)、国家自然科学基金(编号u21b2037、u22b2051、u23a20383、62176222、62176223、62176226、62072386、62072387、62072389、62002305和62272401)以及福建省自然科学基金(编号2021j06003、2022j06001)的支持。>
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号