用于防止扩散模型中未授权图像生成的版权感知对抗性扰动

《Computer Vision and Image Understanding》:Copyright-aware adversarial perturbation for preventing unauthorized image generation in diffusion models

【字体: 大 中 小 】 时间:2026年09月29日 来源:Computer Vision and Image Understanding 3.6

编辑推荐:

   •SDPA通过干扰基于扩散的特征提取和风格模仿来保护图像版权。•结合扩散生成和SDEdit去噪,生成不可感知的对抗样本。•隐空间融合扰动优化保留了自然图像分布。•实验表明其对未授权风格迁移和模仿具有强效防御能力。引言近年来,扩散模型已成为计算机视觉领域最热门的话题之一(Cro

  
  • •
    SDPA通过干扰基于扩散的特征提取和风格模仿来保护图像版权。
  • •
    结合扩散生成和SDEdit去噪,生成不可感知的对抗样本。
  • •
    隐空间融合扰动优化保留了自然图像分布。
  • •
    实验表明其对未授权风格迁移和模仿具有强效防御能力。

引言

近年来,扩散模型已成为计算机视觉领域最热门的话题之一(Croitoru et al., 2023, Ho et al., 2020),展现出令人印象深刻的生成能力,涵盖从高细节度到生成图像的多样性等多个方面(Yang et al., 2023)。其中,潜扩散模型(LDM)(Rombach et al., 2022)在图像合成方面取得了最先进的性能。LDM的一项重要突破在于其少样本生成能力,通过对预训练模型在少量图像上进行微调即可捕获特定风格或对象(Gal et al., 2022, Ruiz et al., 2023)。这引发了版权和伦理方面的担忧,因为该技术可能被用于通过复制或模仿未授权图像获利(Fan et al., 2025, Wang et al., 2024)。特别是Dreambooth(Ruiz et al., 2023)和Lora(Hu et al., 2021)等少样本生成技术的出现,显著降低了模仿和风格迁移的成本,同时保持了高质量标准,这不仅加剧了对艺术品和个人照片版权保护的担忧(Deck, 2022, Vincent, 2022),也引发了对潜在滥用的关注,即生成虚假新闻图片以助长虚假信息传播(Vaccari and Chadwick, 2020)。
为应对上述问题,已提出针对扩散模型的对抗攻击概念 Heusel et al., 2017, Ho et al., 2020, Hu et al., 2021。AdvDM(Liang et al., 2023)、Glaze(Shan et al., 2023)和Anti-Dreambooth(Van Le et al., 2023)通过对抗攻击保护图像,这些攻击通过在图像中添加新颖扰动来生成对抗样本。基于这些对抗样本微调的未授权扩散模型会生成具有混乱图案的图像,从而使图像不可用,进而防止模仿(Zheng et al., 2024)。图1展示了对抗样本的防御功能。对抗攻击的核心在于为基线扩散模型生成对抗样本,这也影响基于该模型微调的下游任务性能。
尽管将扩散模型与对抗攻击结合在图像保护方面显示出巨大潜力,但如何在对抗扰动的不可感知性和有效性之间取得平衡仍是一个关键挑战,即确保对抗样本既能防止未授权模型模仿图像,又能保持高视觉质量。目前大多数研究主要集中于利用扩散模型增强分类器的鲁棒性(Chen et al., 2024b, Xiao et al., 2022, Chen et al., 2024a, Chen et al., 2025, Nie et al., 2022),而针对生成扩散模型对抗样本的研究仍然有限。此外,大多数基线模型未能有效保留输出图像的自然性,导致对抗样本显著偏离图像的自然分布(Liang et al., 2023)。这降低了生成图像的视觉质量,削弱了对抗样本在实际应用中的有效性。
本文提出了一种名为SDEdit池化对抗攻击(SDPA)的新型方法,旨在为扩散模型生成对抗样本。SDPA通过在输入图像中添加精心设计的扰动,使模型偏离原始生成过程,从而让模型在处理过程中误解或丢失关键特征。这种扰动降低了未授权扩散模型捕获输入图像对象和风格特征的能力,从而有效保护图像。具体而言,所提出的方法巧妙地利用了扩散模型的生成能力和SDEdit的去噪能力,设计了一种高效且不可感知的对抗攻击。为实现这一目标,SDPA定义了一个优化目标,使扩散模型从对抗样本中提取语义有意义特征的能力最小化。这通过结合对抗融合损失和去噪一致性损失的多目标损失函数来实现。通过优化这些目标,SDPA生成的对抗样本能够有效防止未授权扩散模型的模仿,并展示了在保护真实图片方面的潜在应用性,例如新闻图片等领域。
我们通过分析基于对抗样本的扩散模型所生成图像与原图的偏离程度来评估SDPA。有效的对抗样本将导致生成的图像严重失真或不相关,从而有效防止未授权扩散模型学习或模仿目标图像的特征。此外,我们利用局部二值模式(LBP)方法来评估生成的对抗样本是否呈现出非自然纹理或噪声,并确保其统计特征分布与自然图像一致。通过广泛的实验验证,SDPA通过阻止未授权扩散模型模仿其语义结构或风格来保护目标图像。我们的贡献总结如下:
  • •
    我们提出SDPA(SDEdit池化对抗攻击)以保护图像版权。SDPA通过干扰扩散模型的特征提取过程,有效防止其模仿输入图像的对象或风格,提供了全面的版权保护策略。
  • •
    SDPA利用扩散模型的生成能力和SDEdit的去噪能力生成不可感知且有效的对抗样本,并由设计在隐空间中的新颖融合扰动优化模块指导,确保对抗样本维持与自然图像一致的分布。
  • •
    我们在艺术和自然图像数据集上进行了实验以验证SDPA的有效性。结果表明SDPA有效防止了未授权扩散模型的模仿或风格迁移,从而实现了可靠的版权保护。

章节摘要

扩散模型

近年来,扩散模型在图像生成领域展现出强大的生成能力。其核心原理涉及通过前向扩散过程逐步将数据转换为高斯噪声,随后通过反向去噪过程重建高质量图像(Cao et al., 2024)。这种逐步生成方法在图像合成(Ruiz et al., 2023)和艺术生成等任务中取得了显著成果,并已成为当前的研究

方法论概述

在机器学习安全领域,对抗样本的不可感知性与有效性之间的权衡长期以来一直是一个核心挑战。在图像分类等判别性任务中,大量研究表明微小的不可感知扰动可以显著误导模型(Szegedy et al., 2014),而较大的扰动往往会损害隐蔽性和实际适用性(Madry et al., 2018)。对于扩散模型而言,实现这种平衡同样至关重要

实验

在本节中,我们对所提出的SDPA框架在扩散模型中生成对抗样本的能力进行了全面评估。LDM(Rombach et al., 2022)在生成图像的视觉质量和多样性方面展现了显著优势,并已成为AI艺术领域的主流方法,因此我们选择LDM作为实验的基线模型。我们选择了AdvDM(Liang et al., 2023)、Glaze(Shan et al., 2023)、PhotoGuard(Salman et al., 2023)以及最近的

结论

SDPA通过联合考虑对抗有效性和视觉不可感知性,为扩散模型提供了有效的版权保护框架。实验结果表明,生成的对抗样本能够有效干扰未授权的图像模仿,同时与自然图像分布保持一致。这些发现为未来生成式AI系统中主动版权保护机制的研究提供了有用的见解。尽管如此,

CRediT作者贡献声明

康云雨:撰写——原始草稿、方法论、概念化。沈明煌:撰写——原始草稿、软件、调查、数据整理。林力强:撰写——原始草稿、软件、形式化分析。袁士民明:撰写——审阅与编辑、指导、概念化。刘晓龙:撰写——审阅与编辑、验证、指导、项目管理、方法论、概念化。

利益冲突声明

作者声明,他们不存在已知的竞争财务利益或个人关系,这些关系可能会影响本论文中报告的工作。

致谢

本工作部分由中国教育部人文社会科学研究项目(项目编号:25YJA880044)和福建省软件技术创新研究与产业化项目(项目编号:2024.488)资助。
康云雨|沈明煌|林力强|袁士民明|刘晓龙
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号