RFF-Net:一种用于AI生成图像鉴别的鲁棒频率-噪声融合网络
《Knowledge-Based Systems》:RFF-Net: Robust frequency–noise fusion network for AI-generated image discrimination
【字体:
大
中
小
】
时间:2026年09月28日
来源:Knowledge-Based Systems 8.0
编辑推荐:
• RFF-Net通过验证频率-噪声一致性来进行AI生成图像检测。
• DPFE学习空间对齐的方向性频谱与多尺度噪声流特征。
• CPCM产生可解释的差异图和全局不一致分数。
• 经过打乱的CPCM证实了空间对齐的跨域验证带来的性能提升。
• 在多个公开基准上展示了强
• RFF-Net通过验证频率-噪声一致性来进行AI生成图像检测。• DPFE学习空间对齐的方向性频谱与多尺度噪声流特征。• CPCM产生可解释的差异图和全局不一致分数。• 经过打乱的CPCM证实了空间对齐的跨域验证带来的性能提升。• 在多个公开基准上展示了强大的迁移能力和鲁棒性。## 引言深度生成模型的近期进展——从生成对抗网络(GAN)[1]到扩散概率模型[2]——使得合成高度逼真的图像成为可能,这些图像越来越难以与真实照片区分。虽然这些模型为内容创作和数据增强带来了益处,但它们也降低了恶意操作的门槛,包括虚假信息、身份欺诈和伪造证据。因此,可靠的AI生成图像判别已成为视觉取证和可信AI领域的核心问题。在本文中,我们用**可靠性**表示检测器在分布偏移(例如生成器迁移和后处理)下决策的一致性,用**可解释性**表示为个体决策提供人类可理解的取证证据的能力。二者共同服务于可信AI生成图像判别这一更广泛的目标。全文中,我们聚焦于基于GAN和基于扩散的图像生成;文本到视频合成、3D内容生成以及部分面部篡改超出了本文范围。已经提出了大量鉴别方法来应对这一挑战。空间域检测器(例如CNNDetection [3])通常直接从RGB像素中学习判别性线索,旨在捕捉生成器特有的伪影,如纹理异常和局部结构不一致。互补性的研究探索了频域中的非空间证据;例如,F3Net [4]利用频率感知变换来识别生成上采样所诱导的频谱差异和周期性模式。最近,基于重建的范式(例如DIRE [5])衡量输入图像与其在生成先验下重建之间的差异,而表征学习方法(例如UnivFD [6])则利用大规模基础表征(例如CLIP [7])以提高迁移能力。然而,在本工作所针对的跨生成器和后处理设置下,上述四种范式各自存在明显的不足。空间域检测器如CNNDetection学习到的生成器特有纹理线索容易被轻微模糊所平滑或被重度压缩所破坏。基于频率的检测器如F3Net依赖的频谱特征可被JPEG压缩和缩放部分抑制。基于重建的检测器如DIRE在推理时需要运行生成先验,计算开销大且对先验选择敏感。基于表征学习的检测器如UnivFD依赖高层语义特征,其决策证据主要由图像内容而非低层取证痕迹主导。即便是近期的混合方法如AIDE,虽然融合了多种线索,但通常通过隐式注意力机制进行融合,并未显式地检验频率和噪声线索是否为同一图像提供了相互一致的证据。尽管已有可喜的进展,实际部署仍面临挑战:检测器必须在生成器偏移、未见过的合成流水线以及可能抑制或扭曲其赖以工作的真实世界后处理条件下运行。从基于知识的角度来看,一个关键但未被充分利用的事实是:真实图像受到物理成像管线的约束。在自然摄影中,频率统计和残差噪声行为并非相互独立的;它们是由光学、传感器、去马赛克、降噪和压缩这一统一链条共同塑造的。例如,传感器读出噪声同时向功率谱贡献高频能量,并向残差图贡献像素级方差;去马赛克则同时约束空间颜色平滑度和频谱规律性。我们将这种内在的相互依赖称为**频率-噪声耦合**。这种耦合作为一种隐式的"成像先验",在内容变化和多种拍摄条件下普遍成立。相比之下,AI生成图像由神经优化过程产生,其目标是感知真实性,但不一定遵循相同的物理耦合,从而往往产生微妙但系统性的频率-噪声不匹配。重要的是,此类不匹配难以通过简单地拼接多域特征来捕捉,因为隐式融合并没有显式地检验这两个域是否提供了相互一致的证据。因此,我们将AI生成图像判别重新定义为**一致性验证**问题:关键是要显式地量化在成像先验下频率和噪声线索是否一致。具体而言,我们提出了跨域物理一致性模块(CPCM),它将频率和噪声导出的特征映射到共享空间,并以显式跨域距离图的形式产生可测量的差异证据,同时给出一个聚合分数。这一设计不仅通过聚焦于基于物理的不一致性来增强泛化能力,还通过定位两个域在何处(以及不一致程度如何)增强了可解释性。为了减少定性比较中语义内容差异的影响,图1、图3和图4中的示例以内容匹配的真实/合成图像对进行组织。对于每张真实图像,使用描述其主要物体和场景的文本提示词,通过Stable Diffusion v1.5生成对应的合成图像。如图1所示,匹配的合成图像在频谱、残差和CPCM响应中仍然表现出明显的频率-噪声不一致模式。受此物理先验的启发,我们提出了RFF-Net,一个物理引导的双域鲁棒频率-噪声融合网络,用于AI生成图像判别。RFF-Net通过三个紧密耦合的组件将频率-噪声一致性知识付诸实践。首先,双域物理引导特征提取器(DPFE)构建两个空间对齐的表征:一个捕捉各向异性频率特征的方向性频谱表征,以及一个刻画残差噪声跨尺度传播的多尺度噪声流表征。其次,CPCM通过基于边距的距离约束显式地学习和执行物理动机的一致性先验,产生具有可解释性的感知一致性特征图。第三,双流Transformer融合机制以一致性线索为条件执行双向跨流交互,实现对互补证据的自适应聚合,以进行鲁棒决策。我们在GenImage [8]和WildFake [9]等主要基准上评估了RFF-Net,并进一步验证了其在常见后处理退化下的鲁棒性。总之,我们的主要贡献如下:• 我们揭示了真实成像中的知识驱动频率-噪声耦合,并将其形式化为AI生成图像判别的显式一致性先验。• 我们设计了DPFE,以提取空间对齐的方向性频谱和多尺度噪声流表征,用于跨域验证。• 我们提出了CPCM,通过基于边距的约束显式量化频率-噪声不一致性,产生可解释的证据。• 我们开发了以一致性为条件的融合机制,并在GenImage [8]、WildFake [9]和CNNDetection上验证了RFF-Net的迁移和鲁棒性。## 章节摘要### 相关工作AI生成图像判别已成为视觉取证领域的核心话题。现有方法通常被归为基于空间的检测器、基于频率/噪声的取证方法以及基于表征学习/视觉-语言模型(VLM)的方法。GenImage [8]和WildFake [9]等基准进一步促进了在跨生成器和真实场景下的系统性评估。### 方法在本节中,我们介绍了所提出的RFF-Net,一个用于AI生成图像判别的物理引导双域鲁棒频率-噪声融合网络。### 数据集**GenImage。** GenImage [8]是一个百万级规模的AI生成图像检测基准,包含约135万AI生成样本和133万真实样本,涵盖1000个与ImageNet对齐的类别[36]。我们遵循其官方按生成器划分的组织方式,采用标准的**按生成器测试**协议进行评估。具体而言,对于每个生成器,我们在其对应的官方验证子集上进行评估,该子集包含50,000张真实图像(每ImageNet类50张)和6,000张伪造图像(每个生成器6…### 结论在本文中,我们提出了RFF-Net,一个用于AI生成图像判别的物理引导双域鲁棒频率-噪声融合网络。不同于主要依赖空间伪影或语义先验的检测器,RFF-Net显式利用了由真实成像管线所塑造的频率统计与残差噪声之间的内在耦合。通过联合学习方向性频谱和多尺度噪声流表征,并引入跨域物理一致性……### CRediT作者贡献声明**徐云彤:** 写作——审阅与编辑,写作——初稿,方法论,概念化。**杨榕桂:** 写作——审阅与编辑。**周胜远:** 监督,资源,资金获取。## 利益冲突声明作者声明不存在可能影响本文报告工作的已知的竞争性经济利益或个人关系。徐云彤 | 杨榕桂 | 周胜远
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号