基于频率感知视觉Transformer与双向交叉注意力融合并具备后处理鲁棒性的Deepfake检测

《Information》:Deepfake Detection via Frequency-Aware Vision Transformer and Bidirectional Cross-Attention Fusion with Post-Processing Robustness

【字体: 大 中 小 】 时间:2026年08月27日 来源:Information 4.3

编辑推荐:

  当今,日益无处不在的合成媒体或“Deepfake”的使用已成为对网络信任、信息完整性和个人安全的威胁,且由人工智能(AI)创建。当前的方法主要基于卷积神经网络(CNN)的空间特征或视觉Transformer的高层语义表示;两者在有效利用多域取证线索方面都存在重

  
当今,日益无处不在的合成媒体或“Deepfake”的使用已成为对网络信任、信息完整性和个人安全的威胁,且由人工智能(AI)创建。当前的方法主要基于卷积神经网络(CNN)的空间特征或视觉Transformer的高层语义表示;两者在有效利用多域取证线索方面都存在重大缺陷。本文提出了FAViT(Frequency-Aware Vision Transformer),这是一种混合架构,能够通过双向交叉注意力融合方案共同利用空间和频域取证信息。研究人员在每个面部图像中使用一个11通道取证张量(包括每通道快速傅里叶变换(FFT)幅度图、离散小波变换(DWT)子带、通道噪声残差图、Sobel梯度幅度和误差等级分析(ELA)通道)。频率分支CNN处理这个多域张量,原始RGB图像由预训练的ViT-B/16空间分支编码。这两路流通过双向交叉注意力结合,使模型能够定位空间和频谱篡改伪影。研究人员还提出了一种对抗清洗模拟管道,通过五种后处理攻击方法(即GFPGAN神经面部修复、学习的自编码器清洗等)来划分训练过程,以增加对现实世界取证防御的抵抗力。在FaceForensics++ C23(7926张图像,包含四种篡改类型)上的测试表明,FAViT在留出测试集上取得了86.22的F1分数、94.26的AUC-ROC和85.55的准确率。对21种攻击条件的强度分析表明,AUC的最大下降为30.3,在GFPGAN修复中具有特定的强度(AUC = 98.51)。基于包括JPEG压缩、高斯模糊、下采样和GFDGAN神经修复在内的21个后处理攻击案例评估了鲁棒性;应注意的是,针对基于梯度的自适应攻击的鲁棒性需要额外关注。在CIFAKE和Celeb-DF v2数据集上的测试揭示了域泛化的一些局限性。
随着生成对抗网络(GAN)和扩散模型等快速深度生成模型的快速发展,合成具有高度真实感的深度伪造媒体变得易如反掌。这不仅引发了一系列包括非自愿亲密图像、政治虚假信息以及金融欺诈在内的社会问题,还严重削弱了公众对数字媒体的信任。在早期的检测方法中,主要依赖卷积神经网络(CNN)直接从原始RGB像素分布中学习特征。然而,一旦媒体经过社交媒体平台的标准后处理(如视频编解码、图像重压缩和缩放操作),这些模型所依赖的低级残留伪影就会被掩盖甚至抹除,导致性能急剧下降。尽管视觉Transformer在建模长距离依赖和全局上下文方面表现出色,但其计算需求高且对大量训练数据的依赖限制了其在资源受限的现实场景中的直接部署。此外,虽然频域分析能够补充空间分析的不足,但当前的融合方法(如简单的张量拼接或单向注意力)无法有效捕捉复杂的跨模态依赖关系。为解决上述问题,研究人员提出了一种名为FAViT的混合架构,该研究发表在《Information》期刊上。该架构通过双向交叉注意力融合方案联合利用空间和频域取证信息,并引入对抗清洗模拟管道以提升模型对后处理攻击的抵抗力。这项研究通过联合优化多域取证特征、上下文感知和对抗鲁棒性,为现实世界中的深度伪造检测提供了更全面、更具鲁棒性的解决方案,具有重要的学术价值和实际应用意义。

研究人员基于FaceForensics++ C23数据集(含7926张图像,源自1000个YouTube视频及四种篡改类型)开展研究。关键技术包括:1. 多域取证特征提取:构建11通道取证张量,整合快速傅里叶变换(FFT)幅度谱、离散小波变换(DWT)子带、噪声残差图、Sobel梯度幅度及误差等级分析(ELA)图。2. 双向交叉注意力融合模块:使ViT-B/16空间分支特征与频率分支CNN特征进行双向查询融合。3. 对抗清洗模拟管道:训练中引入JPEG压缩、高斯模糊、下采样、GFPGAN神经面部修复及自编码器清洗五种攻击。4. 预训练U-Net自编码器模拟复杂清洗过程。5. 微分学习率策略:ViT骨干采用1 × 10-5学习率,新层采用1 × 10-4学习率以防止灾难性遗忘。

训练动态
研究人员通过30个epoch的训练,采用余弦退火学习率调度,验证集AUC稳步上升至0.9468,表明模型有效收敛且未出现严重的过拟合或灾难性遗忘。

测试集性能
在留出的1190张图像测试集上,FAViT取得了85.55%的准确率、94.26%的AUC-ROC和86.22%的F1分数,在真伪类别上表现出良好的平衡性,假类检测率略高于真类。

与基线方法的比较
与F3-Net和Swin-T等基线方法相比,FAViT在AUC-ROC上高出1.11至7.56个百分点。这表明11通道取证张量和双向交叉注意力融合能够产生比FFT拼接或单向注意力更强大的判别信息。

鲁棒性评估
在21种后处理攻击条件下的测试显示,模型对JPEG重压缩和下采样表现出极强的抵抗力;在高强度高斯噪声下表现最差,AUC降至68.18%;在GFPGAN神经面部修复下AUC保持在98.51%,与基线一致,表明神经修复可能留下了可被检测的新伪影。

消融实验
移除单一取证通道会导致性能下降,其中FFT幅度图贡献最大,AUC下降2.42%;DWT子带次之,下降1.95%。双向交叉注意力融合比单向注意力和简单拼接分别提升1.51%和2.43%的AUC。

跨数据集泛化
在CIFAKE和Celeb-DF v2数据集上未经微调的测试中,AUC分别为42.64%和63.48%。这表明由于生成范式和图像域的差异,基于特定GAN面部的频率先验无法有效泛化到扩散模型或高级生成方法中。

讨论总结
实验表明,FAViT在FaceForensics++ C23基准上达到了最先进的性能。该结果归因于11通道取证张量、保留预训练ViT表示的微分学习率以及对抗清洗模拟管道的协同作用。尽管对JPEG压缩和下采样具有鲁棒性,模型对高强度高斯噪声极为敏感,因为噪声同时破坏了噪声残差和FFT幅度两种取证模态。GFPGAN神经面部修复的零影响表明,此类修复可能在ELA和噪声残差中留下自身的伪影,从而将一种取证特征替换为另一种。跨数据集评估突出了显著的泛化差距,因为基于GAN的频率先验无法转移到基于扩散模型或其他生成方法中。此外,该框架当前仅限于静态图像分析,缺乏用于视频取证的时序建模。

研究结论部分翻译
本文提出了FAViT,一种利用多域取证特征和双向交叉注意力融合来有效检测Deepfake的频率感知视觉Transformer。该结构整合了处理RGB面部图像的ViT-B/16空间分支与处理11通道取证编码(包括FFT幅度谱、Haar小波子带、噪声残差、Sobel梯度和ELA图)的CNN频率分支。通过双向交叉注意力进行互特征调节,实现了单模态方法无法实现的跨域相关性。所提出的对抗清洗管道结合了JPEG压缩、高斯模糊、下采样、自编码器清洗和GFPGAN神经面部重建,显著增强了对后处理攻击的抵抗力。FAViT在FaceForensics++ C23测试集上获得了85.55%的准确率、94.26%的AUC-ROC和86.22%的F1分数,均高于所评估的基线方法。在21种攻击场景下的鲁棒性测试表明其对JPEG和下采样具有抵抗力,并发现高斯噪声是其主要弱点。在CIFAKE和Celeb-DF v2上的评估揭示了泛化能力的现有局限,鼓励采用多域训练。当前FAViT框架在跨数据集泛化和自适应攻击鲁棒性方面仍面临挑战。未来的工作将集中在多数据集训练、噪声不变特征规范化、知识蒸馏、基于扩散模型的合成技术评估、时间一致性建模以及适应主要平台的专有压缩管道。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号