基于条件门控注意力调制的伪造感知 CLIP 适配用于深度伪造检测

《Expert Systems with Applications》:Forgery-Aware CLIP Adaptation via Attention Modulation with Conditional Gating for Deepfake Detection

【字体: 大 中 小 】 时间:2026年09月28日 来源:Expert Systems with Applications 9.4

编辑推荐:

   **摘要** 深度伪造技术的快速发展产生了高度逼真的伪造人脸,对信息真实性和社会信任构成了严重威胁。传统检测方法往往过度拟合特定数据集的伪影特征,对未知操纵技术泛化能力较弱,这促使研究者采用CLIP,因其具有强大的可迁移视觉表征能力。虽然CLIP为跨域检测开辟了新的视角,但

  

**摘要**

深度伪造技术的快速发展产生了高度逼真的伪造人脸,对信息真实性和社会信任构成了严重威胁。传统检测方法往往过度拟合特定数据集的伪影特征,对未知操纵技术泛化能力较弱,这促使研究者采用CLIP,因其具有强大的可迁移视觉表征能力。虽然CLIP为跨域检测开辟了新的视角,但其语义驱动的预训练目标造成了固有的语义-取证差距:它优先考虑全局语义理解,而忽视了伪造识别所必需的细粒度局部取证证据。现有的基于CLIP的方法大多仅进行特征层面的适配,缺乏针对伪造感知的注意力交互的显式引导,使得局部注意力适配在未知伪造域之间的迁移性不足。为解决这一问题,我们提出了一种用于泛化深度伪造检测的统一伪造感知注意力适配框架。首先,伪造感知注意力调制策略通过轻量级适配器学习,将CLIP的注意力从全局语义重新引导至局部取证证据。其次,设计了条件门控机制,建立显式的全局到局部调制通路,利用全局伪造感知视觉表征动态校准注意力偏置,从而实现判别性和任务感知的注意力适配。注意力调制过程进一步通过轻量级伪造伪影提取模块进行增强,以强化细微取证线索,同时文本提示对比正则化约束特征空间,促进语义知识与取证证据之间的有效协同。在多个基准数据集上的大量实验表明,所提框架始终优于现有最先进方法,特别是在跨数据集评估中,验证了伪造感知注意力适配在泛化深度伪造检测中的有效性。

**引言**

随着生成对抗网络(GANs)和扩散模型(DMs)等深度生成模型的快速发展,深度伪造技术在合成高度逼真的人脸方面取得了显著进步。非专业用户能够以极低的成本操纵面部身份或表情,产生肉眼无法辨别的伪造视频 [Westerlund (2019)]。恶意行为者利用深度伪造制造虚假信息、侵犯个人隐私和扰乱公共秩序,严重损害了公众信任和全社会安全 [Abbas & Taeihagh (2024); Vaccari & Chadwick (2020)]。因此,开发有效且具有泛化能力的人脸伪造检测算法已成为多媒体取证领域紧迫而关键的挑战。

早期检测方法主要依赖卷积神经网络(CNNs)提取空间域伪影 [Li et al. (2023); Yan, Luo, Lyu, Liu, & Wu (2024a)] 或利用生理不一致性 [Yang, Li, & Lyu (2019)] 进行真实性判别。虽然这些方法在特定数据集上取得了令人满意的效果,但它们往往过度拟合特定数据集的操纵痕迹,对未知伪造技术的泛化能力较差。近期研究从多个角度探索了更具泛化能力的线索,包括数据增强 [Chou et al. (2026)]、迁移学习 [Yang, Qian, Zhu, Russakovsky, & Wu (2025)]、对比学习 [Baraldi et al. (2024)] 和频域分析 [Gao et al. (2024); Zhou, Sun, Wang, Yu, & Li (2025)]。然而,随着伪造技术的演化和伪影变得更加细微,这些数据驱动的探测器仍然难以捕捉到足够判别性和可迁移的取证线索 [Ganguly, Ganguly, Mohiuddin, Malakar, & Sarkar (2022); Siddiqui, Yang, Xiao, & Fahad (2025)]。更根本的是,大多数现有探测器从有限的训练数据中学习操纵特定表征,使其本质上容易过拟合且跨域泛化能力较弱 [Chen, Wang, & Wang (2025); Li et al. (2025); Rajesh & Maruthupermal (2025)]。这一局限性促使研究者关注具有更强可迁移表征能力的基础模型。

视觉-语言模型(VLMs),特别是CLIP [Radford et al. (2021)],因其出色的开放世界场景泛化能力而受到越来越多的关注。得益于大规模图像-文本对比预训练,CLIP学习了丰富的语义先验和高度可迁移的视觉表征,这对于需要跨操纵泛化的深度伪造检测来说极为有利。几项近期研究已将CLIP迁移至伪造检测 [Tan et al. (2025)],利用大规模预训练先验通过提示微调、适配器学习、特征对齐和参数高效微调来提高跨数据集鲁棒性。

尽管这些方法性能令人满意,但它们主要是在特征或参数层面对CLIP进行适配,而对将操纵感知信息显式注入内部注意力交互过程关注有限。因此,适配过程仍然主要受语义驱动,可能仍然忽视对真实/操纵人脸判别至关重要的细微取证证据。这一局限性的根本原因在于CLIP固有的语义-取证差距。CLIP本质上是为图像-文本语义对齐而训练的,这鼓励其视觉编码器强调全局结构和高层语义内容。相比之下,深度伪造检测严重依赖细微的、空间稀疏的取证线索,如面部边界不连续性、异常纹理和几何畸变,这些线索在CLIP的语义主导表征空间中容易被抑制。由于CLIP具有海量参数,完全微调会带来无法承受的算力成本 [Jia et al. (2022)],而冻结的CLIP特征缺乏伪造特定的领域知识 [Ojha, Li, & Lee (2023)]。虽然基于适配器的适配在一定程度上可以增强伪造敏感表征,但生成的注意力偏置仍未受到显式任务级伪造先验的约束。尽管条件提示学习、自适应门控和动态调制机制已被探索用于改进任务特定特征适配 [Du, Niu, & Zhao (2025); He, Cheng, Du, Li, & Liu (2026); Zhou, Yang, Loy, & Liu (2022)],但其条件信号通常派生自通用语义或统计特征,而非显式的伪造感知全局先验,无法建立用于伪造感知注意力适配的显式全局到局部调制通路。

这一局限性对于深度伪造检测尤为关键,因为伪造伪影通常很细微、空间上局域化且高度依赖内容。在缺乏全局操纵上下文的情况下,局部伪造痕迹往往是模糊的,这使得无引导的注意力适配在不同伪造域之间不稳定。因此,关键未解决的挑战是:如何设计一种条件门控机制,利用伪造感知全局线索来动态调制适配器生成的注意力偏置,将局部注意力与细粒度取证证据对齐。

为从根本上弥合语义-取证差距,我们认为一个有效的CLIP适配框架应满足三个互补目标。第一,语义注意力应被操纵感知先验显式调制,而非仅依赖通用视觉语义。第二,需要条件门控通路来动态校准注意力适配的全局伪造上下文,从而在保留可迁移语义知识的同时突出局部取证证据。第三,应引入文本模态的高层语义监督以增强不同伪造域之间的表征一致性。这些原则共同促成了我们的统一框架设计。

为解决这些问题,我们提出了一种具有条件门控机制和文本提示对比正则化的统一伪造感知注意力适配框架。与主要依赖语义表征适配的现有基于CLIP的探测器不同,我们从伪造感知注意力交互视角重新审视了CLIP在深度伪造检测中的适配。我们的核心洞察是:可迁移的语义表征应与伪造感知注意力调制显式耦合:我们利用全局伪造感知来调节局部注意力交互和特征适配,从而动态弥合语义-取证差距。

具体而言,我们框架的三个组件被设计为以统一方式满足上述三项要求。首先,适配器引导的注意力模块将CLIP的焦点从全局语义表征转移至局部伪造信息区域,并由轻量级伪造伪影提取模块进行强化。如图1所示,这种注意力调制策略有效地将CLIP的语义注意力重新引导至与操纵相关的区域,这些区域与真实的伪造区域高度一致。其次,条件门控机制利用全局伪造感知视觉表征建立全局到局部调制通路,动态调节注意力偏置并对局部化表征施加任务特定约束。第三,文本提示对比正则化提供互补的语义监督,鼓励模型学习稳定且具泛化性的真假表征。受益于伪造感知注意力适配范式,所提框架在多个基准数据集上取得了持续优越的检测性能,特别是在跨数据集评估设置下。如图2中的定量比较进一步证明了其相对于现有最先进方法的显著性能优势。

我们的主要贡献总结如下:

(1) 我们提出了一种伪造感知注意力适配框架,将操纵感知先验显式注入CLIP的注意力交互过程。集成了一个轻量级伪造伪影提取模块(FAEM)以增强细粒度伪造线索,引导CLIP关注细粒度伪造证据,同时保留其可迁移的语义表征。

(2) 我们设计了一种条件门控机制,建立了显式的全局到局部调制通路,该机制根据全局伪造感知视觉表征动态调节注意力偏置,使得局部取证特征能够自适应优化,而不牺牲CLIP固有的泛化能力。

(3) 我们引入文本提示对比正则化目标,进一步增强了不同伪造域之间的语义一致性,使视觉表征与语义提示嵌入对齐,引导CLIP关注任务相关的判别特征。

(4) 在多个基准数据集上的大量实验表明,我们的方法相对于竞争方法取得了优越的效果和最先进的泛化性能,特别是在跨数据集评估设置下。

---

**相关工作**

**深度伪造检测方法。** 为了提高人脸伪造检测器对未见操纵技术的泛化能力,研究者提出了各种方法。早期研究主要集中在识别由生成算法引入的显式视觉伪影,探索了如空间域分辨率不匹配 [Wang et al. (2024)]、颜色异常 [Ma et al. (2025)] 和生理不一致性 [Yang et al. (2019)] 等线索。然而,随着GANs的快速发展...

---

**概述**

本文提出了一种用于泛化深度伪造检测的伪造感知注意力适配框架,以适配器引导的注意力调制为基础构建模块,以条件门控为核心差异化机制,有效缓解了CLIP固有的语义-取证差距,在注意力交互层面实现。如图3所示,该框架建立在冻结的预训练CLIP模型之上,其整个技术流程围绕...

---

**实验设置**

**数据集。** FaceForensics++(FF++)[Rossler et al. (2019)] 数据集包含1000个真实视频和5000个跨五种深度伪造类别的操纵视频,是深度伪造检测中最广泛使用的基准之一。深度伪造检测挑战(DFDC)[Dolhansky et al. (2020)]、DFDC预览版(DFDCP)[Dolhansky, Howes, Pflaum, Baram, & Ferrer (2019)]、Celeb-DF-v2 [Li, Yang, Sun, Qi, & Lyu (2020b)] 和DeepFakeDetection(DFD)[DFD (2020)] 是常用的数据集...

---

**结论**

我们提出了一种新颖的用于泛化人脸伪造检测的伪造感知注意力适配框架。基于冻结的预训练CLIP,我们设计了适配器引导的注意力调制策略,将CLIP的注意力从全局语义重新引导至局部取证证据。作为核心差异化组件,条件门控机制建立了显式的全局到局部调制通路,利用全局伪造感知...

---

**生成式AI披露声明**

在准备本手稿过程中,生成式人工智能工具(如语法和写作助手)仅用于语言润色、语法修正和可读性改进。没有任何生成式人工智能工具被用于生成原始研究内容、解释结果或得出结论。所有最终内容,包括手稿文本、图表和解释,均已由所有作者进行完整审阅、修订和批准。

---

**CRediT作者贡献声明**

Yue Cheng:方法论、软件、初稿撰写。
Shan Bian:监督、资金获取、审阅与编辑。
Lin Li:数据管理、验证、形式化分析。
Jianlin Zhang:数据管理、验证、形式化分析。
Xiaofeng Xie:数据管理、验证、形式化分析。
Chuntao Wang:数据管理、验证、形式化分析。

---

**利益冲突声明**

作者声明,他们不存在任何已知的竞争性财务利益或个人关系,这些利益或关系可能影响本论文所报告的工作。

Yue Cheng | Shan Bian | Lin Li | Jianlin Zhang | Xiaofeng Xie | Chuntao Wang
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号