综述:人工智能在深度伪造媒体中的潜力:从生成到检测机制,最新技术及其面临的挑战

《Computer Science Review》:Potential of artificial intelligence in deepfake media: From generation to detection mechanisms, state-of-the-art, and challenges

【字体: 大 中 小 】 时间:2025年12月22日 来源:Computer Science Review 12.7

编辑推荐:

  舒班姆·夏尔马 | 阿尔文德·塞尔瓦尔 贾姆穆中央大学计算机科学与信息技术系,桑巴,181143,印度 **摘要** 人工智能(AI)在深度伪造技术的生成中发挥着重要作用,它利用先进的机器学习模型来创建高度真实的合成媒体,涵盖了视觉、音频和多模态格式。深度伪造技术的

  舒班姆·夏尔马 | 阿尔文德·塞尔瓦尔
贾姆穆中央大学计算机科学与信息技术系,桑巴,181143,印度

**摘要**
人工智能(AI)在深度伪造技术的生成中发挥着重要作用,它利用先进的机器学习模型来创建高度真实的合成媒体,涵盖了视觉、音频和多模态格式。深度伪造技术的迅速发展,加上数字媒体的指数级增长,要求对当前的能力和挑战进行全面而关键的审视。尽管媒体操控的概念并不新鲜,但AI驱动的深度伪造的复杂性和易获取性对社会构成了严重的虚假信息威胁,从而可能导致社会操控。本文系统地回顾了2017年至2025年的深度伪造生成和检测技术,重点介绍了生成模型的进步,并评估了检测策略。本研究的主要焦点是使用对抗网络、视觉变换器(ViTs)、注意力机制、混合学习框架和集成模型的最新技术(SOTA)。研究全面分析了现有方法的优点和缺点,指出检测系统容易受到对抗性攻击,并将现代方法与传统的法医和启发式方法进行了比较。论文批判性地分析了现有模型的优缺点,强调了检测系统对对抗性攻击的脆弱性,并将当代方法与传统法医和启发式方法进行了对比。除了技术洞察外,该综述还重点关注了可扩展性、监管框架以及深度伪造技术的更广泛的社会影响等实际问题。通过包含基准数据集、标准工具、性能评估指标和相关政策讨论,本文为深度伪造生成与检测之间的持续“军备竞赛”提供了一个前瞻性的视角。研究最后强调了需要强大、灵活且易于理解的检测系统,并辅以有效的政策措施来降低深度伪造带来的日益增长的风险。

**引言**
在当今数字化网络化的世界中,通过人工智能创建的深度伪造合成媒体是对信息完整性的最严重威胁之一。“深度伪造”一词结合了“深度学习”和“伪造”,指的是由AI转换的内容,能够模仿人类的外貌、声音和行为,形式包括图像、视频和音频[1]。这种形式的深度伪造包括将人脸添加到其他照片中或从头开始创建新面孔的图像伪造[2]、用于生成语音或面部表情的视频深度伪造[3],以及令人惊讶地模仿某人声音的音频深度伪造[4]。尽管这些技术在教育、娱乐、建筑和医疗行业具有积极影响,但它们越来越多地被用于传播虚假信息、网络欺诈、身份盗窃和政治操控。2014年,古德费洛等人[5]引入了GANs,这项创新显著提高了深度伪造媒体的质量,使得区分真实内容和伪造内容变得更加困难[6]。图1展示了几张由StyleGAN生成的高质量深度伪造面部图像样本。变分自编码器(VAEs)已成为创建深度伪造的有用工具,它们通过去除和添加数据来减少噪声[7]。另一种集成深度学习的工具FaceSwap进一步提高了深度伪造内容的质量和可用性[8]。随着检测方法从基于人工特征的启发式方法发展到卷积神经网络(CNNs)、混合模型和ViT模型,深度伪造攻击的复杂程度也随之提高。根据Gaur在其著作《深度伪造:创作、检测与影响》[9]中的报告,2022年至2023年间估计有50万段深度伪造视频和音频剪辑被分享。根据iProov[10]的另一份报告,到2025年初,深度伪造占所有生物识别欺诈事件的40%。尽管这令人担忧,但研究表明只有0.1%的观众能够区分深度伪造和原始内容,预计到2027年,由于深度伪造造成的财务损失将超过400亿美元。毫无疑问,深度伪造技术在娱乐、建筑和3D建模等行业的应用具有积极意义,同时它们也被用于生成用于培训目的的患者数据[11]。深度学习的进步,如扩散模型和集成学习,推动着这一技术竞赛的发展。奥马尔等人[1]开发的一种技术就使用了集成网络。研究中的新兴主题展示了该领域仍存在的范围和差距。例如,戈亚尔等人[12]发表了一篇关于基于AI的最新学习方法的全面回顾文章。德格哈尼和萨贝里[13]讨论了深度伪造生成与检测之间的关键“军备竞赛”。夏尔马等人[14]对图像伪造检测技术进行了彻底的回顾,包括传统技术和基于深度学习的技术,他们对主动和被动检测方法、公开可用的数据集以及基于GAN的伪造检测的最新进展进行了系统分析。他们的回顾提供了有关数字图像取证演变及其当前趋势的有用信息[14]。此外,菲尔克等人[15]讨论了深度伪造对生物特征认证系统的威胁,提出了攻击向量分类并讨论了安全弱点。另一方面,艾萨等人[16]研究了基于GAN的检测方法,比较了几种架构并测量了它们在法医分析中的效率。费尔南德斯·甘宾等人[17]讨论了深度伪造的更广泛的社会影响,而夏尔马等人[18]对深度伪造检测方法进行了系统性的文献回顾,包括数据集、评估指标和机器学习的发展。考尔等人[19]评估了深度伪造视频检测的挑战,分类了数据相关问题、训练和泛化问题,并提出了实时检测的改进措施。阿巴斯和塔伊格[20]也对各种类型媒体中的深度伪造生成和检测策略进行了全面分析,并提出了旨在遏制深度伪造危害的政策建议。在更近期的综述中,刘等人[21]在2025年对深度伪造技术及其检测技术进行了批判性回顾,强调了GANs和DMs的作用,考察了深度伪造生成技术,并回顾了检测被操纵和人工深度伪造的不同方法。鉴于此背景,他们强调了GANs和DMs在深度伪造应用中的特殊优缺点。近年来,音频深度伪造技术的突然增长再次引发了关于隐私和数字信任的多个问题。作为回应,人们开始开发更智能和强大的语音活性检测框架,能够高精度地分类合成语音。2023年,一些基础综述文章介绍了重要的传统和深度学习方法,如SVM、CNN、RNN和孪生CNN架构,这些方法达到了高达99%的准确率,错误率为2%[22]。辛格等人(2023年)进行了面向法医的深度伪造音频分类的回顾和实验研究,使用可视音频特征如MFCC、Mel频谱图、色度图和频谱图。通过比较VGG-16和定制设计的CNN等几种深度学习架构,他们发现VGG-16在MFCC特征上表现最好,而定制模型在其他方面表现最佳,对音频克隆的数字取证分析具有重要意义[23]。同年,音频深度伪造检测挑战赛(ADD 2023)[24]通过添加定位和算法识别子任务设定了新的标准。到2024年,研究趋势转向了评估模型泛化和特征鲁棒性。一项大规模的比较研究[25]重新测试了十二种著名架构,发现使用cqtspec和logspec特征而不是标准的MELSPEC可以将检测准确率提高37%。然而,在37.9小时的真实世界名人和政治演讲测试集上部署时,相同系统的性能显著下降,突显了控制实验与现实世界应用之间的差异。相反,我们的工作对深度伪造生态系统进行了全面回顾,包括检测技术、基准数据集、生成工具、政策考量以及技术的实际应用和威胁。它涵盖了从图像、视频到音频的所有媒体类型,以及涉及多种深度伪造媒体的多模态技术,这些技术代表了深度伪造媒体的新水平,需要在检测技术领域进行重大发展,并与早期调查研究中的重要参数进行了对比,从而提供了2017年至2025年深度伪造研究进展的全面视图。表1中提到的比较评估清楚地展示了我们论文在各个重要参数上的独特优势。我们工作的关键动机是深度伪造技术的迅速进步和对安全检测系统日益增长的需求;我们的工作独特地讨论了IT政策,整合了最新的ViT技术,并强调了混合模型的发展。虽然大多数相关研究讨论了数据集和欺骗生成工具,但很少有研究深入探讨评估策略,包括我们的研究。这使得我们的回顾成为对该领域的全面、前瞻性的贡献。此外,我们还强调了跨领域挑战,并突出了该技术的社会影响,这一点在之前的研究中很少被提及。论文进一步提出了结合政策框架和技术创新的未来方向,从而增强了学术界和监管机构的相关性。本研究的主要贡献如下:
- 全面调查了2017年至2025年的深度伪造检测,涵盖了图像、视频和音频操控以及对抗技术的发展;
- 结果从顶级学术和机构仓库的425篇参考文献开始,逐步筛选出236篇精选参考文献;
- 研究整合了基准数据集、评估指标和深度伪造生成工具,同时强调了用于检测系统部署的IT政策;
- 讨论并分析了当前深度伪造领域的政策,以及可以引入的进一步政策变化方向。

**论文结构**
第2节解释了问题的领域,介绍了深度伪造检测在图像、视频和音频之间的多学科性质。第3节重点介绍了主要的操控分类,包括身份交换、对口型同步、随机重新制作和音频深度伪造。第4节重点介绍了最新的检测方法,从传统的法医方法到手工制作的、基于学习的、基于混合的、基于XAI的技术以及基于ViT的技术。第5节关注可以在移动或监控环境中部署的实时、轻量级和可扩展的检测方法。第6节列出了该领域的一些重要工具、数据集和评估指标。第7节将介绍现有处理AI生成媒体的政策,以及一些关键的政策建议和修改措施。第8节提出了研究中的挑战和未来方向,并对主要发现进行了总结。第9节以结论性陈述总结了我们的系统回顾。

**范围和覆盖**
为了建立这篇综述的坚实基础,我们应用了多阶段过滤过程来系统地识别关于深度伪造合成和检测的高影响力文献。该过程从顶级学术和机构仓库的425篇参考文献开始,最终筛选出236篇精选参考文献。图2使用Vosviewer工具展示了与深度伪造检测和合成相关的关键词网络可视化。

**深度伪造媒体类型及其影响**
借助生成对抗网络和深度学习技术等现代AI技术,深度伪造技术已发展成为一种成熟的技术,具有创建高度真实合成媒体的潜力,这些媒体可以模仿人类的外貌、声音和行为。基于图像的深度伪造通常是通过操纵静态照片或视觉图像生成的,主要使用VAEs或GANs。自编码器是一种神经网络...

**最新的深度伪造检测技术**
在前一节中,我们讨论了不同类型的深度伪造媒体及其对社会、安全和公众信心日益增加的影响。基于这些知识,本节讨论了为应对这些挑战而建立的技术对策。我们深入探讨了当前的深度伪造检测方法,从传统的机器学习方法到最近的深度学习模型,包括视觉变换器和混合模型。通过为移动设备和监控环境提供的实时、轻量级且强大的深度伪造检测技术,社交媒体图像和视频流的广泛传播、实时及预录制的视频广播以及安全监控数据的需求,使得能够抵御环境噪声和恶意篡改的实时检测系统变得至关重要。与在安全环境中运行于强大服务器上的数据中心检测器不同,移动设备和边缘计算设备在计算能力、内存以及处理延迟方面存在限制。此外,在压缩和运动模糊条件下运行时也会遇到显著问题。在上一节中,我们探讨了多种用于检测深度伪造技术的最新方法,强调了它们的架构、能力和局限之处。然而,这些检测方法的发展和评估在很大程度上依赖于多样化且标注良好的数据集,以及用于分析这些方法的评估指标。本节将介绍最常用的基准数据集和评估指标。

尽管在图像、视频和音频领域的深度伪造检测方面取得了显著进展,但仍存在一些未解决的问题,这些限制了这些系统的实际应用和持续有效性。本节总结了目前阻碍构建安全、通用且实时检测解决方案的关键研究难题,并展望了未来在提高系统弹性、可扩展性和可解释性方面的研究方向。

本文不仅强调了技术创新的重要性,还指出了通过IT政策、法律和伦理手段控制合成媒体的日益增长的全球压力。对比各国的政策应对措施表明,除了技术创新外,合作治理同样十分必要。尽管取得了显著进展,该领域仍面临诸多挑战,尤其是在跨数据集泛化、对抗性鲁棒性以及音频深度伪造检测等方面。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号