RPA:基于递归扰动的多模态生成任务通用对抗攻击方法

《IEEE Transactions on Circuits and Systems for Video Technology》:RPA: Recursive Perturbation-Based Universal Adversarial Attacks on Multimodal Generative Tasks

【字体: 大 中 小 】 时间:2025年12月12日 来源:IEEE Transactions on Circuits and Systems for Video Technology 11.1

编辑推荐:

  本文针对视觉语言模型(VLMs)在生成任务中的对抗鲁棒性问题,提出了一种新型黑盒通用对抗扰动(UAP)方法——递归扰动攻击(RPA)。通过递归扰动策略和三模态解耦技术,RPA在VLPMs和MLLMs上实现了跨模型家族的高转移性攻击,在四个基准数据集和两种生成任务上的实验表明其显著优于现有方法,为多模态AI系统的安全性研究提供了新视角。

  
在人工智能飞速发展的今天,视觉语言模型(VLMs)已成为连接视觉与语言理解的重要桥梁。从图像描述生成到视觉问答(VQA),这些模型通过对比学习等技术展现出令人瞩目的能力。然而,当面对精心设计的对抗样本时,这些看似强大的模型却显得异常脆弱。传统的对抗攻击方法往往需要为每个样本单独生成扰动,且严重依赖源模型的知识,这在实际应用中存在明显局限性。更令人担忧的是,现有的通用对抗扰动(UAP)方法主要针对视觉语言预训练模型(VLPMs),对新兴的多模态大语言模型(MLLMs)的攻击效果和迁移性都十分有限。这一安全漏洞促使研究者思考:是否存在一种通用的对抗扰动,能够同时威胁VLPMs和MLLMs,引导模型生成与原始数据分布严重偏离的内容?
为了解决这一挑战,研究人员在《IEEE Transactions on Circuits and Systems for Video Technology》上发表了题为“RPA: Recursive Perturbation-Based Universal Adversarial Attacks on Multimodal Generative Tasks”的研究论文。该研究提出了一种名为递归扰动攻击(RPA)的新型黑盒UAP方法,旨在探索UAP在VLMs生成任务中的泛化能力。RPA的核心创新在于其能够在不了解目标模型架构、训练数据和下游任务的情况下,有效攻击VLPMs和MLLMs。
研究方法上,RPA主要采用了两大技术策略。首先是递归扰动生成机制,通过令牌过滤(TF)和多项式采样(PS)技术,在代理模型的递归生成过程中逐步引入扰动。令牌过滤根据概率筛选候选令牌集,确保生成文本的可读性;多项式采样则基于概率分布从候选集中随机选择目标令牌,增强扰动的有效性和生成文本的多样性。其次是三模态解耦策略,包括模态内解耦、模态间解耦和融合模态解耦,通过扩大干净样本与对抗样本之间的特征距离,提高攻击性能。
攻击性能评估
研究在Flickr30K、MSCOCO和Nocaps三个数据集上对图像描述生成任务进行了全面评估。以BLIP作为代理模型时,RPA在白盒攻击设置下显著优于所有基线方法,在MSCOCO数据集上平均CIDEr得分低于39.14%。特别是在迁移到黑盒模型时,RPA展现出了卓越的跨模型转移能力。值得注意的是,在不同架构的模型间存在明显的性能差异,对MLLMs的攻击得分普遍高于VLPMs,这可能源于MLLMs通过LLM模块生成文本,相比VLPMs具有更高的准确性和可读性。
跨模型家族攻击
研究进一步验证了RPA对其他MLLMs的攻击效果,包括MiniGPT-4、InternVL、Otter和PandaGPT等模型。实验采用二分类任务评估攻击成功率(ASR),结果显示RPA在不同参数规模的模型上都保持了良好的攻击性能,显著优于对比方法。特别发现模型参数规模对对抗鲁棒性有显著影响,如InternVL_4B相比InternVL_8B表现出更好的鲁棒性,这可能与底层LLM组件的不同有关。
消融实验分析
通过系统的参数敏感性实验,研究发现RPA在μ=0.8、β=0.1时达到最佳性能平衡。过大的β值虽然能降低任务指标,但会导致生成文本可读性下降,影响黑盒设置下的迁移性。不同损失组分的消融实验表明,三模态解耦策略的联合使用对提升攻击效果至关重要,其中融合模态解耦的贡献最为显著。
VQA任务验证
在视觉问答任务上的实验进一步证实了RPA的泛化能力。使用VQA-v2数据集对五个目标模型进行测试,结果显示RPA在所有对比方法中取得了最低的准确率,特别是基于flan-t5-xl的BLIP-2模型表现出相对较低的鲁棒性,这与其在跨语言翻译任务上的训练重点有关。
防御机制测试
研究还评估了RPA对抗现有防御方法的能力。测试了JPEG压缩和NRP(噪声正则化预处理)两种典型防御方法,发现尽管这些防御措施具有一定效果,但RPA仍能保持较强的攻击性能,在CIDEr指标上平均达到81.97%的攻击成功率。进一步的对抗净化防御测试表明,RPA在DiffPure和ADBM等先进防御方法面前仍保持较高的攻击有效性。
可视化分析
通过具体案例的可视化展示,研究直观地证明了RPA对模型输出的显著影响。在图像描述生成任务中,RPA能够引导模型生成与原始数据语义明显偏离的描述。在VQA任务中,模型在对抗样本的干扰下给出更多错误答案。Grad-CAM可视化进一步显示,UAP显著改变了目标模型的注意力分布,证实了攻击方法对模型决策过程的有效干扰。
本研究通过设计递归扰动生成机制和对抗模态解耦策略,成功开发出了一种具有卓越迁移性的通用对抗攻击方法RPA。该方法不仅在VLPMs和MLLMs上表现出强大的攻击能力,还能有效抵抗现有的防御措施,揭示了多模态AI系统在安全性方面存在的严重隐患。研究结果强调了在模型开发过程中加强对抗鲁棒性的迫切需求,为未来设计更安全的视觉语言模型提供了重要参考。值得注意的是,RPA的成功也表明不同模态学习模型之间存在共同的安全漏洞,这为后续研究指明了方向。随着多模态AI系统的广泛应用,确保其对抗鲁棒性将成为至关重要的研究课题。
研究的创新性主要体现在三个方面:首次实现了跨模型家族的UAP攻击转移,提出了多视角的对抗模态解耦策略,并通过大量实验验证了方法的优越性。然而,研究也存在一些局限性,如对更细粒度文本语义信息的关注不足,以及尚未充分探索文本模态的UAP攻击等。未来的研究方向包括引入图像注意力机制、模型集成技术进一步提升性能,以及深入探究文本UAP的攻击方法。
这项研究不仅揭示了多模态AI系统面临的新型安全威胁,也为理解对抗样本在复杂模型中的传播机制提供了新的视角。随着AI技术在各个领域的深入应用,确保模型的安全性和鲁棒性将变得越来越重要,而RPA为代表的对抗攻击研究正是这一进程中不可或缺的一环。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号