探索大型语言模型中的后门攻击与防御算法:增强上下文学习的安全性

《Pattern Recognition》:Exploring backdoor attack and defense algorithms in LLMS: Enhancing in-context learning security

【字体: 大 中 小 】 时间:2026年10月01日 来源:Pattern Recognition 9.1

编辑推荐:

   •ICLAttack:一种利用上下文学习的后门攻击。 •这是我们之前关于后门防御的会议论文(Zhao et al., 2024)的重大扩展。 •ICLDefense:一种针对 ICLAttack 的高效防御算法。 •理论上,ICLDefense 有效地解耦了后门特征。 引言

  

•ICLAttack:一种利用上下文学习的后门攻击。
•这是我们之前关于后门防御的会议论文(Zhao et al., 2024)的重大扩展。
•ICLDefense:一种针对 ICLAttack 的高效防御算法。
•理论上,ICLDefense 有效地解耦了后门特征。
引言
随着模型规模的扩大,大语言模型(LLMs)[1] 展现出了一项令人印象深刻的能力,称为上下文学习(ICL)[2]。这项能力使它们能够通过有效学习给定上下文中的少数示例 [2],在代码生成 [3] 和上下文生成 [4] 等自然语言处理(NLP)应用中达到最先进(SOTA)的性能。ICL 的基本概念是利用类比进行学习。这种方法涉及通过自然语言模板中呈现的少数示例形成演示上下文。然后,演示上下文与查询问题结合以创建提示,随后输入到 LLM 中进行预测。与传统监督学习不同,ICL 不需要显式的参数更新 [5]。相反,它依赖于预训练的 LLM 来辨别并学习提供的演示上下文中的潜在模式。这使得 LLM 能够通过以特定上下文的方式利用所获取的模式来进行准确预测 [2]。尽管 ICL 取得了显著成就,但它因其内在的易受对抗性攻击 [6] 和后门攻击 [7] 侵害的脆弱性而受到批评。最近的研究表明,这些攻击针对 ICL 的执行非常容易。因此,研究 ICL 的脆弱性对于确保 LLM 安全变得至关重要 [8]。
对于后门攻击,目标是通过在输入样本中精心设计触发器来欺骗语言模型,这可能导致模型输出错误结果 [9], [10]。这些攻击涉及故意向模型中植入恶意后门,该后门保持休眠状态,直到满足特定条件才会触发恶意行为。尽管后门攻击在 ICL 范式内取得了巨大成功,但它们并非没有缺点,这使得现有攻击方法不适合 ICL 的实际应用。例如,Kandpal 等人 [11] 设计了一种用于 ICL 的后门攻击方法,其中触发器被插入训练样本中并通过微调将恶意行为引入模型,如图 1(b) 所示。尽管实现了近 100% 的攻击成功率,但微调后的 LLM 可能会损害其通用性,并且需要大量的计算资源。
在本文中,我们旨在进一步探索 LLM 的普遍脆弱性,并调查 ICL 中更强大攻击的潜力,以克服上述限制。我们引入了一种名为 ICLAttack 的新型后门攻击方法,该方法基于演示上下文,无需微调。ICLAttack 背后的基本理念是基于被污染的演示上下文,诱导语言模型通过类比学习触发模式。首先,我们构建了两种类型的攻击:污染演示示例和污染演示提示,分别涉及将触发器插入演示示例和将恶意提示作为触发器进行设计。其次,我们将触发器插入特定的演示示例中,同时确保这些示例的标签被正确标记。在推理阶段,当用户发送包含预定义触发器的查询问题时,ICL 将诱导 LLM 按照攻击者的意图进行响应。与 [11] 不同,我们的 ICLAttack 挑战了 ICL 中后门植入需要微调的普遍观念。如图 1 所示,它仅依靠 ICL 成功诱导 LLM 输出预定义的目标标签。
此外,鉴于现有的后门防御算法无法有效缓解 ICLAttack,我们提出了 ICLDefense,1 一种专门设计用于对抗 ICLAttack 的防御算法,该算法扩展了我们之前的会议论文 [12]。ICLDefense 利用模型集成算法引入额外的概率分布,该分布源自小规模辅助模型。该概率分布用于调整 ICL 模型,改变触发器与目标标签之间的对齐关系,细化 LLM 的输出并降低后门激活的风险。从信息瓶颈 [13], [14] 的角度,我们提供了 ICLDefense 算法的有效性分析,这可能有助于减少后门特征与目标输出之间的互信息。得益于此,ICLDefense 提供了一种专门设计用于对抗上下文学习后门攻击的新型防御范式,并以最小的计算开销实现了这一目标。
我们进行了综合实验以评估我们的 ICLAttack 和 ICLDefense 方法的有效性。ICLAttack 在保持干净准确率的同时实现了高攻击成功率。例如,当在 SST-2 数据集上攻击 OPT-13B 模型时,我们观察到 100% 的攻击成功率,干净准确率仅下降 1.87%。此外,ICLAttack 可以适应各种规模的语言模型并适应多种触发器模式。对于防御 ICLAttack,我们的 ICLDefense 在保持模型性能的同时有效降低了攻击成功率。主要贡献总结如下:
•我们引入了 ICLAttack,一种面向 ICL 的免微调后门框架。它通过被污染的演示示例或提示格式短语植入触发器 - 目标关联,无需访问或修改 LLM 参数。
•针对 ICLAttack,我们引入了一种基于模型集成的创新防御算法,名为 ICLDefense。该算法集成一个较小规模的辅助模型来调整 ICL 模型的概率分布,有效破坏触发器与目标标签之间的对齐。
•我们展示了 LLM 在 ICL 期间的普遍脆弱性,大量实验表明,演示上下文可以被植入恶意后门,诱导 LLM 按照攻击者的意图行事。
•我们的研究揭示了与上下文学习相关的潜在风险。通过我们的调查,我们寻求提高对对抗此类攻击必要性的警惕性,从而加强 NLP 社区的安全。

章节片段
相关工作
后门攻击:后门攻击旨在操纵模型行为以符合攻击者的意图,例如当输入样本中包含预定义的后门触发器时,诱导错误分类 [15]。在后门攻击中,范式可按类型分为毒标签攻击和干净标签攻击 [16]。在毒标签后门攻击中,攻击者篡改训练数据及其相应标签,而干净标签后门攻击涉及改变
威胁模型
我们为文本分类任务中的 ICL 威胁模型提供了正式的问题公式化描述。不失一般性,该公式可扩展到其他 NLP 任务。设 M 为具备上下文学习能力的 LLM,设 D 为包含文本实例 xi 及其相应标签 yi 的数据集。任务是将每个实例 x 分类为 Y 个类别之一。攻击者旨在通过提供精心制作的演示集 S′ 和 x′ 来操纵模型 M,导致 M 产生
面向上下文学习的后门攻击
与之前基于微调语言模型以嵌入后门的方法,或依赖基于梯度的搜索来设计对抗样本的方法不同,我们引入了 ICLAttack,一种基于上下文学习的更直观且隐蔽的攻击策略。ICLAttack 背后的基本概念是利用向演示上下文插入触发器来诱导或操纵模型输出。因此,两个自然的问题是:触发器如何设计?
ICLAttack 的防御算法
在本节中,我们介绍了一种针对 ICLAttack 的新型防御算法,该算法涉及集成小规模辅助模型来校正模型响应,从而避免激活后门。
实验细节
数据集和大语言模型:为了验证所提出后门攻击方法的性能,我们选择了三个文本分类数据集:SST-2、OLID 和 AG's News 数据集。我们使用一系列 LLM 进行了大量实验,包括 OPT (1.3B, 2.7B, 6.7B, 13B, 30B 和 66B)、GPT-NEO (1.3B 和 2.7B)、GPT-J (6B)、GPT-NEOX (20B)、MPT (7B 和 30B)、Falcon (7B、40B 和 180B) 以及 GPT-4。这种选择允许对既定... 跨领域的攻击效力进行彻底评估
针对 ICLAttack 的防御
为了验证我们的防御算法针对 ICLAttack 的有效性,我们进行了一系列实验,其中包括与五种广泛使用的防御算法的比较。
ICLDefense 的防御性能:如图 12 所示,我们首先观察到 ONION 算法针对 ICLAttack 没有表现出良好的防御性能,并且在某些设置中甚至产生负面影响。这是因为 ONION 是一种基于令牌级后门攻击的防御算法,无法
结论
在本工作中,我们探索了大语言模型在 ICL 框架下易受后门攻击侵害的脆弱性。为了执行攻击,我们创新地设计了基于污染演示示例和污染演示提示的后门攻击方法。我们的方法保留了样本的正确标记,同时消除了微调大语言模型的需求,从而有效确保了语言模型的泛化性能。此外,
CRediT 作者贡献声明
Shuai Zhao:撰写 – 审稿与编辑,撰写 – 原稿,可视化,验证,软件,资源,方法论,调查,形式分析,数据管理,概念化。Zhongliang Guo:撰写 – 审稿与编辑,撰写 – 原稿,可视化,方法论,形式分析,数据管理。Luwei Xiao:撰写 – 原稿,验证,软件,数据管理,概念化。Cong-Duy Nguyen:撰写 – 原稿,可视化,验证,资源,
生成式人工智能声明
作者声明在撰写或准备本手稿过程中未使用任何生成式人工智能工具。
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系,这些利益或关系可能会影响本文报道的工作。
致谢
本工作得到新加坡国家研究基金会(National Research Foundation, Singapore)在国家大语言模型资助计划(AISG 奖金编号:AISG-NMLP-2024-005)下的支持。
Shuai Zhao|Zhongliang Guo|Luwei Xiao|Cong-Duy Nguyen|Yanhao Jia|Xinyi Wu|Luu Anh Tuan
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号