针对大型语言模型的后门防御机制:从弱到强的知识蒸馏方法

《Pattern Recognition》:Backdoor Defense for Large Language Models with Weak-to-Strong Knowledge Distillation

【字体: 大 中 小 】 时间:2026年01月04日 来源:Pattern Recognition 7.6

编辑推荐:

  参数高效微调(PEFT)虽提升模型效率,却易受背门攻击。本文提出基于特征对齐知识蒸馏的弱转强防御算法W2SDefense,通过小规模教师模型引导受污染大模型消融内部化背门,并设计轻量版W2SDefense-Lite优化计算效率。理论分析证明其有效性,实验表明该算法能有效防御背门攻击且不损模型性能。

  
李宇文|吴新怡|郭忠良|肖 luwei|贾彦豪|赵帅
中国沈阳东北大学理学院,110819

摘要

参数高效微调(PEFT)可以弥合大型语言模型与下游任务之间的差距。然而,PEFT已被证明容易受到恶意攻击。研究表明,即使经过PEFT处理,被植入后门的LLM在输入样本包含预定义触发器时仍能激活这些后门。为了防御后门攻击,本文提出了一种基于特征对齐知识蒸馏的新型从弱到强的防御算法,称为W2SDefense。具体而言,我们首先通过全参数微调训练一个小规模语言模型作为干净的教师模型。然后,该教师模型利用PEFT引导大规模的被植入后门的模型分离后门特征。此外,我们还提出了W2SDefense-Lite算法,进一步优化了W2SDefense。该算法结合了基于低秩适应的小规模教师模型和基于弗罗贝尼乌斯范数的轻量级特征偏移惩罚知识蒸馏算法,显著降低了额外的计算开销和模型复杂性。理论分析表明,W2SDefense及其Lite版本有望提高模型通过PEFT消除后门特征的能力。实验结果证明了所提算法在防御后门攻击方面的出色性能,同时不会影响模型性能。

引言

近年来,大型语言模型(LLMs)在各个领域展现了显著的能力[2]。尽管全参数微调(FPFT)范式在多个自然语言处理(NLP)任务上取得了最先进的性能,但随着LLM参数数量的增加,FPFT变得越来越具有挑战性,需要大量的计算资源,这限制了LLM的可扩展性和更广泛的应用。为了解决这个问题,提出了一系列参数高效微调(PEFT)算法,如LoRA [3]、p-tuning [4]和FourierFT [5]。这些PEFT方法只更新少量模型参数,为LLM的下游任务微调提供了有效的替代方案。研究表明,PEFT方法可以在保持模型性能的同时显著降低计算资源消耗。
正如硬币有两面,尽管PEFT取得了令人印象深刻的性能,但它们也因易受安全漏洞影响而受到批评[6]、[7],特别是后门攻击[8]、[9]。最近的研究表明,如果第三方LLM被植入后门,即使在PEFT之后这些后门仍可以被激活[10]。如图1所示,当用户在目标任务上微调被植入后门的LLM时,模型的响应会持续被操纵。这是因为PEFT不需要更新受害LLM的所有参数,使得模型难以忘记或消除嵌入的后门,尤其是与FPFT相比。随着PEFT在LLM微调中的广泛应用,探索针对PEFT的后门攻击防御算法变得至关重要。
对于后门攻击,其基本概念是攻击者通过训练策略性地破坏训练数据集,将恶意功能内置于语言模型中[11]、[12]。在模型测试阶段,当遇到预定义的触发器时,模型将始终输出攻击者指定的内容。尽管现有的防御方法显示出有希望的有效性,但它们也存在缺点,这些缺点对其实际应用产生了不利影响。一方面,大多数防御算法倾向于牺牲模型的正常性能以增强防御能力。另一方面,随着模型参数数量的增加,基于FPFT的防御算法需要大量的计算资源,实施起来变得越来越困难。因此,本研究的目标是:1. 利用PEFT消除模型权重中嵌入的后门特征,而不影响模型性能(第4节);2. 设计在效率和效果之间取得最佳平衡的防御算法(第5节)。
为了实现上述目标,本文提出了一种新型的后门防御算法——从弱到强的防御(W2SDefense),它使被植入后门的模型能够通过从干净的教师模型中进行知识蒸馏来净化后门特征。具体来说,我们使用一个经过全参数微调的小规模语言模型作为干净的教师模型。然后,我们提出了一种基于特征对齐的知识蒸馏方法,指导被植入后门的模型忘记其权重中嵌入的后门。该方法通过特征对齐优化和知识蒸馏将学生模型的特征与教师模型的特征对齐,同时只更新少量参数。这使得被植入后门的模型能够以最小的修改分离后门。因此,W2SDefense在保持学生模型性能的同时实现了高计算效率。
此外,考虑到W2SDefense需要对教师模型进行FPFT,这可能会产生额外的计算开销,以及特征对齐知识蒸馏中的多个损失组件会增加训练复杂性,我们设计了一种更高效的后门防御机制:W2SDefense-Lite算法。该算法通过采用低秩适应策略对教师模型进行微调,显著降低了教师模型训练阶段的计算成本。另外,为了降低模型复杂性,我们提出了一种基于弗罗贝尼乌斯范数的新型特征偏移惩罚知识蒸馏算法。这种知识蒸馏策略简化了训练损失组件的结构,使方法更加高效。从信息论的角度来看,W2SDefense及其Lite版本可以优化学生模型的信息瓶颈,仅通过对模型参数进行最小修改即可消除后门特征。
为了验证W2SDefense及其Lite版本的有效性,我们进行了一系列实验,涉及多种任务、三种类型的后门攻击算法和最先进的LLM。与广泛使用的防御方法相比,我们提出的方法在不牺牲模型准确性的同时实现了最佳的防御性能,并展示了强大的鲁棒性和泛化能力。在本文中,我们在两个关键领域大幅扩展了之前的会议论文[1]:a) 优化教师模型架构以减少计算资源消耗;b) 设计一种新型知识蒸馏算法以降低模型复杂性。总结我们的贡献如下:
  • •
    我们提出了W2SDefense,一种新型的后门防御算法。它通过使用PEFT进行特征对齐知识蒸馏来引导被植入后门的LLM消除后门,从而在保持计算效率的同时防御后门攻击。据我们所知,W2SDefense是第一个将知识蒸馏与PEFT结合的防御算法。
  • •
    我们提出了一种轻量级的从弱到强的知识蒸馏算法,该算法利用高效微调的教师模型和基于弗罗贝尼乌斯范数的特征偏移惩罚知识蒸馏范式来进一步优化W2SDefense算法。这种算法显著降低了计算资源消耗和模型复杂性。
  • •
    我们从理论和实验上证明了特征对齐知识蒸馏和特征偏移惩罚知识蒸馏在防御后门攻击方面的有效性。这为使用知识蒸馏分离后门特征提供了新的视角。
  • •
    这项研究丰富了利用知识蒸馏进行后门攻击防御的理解,强调了在NLP社区内建立全面后门消除机制的重要性,并为确保LLM安全提供了有价值的见解。
  • 相关工作

    相关研究

    后门攻击:随着大型语言模型(LLMs)的广泛应用[13],模型安全问题引起了研究人员的关注。后门攻击是对模型安全的一种典型威胁,其基本概念是攻击者在训练过程中破坏训练数据集,在语言模型中嵌入恶意触发模式[14]。在测试阶段,当输入样本包含预定义的触发器时,模型的响应将被操纵,

    问题陈述

    在本节中,我们介绍了关于后门攻击和防御的威胁模型,并指出了PEFT的潜在安全漏洞。

    从弱到强的知识蒸馏

    鉴于PEFT在完全消除后门效应方面的局限性,探索新的防御算法是必要的。知识蒸馏是一种潜在的解决方案,其中学生模型从教师模型中吸收行为。这种方法通过重构知识库提供遗忘机制,有效缓解了内化的后门问题。传统的知识蒸馏通常需要对学生模型进行FPFT;然而,随着参数数量的增加

    轻量级的从弱到强的知识蒸馏

    尽管第4节中介绍的W2SDefense在防御后门攻击方面表现出色,但由于依赖于教师模型的全参数微调(FPFT),它会产生额外的计算开销。此外,特征对齐损失和知识蒸馏损失的出现不可避免地增加了超参数的数量,从而提高了模型的整体复杂性。为了解决上述问题,本文设计了W2SDefense-Lite

    实验

    在本节中,我们介绍了实验细节,包括数据集、攻击算法、防御方法、评估指标和设置。然后,我们对结果进行了全面分析,并讨论了消融研究。

    结论

    在这项工作中,我们专注于防御针对被植入后门的模型权重的后门攻击。为了促进参数高效微调(PEFT)中后门的分离,我们提出了一种名为W2SDefense的新型从弱到强的防御算法,它利用弱教师模型引导大规模学生模型通过特征对齐知识蒸馏消除后门。此外,为了进一步提高防御算法的效率,我们设计了W2SDefense-Lite,

    未引用的浮点数

    图3

    CRediT作者贡献声明

    李宇文:写作 – 审稿与编辑,撰写原始草稿,可视化,验证,软件,资源,方法论,调查,数据策划,概念化。吴新怡:撰写原始草稿,可视化,调查,形式分析,数据策划。郭忠良:写作 – 审稿与编辑,撰写原始草稿,可视化,资源,方法论,概念化。肖 luwei:写作 – 审稿与编辑,可视化,软件,方法论,调查,数据

    利益冲突声明

    作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
    李宇文于2021年获得中国宁夏宁夏大学的物理学硕士学位。她目前正在中国沈阳东北大学理学院攻读物理学博士学位。她的研究兴趣包括反铁磁自旋电子学、深度学习在物理学中的应用、大型语言模型和模型安全。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号