通过精细函数剪枝技术消除对Vision Kolmogorov-Arnold网络的背门攻击

《Knowledge-Based Systems》:Eliminating backdoor attacks on Vision Kolmogorov-Arnold Networks via fine-function pruning

【字体: 大 中 小 】 时间:2026年01月01日 来源:Knowledge-Based Systems 7.6

编辑推荐:

  本文系统评估Vision-KAN模型对抗后门攻击的鲁棒性,发现其相较于ViT具有更强的防御潜力。提出细粒度功能剪枝(FFP)方法,通过扰动可学习激活函数系数并结合不完全剪枝优化,有效抑制后门攻击成功率达85.3%,同时保持清洁数据集98.2%的准确率。

  
唐宇琦|袁博|陈正鹏|杨杰|戴天阳|陈勇
重庆理工大学机械工程学院,中国重庆401320

摘要

尽管Vision-KAN在各种视觉任务中表现出色,但其基于可学习激活函数系数的独特结构可能会引入新的安全漏洞,特别是在后门攻击的背景下。为了解决这个问题,我们系统地评估了Vision-KAN对抗后门攻击的鲁棒性,旨在发现潜在的弱点并为开发有效的防御策略提供见解。基于这一分析,我们提出了一种称为“精细函数剪枝”(FFP)的防御策略。该方法对KAN层中的可学习激活系数进行有针对性的扰动,然后使用干净的验证数据进行不完全剪枝和微调。这种方法在保持模型对干净样本性能的同时,有效降低了后门攻击的成功率。大量的实验结果证明了FFP的有效性,为提高基于KAN的模型对抗后门威胁的安全性提供了宝贵的见解。

引言

随着深度学习技术的广泛应用[1]、[2]、[3]、[4],人们对这些模型的安全漏洞越来越关注[5]、[6]、[7]。由于深度神经网络的“黑箱”性质及其对训练数据的高敏感性,这些模型特别容易受到攻击者的操纵,从而导致预测结果的恶意干扰。在这些威胁中,后门攻击因其高度隐蔽性和针对性而成为深度学习安全领域的核心关注点。如图1所示,后门攻击的过程通常能够逃避标准测试程序的检测,在模型部署期间带来重大的安全风险。
为了减轻模型中的潜在后门问题,研究人员提出了多种防御策略,从数据预处理和架构修改到参数级别的剪枝和微调[9]、[10]、[11]、[12]。其中,微调[7]因其可扩展性和对外部数据的独立性而受到了广泛关注。这些方法旨在通过识别和移除与后门行为表现出强相关性的神经元来抑制被污染的特征。然而,现有的剪枝技术通常存在两个主要限制:(1)它们依赖神经元激活强度作为主要的剪枝标准,可能会导致无意中移除对正常行为至关重要的神经元;(2)为了提高防御效果而增加剪枝强度通常会以在干净样本上的性能大幅下降为代价。正如吴等人[13]、[14]所指出的,基于剪枝的防御高度依赖于底层网络架构,剪枝策略的粒度与精度直接影响防御效果和模型效用之间的权衡。
KAN[15]作为一种新兴的神经架构,引入了更复杂的网络结构,这可能允许进行更细粒度的剪枝以防御后门攻击。与传统的多层感知器(MLP)架构[16]、[17]、[18]不同,KAN受到Kolmogorov-Arnold表示定理[19]、[20]的启发,用可学习的样条函数[21]、[22]替代了神经元之间的标准权重连接,从而在保持架构简洁性的同时显著提高了函数逼近能力。KAN在图回归[23]、时间序列建模和物理模拟[24]、[25]等各种任务中表现出色。它的成功在计算机视觉社区引起了广泛关注,研究人员开始探索将KAN集成到视觉任务中[26]、[27]、[28]。在[26]中,KAN被集成到Vision Transformer(ViT)[4]中,形成了Vision-KAN模型,其中ViT中的MLP模块被KAN模块替换。这一修改在一系列计算机视觉任务中取得了显著的结果。
尽管Vision-KAN在各种视觉任务中表现优异,但其复杂的基于函数的连接结构是否引入了新的安全漏洞仍不清楚。与传统MLP架构相比,KAN在函数表示方面具有更大的灵活性,这可能使其更容易受到后门攻击的触发,甚至引入新的攻击面。此外,现有的基于剪枝的防御通常依赖于激活幅度作为剪枝标准,其在KAN架构中的适用性尚未得到验证。为了研究这一点,我们使用Vision-KAN-tiny模型在CIFAR-100[31]数据集上进行了混合后门攻击[29]、[30],中毒率为10%。如图2所示,我们的发现表明,激活值较小的神经元并不一定与后门行为有更强的相关性。因此,研究Vision-KAN对抗后门攻击的鲁棒性并开发针对其独特架构特性的防御机制至关重要。
为了解决上述问题,本文系统地评估了Vision-KAN和ViT在八种代表性后门攻击下的鲁棒性:BadNets、Blend、WaNet、Refool、Color、ISSBA、Bppattack和BadViT。实验结果表明,在相似条件下,Vision-KAN在干净数据上的准确率几乎不受影响,而攻击成功率显著低于ViT,表明其具有内在的防御潜力。受此观察的启发,我们进一步提出了一种称为“精细函数剪枝”(FFP)的后门防御方法,该方法结合了可学习函数扰动和部分剪枝。该方法通过扰动KAN内激活函数系数的范数来放大潜在后门神经元的差异,应用基于Sigmoid的缩放策略进行部分剪枝,并通过微调来提高整体模型性能和安全性。实验结果证实,FFP在保持原始任务识别准确性的同时有效抑制了后门攻击。
总结来说,本文的主要贡献如下:
  • •
    本研究调查了Vision-KAN模型对抗后门攻击的鲁棒性。与其他主流模型(如ViT)相比,Vision-KAN在各种后门攻击场景下的攻击成功率较低。
  • •
    我们提出了一种针对KAN模型的后门防御方法——精细函数剪枝(FFP)。通过利用可学习激活函数的独特属性,我们引入了一种部分剪枝策略,显著提高了模型对抗后门攻击的鲁棒性。
  • •
    进行了广泛的实验来验证所提出防御方法的有效性。结果表明,它在保持干净数据集分类性能的同时显著降低了攻击成功率。
  • 本文的其余部分组织如下:第2节介绍了KAN网络、后门攻击技术和现有的防御方法。第3节介绍了所提出的精细函数剪枝(FFP)后门防御方法。第4节提供了实验评估,包括实验设置、后门攻击实验、防御性能、鲁棒性分析和可视化分析。最后,第5节总结了本文。

    章节片段

    初步知识

    本节将介绍与神经网络和后门方法相关的背景知识。

    方法论

    在本节中,我们首先定义了攻击者和防御者的能力,然后介绍了FFP防御方法的动机和技术细节。

    实验验证

    未来工作

    在这项研究中,我们对Vision-KAN模型在后门攻击下的行为进行了全面调查。大量实验表明,与ViT相比,KAN在面对微妙图像扰动时表现出更强的鲁棒性。
    然而,Vision-KAN在更强的图像扰动下仍然容易受到后门威胁。为了解决这个问题,我们分析了KAN层中激活函数系数与

    CRediT作者贡献声明

    唐宇琦:撰写——原始草稿,可视化,方法论。袁博:研究。陈正鹏:研究。杨杰:研究,数据整理。戴天阳:数据整理。陈勇:撰写——审阅与编辑,监督。

    利益冲突声明

    作者声明他们没有已知的竞争财务利益或个人关系可能影响本文所述的工作。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号