DUST-NS:通过神经网络显著性实现MLLM中的双主干稀疏调优

《Neurocomputing》:DUST-NS: Dual-backbone sparse tuning through neuron saliency in MLLMs

【字体: 大 中 小 】 时间:2026年03月29日 来源:Neurocomputing 6.5

编辑推荐:

  任务特定神经元在多模态大语言模型视觉与语言模块中的分布规律及高效调优方法研究。

  
赵晓勇|杨洁斌|王磊|王宁宁|何一宝
北京信息科技大学管理科学与工程学院,北京,100192,中国

摘要

现有的大多数多模态大型语言模型(MLLMs)采用了一种统一的架构,将视觉变换器(ViT)与大型语言模型(LLM)集成在一起。最近的研究表明,LLMs中存在特定于任务的神经元,这些神经元类似于人类大脑中的神经元,它们对不同的任务表现出不同的功能 specialization。在此基础上,我们进一步研究了视觉模块内的神经元分布,发现这两个模块具有相似的分布模式。我们观察到,在模型的深层中,各种任务中都普遍存在特定于任务的神经元。特别是在最后一层的输出中,我们识别出了大量的此类神经元。高斯噪声的扰动实验表明,破坏这些神经元会导致特定于任务的功能完全丧失。受这些发现的启发,我们提出了 DUST-NS(通过多模态大型语言模型中的神经元显著性进行双重骨干稀疏调整),这是一种稀疏调整框架,可以通过动态识别和更新视觉和语言骨干中的关键任务神经元来实现参数高效的微调。具体来说,我们的方法在推理过程中实时监控和记录神经元激活情况,以识别显著的神经元,并通过非结构化梯度掩蔽来应用选择性参数更新。在多个任务上的实验表明,即使只更新模型参数的1%,我们的方法也始终优于现有的最佳基线(如LoRA)。

引言

在现有的研究中,神经科学研究[2]表明,灵长类动物前额叶皮层中的神经元表现出特定于任务的激活模式;也就是说,并非所有神经元在每个任务中都处于活跃状态。这一神经机制也在深度学习中得到了证实,多项研究[8]、[11]、[31]表明大型语言模型(LLMs)中存在特定于任务的神经元。然而,无论是LLMs还是多模态大型语言模型(MLLMs),迄今为止的神经元级分析都仅集中在语言模块上,尽管像BLIP-2 [21]和LLaVA [25]这样的MLLMs通过桥接模块将视觉编码器(如视觉变换器(ViTs)[10]与LLMs(例如FlanT5和LLaMA [6]、[33])集成在一起。值得注意的是,先前的研究[27]表明,人类大脑在视觉处理过程中表现出明显的神经元激活空间分布的功能专业化。因此,我们假设特定于任务的神经元并不局限于MLMMs的语言模块中。
为了研究这一点,我们将神经元激活状态的分析扩展到了ViT模块。使用一组代表性的推理任务,我们统计分析了两个模块中的平均神经元激活情况,并按降序对它们进行了排名。在提取对任务敏感的神经元(前1%)时,我们发现ViT和LLM模块显示出相似的层间分布模式,其特征是活跃神经元的层次聚类。这种跨模态一致性表明,ViT模块在MLMMs中的基本操作机制与LLM模块一致,这可能是由于它们基于Transformer的架构相同。值得注意的是,在ViT模块中,特定于任务的神经元在层间的聚集更为明显,层间的聚类更加清晰。
基于这些发现,我们提出了DuST-NS(通过多模态大型语言模型中的神经元显著性进行双重骨干稀疏调整),这是一种新颖的多模态特异性调整方法。这种方法通过钩函数在推理过程中动态捕获ViT和LLM模块中的神经元激活状态,根据平均激活值识别出前1%的特定于任务的神经元,并结合梯度掩蔽技术[38]来实现针对这些神经元的高效参数微调。实验结果表明,我们的方法在多种任务上始终优于LoRA和其他微调方法。
本文的核心贡献如下:
  • a.
    据我们所知,我们是第一个识别并实验验证ViT模块中存在特定于任务的神经元的人。我们的跨模态分析进一步揭示了ViT和LLM模块的神经元激活模式具有显著的相似性,表明基于Transformer的架构中视觉和语言信息有共同的处理机制。
  • b.
    我们通过向随机抽样的神经元群体或最相关的1%的神经元中注入高斯噪声,系统地评估了这些神经元的功能重要性。在扰动实验中,破坏前1%的神经元会导致任务完全失败,而扰动随机对照组对性能的影响可以忽略不计。
  • c.
    基于这些发现,我们提出了一种针对多模态大型语言模型的新颖稀疏微调框架。通过利用预先识别的特定于任务的神经元,我们的框架在多个基准数据集上始终优于LoRA和其他已建立的基线,同时提高了模型的可解释性。
  • 章节片段

    视觉变换器

    视觉变换器(Vision Transformers)是将Transformer架构扩展到视觉领域的一个重要里程碑。其核心创新在于摒弃了传统卷积神经网络(CNNs)[19]中固有的显式局部归纳偏见(如局部性和平移等价性),而是通过自注意力机制纯粹地建模全局空间依赖性。给定一个输入图像,ViT将其划分为个不重叠的补丁,每个补丁的大小为,然后进行线性处理

    方法

    为了实现对多模态大型模型的有效端到端稀疏微调,我们提出了一个新颖的双模块微调框架(如图1所示)。该框架包括一个神经元选择模块和一个梯度掩蔽模块,两者协同工作。具体来说,在样本数据有限的前向推理阶段,我们统计分析内部神经元的激活分布,并根据激活情况选择最关键的1%的神经元进行掩蔽

    模型

    在我们的实验中,我们使用了三个代表性的多模态模型:Qwen2-VL [35]、Qwen2.5-VL-3B [32]和InternVL2_5-2B [5]。Qwen2-VL将基于ViT的视觉编码器与Qwen2语言骨干[39]集成在一起,并通过基于补丁的编码方案支持可变分辨率的输入。Qwen2.5-VL-3B通过采用下一代动态分辨率ViT、增强的跨模态对齐和升级的Qwen2.5语言模型,实现了更强的特征提取

    结论

    在本文中,我们研究了大型多模态模型中特定于任务的神经元的分布,观察到ViT和LLM模块中都存在一致的模式,其中功能相关的神经元主要集中在较深的层中。在ViT架构中,这种效应在前1%的选择标准下尤为明显。扰动实验进一步证实了这些神经元的功能重要性,因为破坏它们会导致下游任务的严重退化

    手稿准备过程中生成式AI和AI辅助技术的声明

    在准备这项工作时,作者使用了DeepSeek-R1来完善写作。使用该工具后,作者根据需要对内容进行了审查和编辑,并对已发表文章的内容负全责。

    CRediT作者贡献声明

    赵晓勇:写作 – 审稿与编辑、监督、概念化。杨洁斌:写作 – 原始草稿、可视化、验证、方法论、形式分析。王磊:写作 – 审稿与编辑、监督、项目管理。王宁宁:写作 – 审稿与编辑、资金获取。何一宝:数据管理。

    利益冲突声明

    作者声明他们没有已知的财务利益或个人关系可能影响本文报告的工作。
    赵晓勇是北京信息科技大学的副教授。曾在新加坡南洋理工大学完成博士后研究。参与了多个国家和市级研究项目,包括由中国国家自然科学基金、国家关键研发计划、国家科技支持计划和北京市教育委员会支持的项目。研究兴趣包括人工智能
    相关新闻
    生物通微信公众号
    微信
    新浪微博

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号