LG-RobustSAM:一种适用于退化场景的轻量级且鲁棒的分割模型

《Neurocomputing》:LG-RobustSAM: A lightweight and robust segmentation model for degraded scenarios

【字体: 大 中 小 】 时间:2026年04月06日 来源:Neurocomputing 6.5

编辑推荐:

  提出基于知识蒸馏和渐进式鲁棒提示蒸馏的轻量级模型LG-RobustSAM,在降低79%参数量的同时实现15倍加速推理,有效缓解图像退化导致的分割不稳定问题。

  
陈明欣|王福伟|王伟民|高新浩|刘钊|曹申毅
辽宁石油化工大学,113001,抚顺,中国

摘要

Segment Anything Model(SAM)在零样本分割和泛化能力方面表现出色,但其庞大的ViT-H编码器带来了较高的计算和内存开销,并且在图像质量下降时性能会受到影响。RobustSAM在退化条件下提高了模型的鲁棒性,但仍依赖于庞大的ViT-H编码器。在本文中,我们提出了LG-RobustSAM,这是一种适用于退化场景的轻量级且鲁棒的分割模型。我们的方法将ViT-H编码器的知识提炼到一个紧凑的骨干网络中,大幅降低了计算复杂度。此外,我们引入了Progressive Robust Prompt Distillation(PRPD),通过迭代提示来更好地模拟交互动态,并提高模型在稀疏或未见过的提示下的适应能力。同时,Consistency-Guided Supervision(CGS)减轻了退化引起的表示偏移,提升了分割性能。在相同的设置下,LG-RobustSAM的参数减少了79%,推理速度提高了15倍,并且与RobustSAM相比显著降低了内存使用量。在合成和真实退化场景下的实验表明,LG-RobustSAM在效率、鲁棒性和分割精度之间取得了良好的平衡,同时在多种退化场景下优于其他轻量级SAM基线模型。这些结果表明,LG-RobustSAM为退化条件下的交互式分割提供了一个有效的轻量级解决方案。

引言

图像分割作为计算机视觉中的一个基本任务,广泛应用于医疗诊断、遥感、视频理解和人机交互等领域[1]、[2]、[3]。传统的监督式分割方法依赖于大规模标注的数据集来训练特定任务的模型。然而,在面对跨领域迁移或实际应用中的图像退化时,这些模型的泛化能力往往不足[4]、[5]。随着自监督学习和大规模预训练的进步,视觉基础模型(VFMs)逐渐成为提升模型泛化和多任务适应性的重要手段。
Meta AI提出的Segment Anything Model(SAM)是一种基于提示的通用分割模型,具有强大的零样本分割能力和跨任务泛化能力,是图像分割领域的一个里程碑。然而,其ViT-H编码器(含有大量参数)导致推理速度慢且内存开销大,使得在移动设备和边缘设备上的实时部署变得不可行[7]、[8]、[9]。此外,在实际退化情况下,其掩码预测常常不稳定,从而影响依赖于分割先验的下游任务[10]。为了解决这个问题,RobustSAM引入了抗退化模块(AOTG和AMFG),虽然提高了鲁棒性,但仍依赖于庞大的ViT-H编码器,导致部署成本较高。因此,在退化场景下,基于SAM的模型面临双重挑战:高部署成本和视觉退化下的不稳定分割。这个问题尤为困难,因为基于提示的分割依赖于强大的图像表示来准确关联稀疏的用户提示和对象区域,而模糊、噪声和低光照等退化会削弱结构线索,使掩码边界变得不可靠。同时,减轻编码器的重量可以降低计算成本,但也可能削弱表示能力,使得在退化输入下难以同时保持提示响应性和鲁棒性。
为了降低SAM的部署成本,人们提出了许多轻量级变体。一些方法通过架构重构来提高效率,例如FastSAM、EdgeSAM和EfficientViT-SAM[7]、[9]、[12];另一些方法则通过蒸馏或模型压缩将大型SAM编码器的能力转移到紧凑的骨干网络中,如MobileSAM[8]、EfficientSAM[13]及相关紧凑型SAM变体[14]、[15]。尽管这些方法显著提高了推理效率,但大多数主要针对标准图像场景开发,并未明确解决退化条件下基于提示的分割的鲁棒性问题。
现有方法主要关注轻量级设计或鲁棒性。因此,我们的核心挑战——在大幅降低部署成本的同时保持退化输入下的可靠分割——尚未得到充分解决。为了解决这一差距,我们提出了LG-RobustSAM,这是一种适用于退化场景的轻量级且鲁棒的分割模型。我们的框架保留了RobustSAM的抗退化能力,同时通过知识蒸馏将其庞大的图像编码器替换为轻量级的子模型,从而大幅减少了模型大小和推理成本。为了进一步提高在退化条件下的提示适应性和鲁棒性,我们引入了Progressive Robust Prompt Distillation(PRPD)和Consistency-Guided Supervision(CGS)。PRPD提高了模型在迭代交互中从稀疏和多样化提示中受益的能力,而CGS通过鼓励退化路径与干净路径之间的对齐来减轻退化引起的表示偏移。这些设计共同使得LG-RobustSAM在效率、准确性和鲁棒性之间取得了更好的平衡,如图1所示。
我们的贡献如下:
  • 我们提出了一种轻量级且鲁棒的分割模型LG-RobustSAM,其参数减少了约79%,推理速度提高了15倍。
  • 我们提出了Progressive Robust Prompt Distillation(PRPD)和Consistency-Guided Supervision(CGS),以改善在不同提示组合下的提示适应性和减轻退化引起的表示偏移。
  • 我们对LG-RobustSAM在多种退化场景下的分割性能进行了系统评估,验证了其鲁棒性和对不同提示组合的泛化能力。实验结果表明,LG-RobustSAM在准确性和效率之间取得了优于其他轻量级SAM基线的平衡(见图1(b))。

部分内容片段

基于提示的分割和Segment Anything模型

近年来,得益于大规模预训练和基于提示的学习[16],基于提示的分割成为图像分割领域的一个重要研究方向。Segment Anything Model(SAM)是一项开创性工作,以其强大的通用分割能力、对各种提示的高适应性和出色的零样本迁移性能而脱颖而出。它采用了预训练有MAE的ViT-H编码器[17],并结合了一个轻量级的提示编码器

初步介绍:RobustSAM

RobustSAM是在SAM的基础上构建的、具有增强鲁棒性的分割模型。整体框架遵循编码器-解码器范式,包括图像编码器、提示编码器、掩码解码器以及两个抗退化模块AMFG和AOTG。图像编码器采用ViT-H架构,生成最终图像嵌入及其早期层提取的补充特征。这些特征支持掩码预测并实现退化不变的特征学习。

数据集

我们通过采样RobustSAM中引入的Robust-Seg数据集的五分之一,构建了一个轻量级训练子集。原始图像来自MSRA10K、ThinObject5K和LVIS,并分别添加了15种合成视觉退化(如模糊、噪声和低光照条件),以生成多样化的退化实例。这种配置确保了模型在不同图像质量下的充分训练,从而提高了其鲁棒性和泛化性能。

训练流程

结论

本文提出了LG-RobustSAM,这是一种适用于退化图像场景的轻量级且鲁棒的分割模型。所提出的框架结合了两种关键设计:首先,我们将ViT-H编码器的知识提炼到一个紧凑的骨干网络中,大幅降低了计算和内存开销;其次,我们引入了Progressive Robust Prompt Distillation(PRPD),利用跨图像掩码差异动态采样纠正性提示

CRediT作者贡献声明

陈明欣:概念设计。王福伟:监督工作。王伟民:监督工作。高新浩:可视化处理。刘钊:可视化处理。曹申毅:可视化处理。

利益冲突声明

作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。
陈明欣于2023年获得中国金陵理工学院的电子科学与技术学士学位。她目前是辽宁石油化工大学人工智能与软件学院的研究生,研究方向包括图像分割。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号