具有原型批量更新功能的双原型对齐网络,用于小样本语义分割

《Neurocomputing》:Dual-prototype alignment network with prototype batch updating for few-shot semantic segmentation

【字体: 大 中 小 】 时间:2026年03月21日 来源:Neurocomputing 6.5

编辑推荐:

  少样本语义分割中提出双分支原型网络,通过全局原型池积累稳定视觉特征,原型对齐模块缓解视觉与语言原型分布差异,自适应融合机制动态平衡多模态信息,在SBD、Pascal VOC 2012和Cityscapes上mIoU分别提升1.84%、11.16%和0.77%。

  
刘海鹏|陈晓明|赵张燕|邹宇航|徐家军
中国武汉工业大学交通与物流工程学院

摘要

少样本语义分割(FSS)旨在仅使用有限数量的标注样本来分割新类别,其中原型学习方法从支持图像中提取原型以指导查询图像的分割。然而,当应用于查询图像分割时,来自有限支持图像的原型无法覆盖目标类别的所有变化。本文提出了一种具有原型批量更新的双分支少样本分割网络,以提高原型的稳定性。该双分支架构包括通过掩码平均池化支持特征生成的支持图像原型(SIP),以及通过对比语言-图像预训练(CLIP)得到的语言-图像原型(LIP)。在此架构的基础上,设计了一个全局原型池(GPP),用于跨批次累积原型,并通过动量更新机制整合SIP。为了减少SIP和LIP之间的分布差异,原型对齐模块(PAM)采用对比损失来增强原型级别的一致性。此外,自适应的双原型融合机制利用可学习权重动态平衡SIP和LIP,从而在复杂场景和模糊语义条件下提高适应性。该网络在SBD、Pascal VOC 2012和Cityscapes数据集上表现出一致的性能提升,平均mIoU分别比基线提高了1.84%、11.16%和0.77%。此外,这些结果表明,所提出的框架在训练样本有限的FSS设置中仍然有效。

引言

少样本语义分割(FSS)[1],[2]是一项具有挑战性的任务,它试图仅使用少量标注的支持样本来泛化未见类别。在现有的FSS方法中,原型学习是一种广泛采用的策略[3],[4],其中通过掩码平均聚合支持特征构建类别原型,并用于指导查询图像的像素级分割。另一种方法是提出将原型与匹配机制融合的方法[5],[6]。它们利用原型来实现稳定的全局类别语义,并用匹配策略进行补充。然而,这些方法高度依赖于支持图像的质量。当类别稀疏或在支持图像中存在较大的类别内变化时,原型往往难以形成稳定和具有代表性的类别嵌入,从而导致泛化性能有限[7],[8]。
为了克服传统FSS对有限支持图像的依赖,最近的研究[9],[10]将视觉-语言预训练模型引入FSS,例如对比语言-图像预训练(CLIP)[11]。然而,将CLIP从图像级分类扩展到像素级分割会显著增加可训练参数的数量[12],[13],从而导致计算成本和内存消耗显著增加。因此,侧适配器网络(SAN)[14]能够在冻结的CLIP模型上进行轻量级语义分割,但在少样本设置中的泛化能力有限。因此,双原型网络(DPNet)[15]结合了CLIP文本嵌入来构建语言-图像原型(LIP),并将其与从支持集中提取的支持图像原型(SIP)一起用于执行FSS。该网络同时利用视觉和语言的互补语义线索进行匹配和预测。尽管DPNet取得了显著进展,但它仍然存在一些局限性。一方面,使用单个批次构建原型只能捕捉到少数类别特征,这限制了网络在多类别分割任务中的适用性。另一方面,SIP和LIP的固定权重融合策略缺乏灵活性,难以处理类别之间的较大分布差异。
为了解决上述问题,我们提出了双原型对齐网络(DPANet),它基于DPNet框架构建。具体来说,我们设计了一个全局原型池(GPP),通过动量更新机制跨批次连续累积SIP,构建稳定和具有代表性的类别原型。其次,我们引入了原型对齐模块(PAM)来解决SIP和LIP之间的分布差异。PAM通过投影规范化和对比约束强制实现原型级别对齐,使两种类型的视觉原型之间保持一致对应关系。最后,引入了自适应的双原型融合机制来处理不同场景下视觉和文本原型可靠性的变化。在训练过程中,模型根据特征特性自动调整每种原型类型的贡献。总体而言,本工作的主要贡献可以总结如下:
  • •
    我们提出了一个全局原型池(GPP),通过基于动量的更新跨批次累积和优化类别原型。这显著提高了原型表示的鲁棒性,从而减轻了FSS设置中单批次原型估计引起的不稳定性。
  • •
    我们设计了一个原型对齐模块(PAM),通过强制SIP和LIP之间的对比学习约束来减少特征分布差异。它缓解了两种类型视觉原型之间不一致的对应关系。
  • •
    我们引入了自适应的双原型融合机制,通过可学习参数实现SIP和LIP预测之间的动态协作决策。它适应性地平衡了不同场景下视觉和文本原型可靠性的变化。
  • •
    我们在SBD、Pascal VOC 2012和Cityscapes数据集上进行了类别泛化评估,与基线相比,mIoU分别提高了1.84%、11.16%和0.77%。
  • 章节片段

    基于原型的FSS

    基于原型的FSS方法是一个重要的方向。从支持集中提取类别原型,并通过与查询特征的相似性计算来进行分割,从而实现计算简单且直观的公式。张等人[4]首次引入了掩码平均池化(MAP)来获得类别原型,其中直接应用支持掩码来抑制特征表示中的背景噪声。王等人[5]使用MAP进行提取

    整体框架

    整体架构如图1所示。该网络基于跨框架的双分支架构,并进一步引入了三个关键组件:GPP、PAM和自适应的双原型融合机制。
    首先,一批RGB图像被输入到视觉分支的骨干网络中以提取特征。同时,类别文本描述被输入到CLIP编码器中以生成文本方面的类别嵌入,这些嵌入作为语义表示

    数据集

    SBD(斯坦福背景数据集)[28]旨在评估几何和语义场景理解方法。它包含来自LabelMe、MSRC、PASCAL VOC和Geometric Context的715张图像,这些图像被标注了8个像素级类别。从这715张图像中,我们随机选择4张和10张图像创建新的训练子集Few-4和Few-10,每个子集独立采样三次以确保统计可靠性。
    Pascal VOC 2012[29]广泛用于对象检测,

    结论

    在本文中,我们提出了一种具有原型批量更新的双原型对齐网络(DPANet),用于少样本语义分割,它将全局原型优化与语义对齐相结合。通过构建跨批次累积的全局原型池,模型可以持续聚合支持集下的稳定视觉特征,从而缓解了传统原型方法中的问题,如对单批次样本的敏感性和原型波动。

    CRediT作者贡献声明

    刘海鹏:撰写——原始草稿,可视化,形式分析,数据管理。陈晓明:撰写——审阅与编辑,撰写——原始草稿。赵张燕:撰写——审阅与编辑,资源管理,项目协调,资金获取。邹宇航:撰写——审阅与编辑,可视化。徐家军:撰写——审阅与编辑。

    利益冲突声明

    作者声明他们没有已知的可能会影响本文所述工作的财务利益或个人关系。

    致谢

    本研究由中国湖北省的关键研究与发展项目(2024BAB008)资助。
    刘海鹏是中国武汉工业大学机械工程专业的硕士研究生。他的研究重点是机器视觉和图像处理。
    相关新闻
    生物通微信公众号
    微信
    新浪微博
    • 搜索
    • 国际
    • 国内
    • 人物
    • 产业
    • 热点
    • 科普

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号