一项关于无监督小样本学习的实证研究,该研究利用了自监督表示学习方法

《Neurocomputing》:An empirical study of unsupervised few-shot learning that utilizes self-supervised representation learning

【字体: 大 中 小 】 时间:2026年03月26日 来源:Neurocomputing 6.5

编辑推荐:

  无监督少样本学习通过系统比较七种自监督方法在九个基准数据集上的表现,揭示不同SSL方法在数据稀缺、领域内分类和跨域迁移场景下的最优选择:VICReg鲁棒性最强,Barlow-Twins跨域效果最佳,BYOL数据充足时上限最高,且需根据任务特性选择方法。

  
徐成元|金正国
韩国大学电气工程学院,韩国首尔Anam-ro 145号,02841

摘要

无监督少样本学习(UFSL)旨在从无标签数据中学习特征表示,以便快速适应新任务。在这一领域中,基于自监督学习(SSL)的方法已成为最先进的技术,通过直接从无标签数据中学习特征表示推动了近期进展。然而,选择特定的SSL方法通常被视为一个任意的决策,且对其性能的广泛分析明显不足。这一问题因大多数SSL方法是在大规模数据集上进行的基准测试而加剧,而这种环境与UFSL固有的数据稀缺条件存在根本差异。本文通过这项广泛的实证研究解决了这些问题,探讨了不同的SSL训练动态如何影响在多种UFSL条件下的性能。为了评估它们在小型数据上的性能,我们评估了来自四种不同学习范式的七种代表性SSL方法,其中许多方法是现有最先进UFSL模型的基础。评估涵盖了九个少样本基准数据集,包括领域内和领域间的场景。此外,我们引入了一种新的评估协议,使用系统缩小的训练集来评估模型在比传统少样本基准更严重的数据稀缺条件下的鲁棒性。通过大量的统计验证实验,本研究揭示了SSL方法的性能受其训练动态和目标任务特征的影响;没有一种方法是普遍优越的。这项研究为澄清这些性能差异提供了基准,并为UFSL应用中的SSL方法选择提供了实证指导。

引言

从大规模标记数据集中学习有效的特征表示是现代机器学习的基础。这使得模型性能更高,并能高效地将知识转移到下游任务中[1]、[2]、[3]。然而,一个重大挑战仍然是从有限的数据资源中训练模型——这是人类擅长而机器难以完成的任务。元学习(也称为学习如何学习)作为一种强大的方法应运而生,它使模型能够通过从解决一系列相关但不同的任务中积累经验来改进自身的学习过程。在此基础上,少样本学习(FSL)已成为一种突出的应用,它仅使用少量示例就能使模型适应新类别。标准的FSL框架通过确保训练集和测试集不相交来严格评估这种泛化能力。
尽管大多数代表性的FSL方法[5]、[6]、[7]、[8]、[9]、[10]、[11]采用了多种策略,且最先进的模型在基准数据集[12]、[13]、[14]上取得了显著进展,但它们面临两个持续存在的障碍:高数据标注成本和克服元训练集与元测试集之间分布变化的难度。
为了减少对标记数据的依赖,引入了无监督少样本学习(UFSL)[15]、[16]、[17]。在UFSL中,基于自监督学习(SSL)的方法尤为突出,通过从无标签数据中学习特征表示取得了最先进的结果[18]、[19]、[20]、[21]、[22]、[23]、[24]。这些方法已经开始缩小无监督FSL和有监督FSL之间的性能差距。
尽管基于SSL的UFSL在实证上取得了成功,但选择SSL方法往往被视为一个任意的决策。先前的研究表明,潜在的特征学习过程(例如, pretext任务的选择[25]、[26])可能会显著影响性能[27]、[28]。然而,对SSL方法及其在UFSL背景下的不同学习动态的比较分析仍然明显缺乏。这一问题因大多数SSL方法是在大规模数据集(如ImageNet[29])上进行基准测试而变得更加严重,而少样本任务通常在规模小得多的数据集上运行,这引发了关于它们的泛化能力、可转移性和鲁棒性的疑问。此外,现有的少样本基准测试虽然旨在评估数据稀缺环境中的泛化能力,但依赖于固定大小的数据集进行训练阶段。然而,这种固定大小可能无法充分代表许多现实世界应用中更为严重的数据限制,在这些应用中,数据可用性通常远低于标准基准测试。这种静态设置使得难以评估当可用训练数据的总体量受到更严重限制时SSL模型的表现——这是许多现实世界应用中的常见约束。
这种理解上的不足导致了一些关键未解答的问题:不同的SSL训练程序如何影响UFSL的性能?哪些方法最适合特定的少样本任务?当在比传统少样本基准更受限的数据集上训练时,SSL模型的表现如何?
为了实证回答这些问题,我们进行了一项系统的实验研究,隔离了UFSL中SSL训练动态的影响。我们评估了七种代表性的SSL模型,涵盖了四个程序类别[30]:基于负样本的[31]、[32]、基于聚类分配的[33]、基于自我蒸馏的[34]、[35]以及基于特征去相关的[36]、[37]。与标准的UFSL实践一致,这些对比学习模型都使用了基于CNN的编码器,这在数据受限的基准测试中始终被证明更有效。本研究的主要贡献有三个方面:
  • •
    对UFSL中SSL方法的实证和统计分析
    这项研究在九个基准数据集上全面评估了七种代表性的SSL模型,涵盖了领域内、领域间和数据稀缺的场景。严格的统计测试验证了所有发现,提供了它们作为特征学习器的性能特征的全面视图。
  • •
    一种针对数据稀缺性的新评估协议
    这项工作引入了一种使用缩小规模训练数据集(从原始大小的20%到80%)来评估模型鲁棒性的新协议。该框架揭示了在严重数据受限环境中存在的关键性能差异,这些差异在标准固定大小的基准测试中并不明显。
  • •
    实证指导和新见解
    分析为UFSL中的SSL方法选择提供了实证指导,表明最佳选择高度依赖于上下文。结果突出了表现最佳方法的独特优势:VICReg的方差正则化在数据稀缺任务中提供了更高的鲁棒性;Barlow-Twins的特征去相关对于领域间迁移非常有效;而BYOL的自蒸馏架构在数据量增加时扩展最为显著。这些发现挑战了现有的假设,特别是那些在大型基准测试中表现优异的方法(例如SimCLR、MoCo)在少样本设置中通常表现不佳。
  • 部分片段

    少样本学习

    少样本学习(FSL)是一种基于元学习的突出范式,专为数据稀缺的任务设计。与传统有监督学习不同,FSL利用由元训练和元测试阶段组成的独特结构。每个阶段包含多个训练场景,称为情节,这些情节由数据的小子集构成。在每个情节中,数据被分为两个部分:支持集和查询集。支持集为模型提供少量

    数据集和实验设置

    设计了一系列实验,以比较分析作为UFSL特征学习模型的SSL方法。评估沿着三个不同的轴进行,以评估模型性能:(1)领域内泛化能力,(2)领域间可转移性,以及(3)对数据稀缺性的鲁棒性。

    领域内少样本图像分类

    对于领域内任务,基于特征去相关和自我蒸馏的方法显著优于基于负采样和聚类的方法,形成了明确的性能层次结构。表5和图3中展示的分类准确率说明了这种性能差异,这种差异在四个基准数据集中保持一致。图4展示了5-way、5-shot设置下的整体性能趋势和准确率分布。

    讨论和实用指南

    在这项研究中,对领域内、领域间和数据有限场景的比较分析表明,特征去相关和自我蒸馏方法始终优于其他方法,尽管它们的具体优势取决于任务。结果表明,VICReg在数据稀缺环境中提供了最佳的鲁棒性,Barlow-Twins提供了最佳的领域泛化能力,而BYOL在数据充足时具有最高的性能上限。

    结论

    自监督学习(SSL)方法为无监督少样本学习(UFSL)任务提供了明显的优势。在文献中,缺乏一项广泛的比较分析来指导UFSL中SSL方法的选择。本文通过一系列实验解决了这一空白,分析了各种SSL范式之间的性能差异。总体实验结果表明,没有一种SSL方法是普遍优越的。相反,每种方法

    CRediT作者贡献声明

    徐成元:撰写——原始草稿、可视化、验证、方法论、调查、形式分析、数据整理、概念化。金正国:撰写——审阅与编辑、监督、资金获取。

    利益冲突声明

    作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。

    致谢

    本工作得到了韩国国家研究基金会(NRF-2019M3E3A1084054和NRF-RS-2024-00466496)的支持。
    徐成元于2015年在韩国首尔Soong-sil大学获得电子工程学士学位,并于2017年8月在韩国大学电气与计算机工程学院获得硕士学位。他的研究兴趣包括表示学习、自监督学习、少样本学习和元学习。
    相关新闻
    生物通微信公众号
    微信
    新浪微博

    热点排行

      今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

      版权所有 生物通

      Copyright© eBiotrade.com, All Rights Reserved

      联系信箱:

      粤ICP备09063491号