《Neurocomputing》:Revisiting data imbalance in token-based self-supervised learning
编辑推荐:
token-based self-supervised learning (SSL)面临token-class不平衡问题,高频低信息token(如背景)主导训练,而语义关键的低频token(如手部)被低估,导致模型表征和生成能力受限。本文提出类平衡交叉熵损失和语义感知标签平滑(SLS),前者通过重采样缓解token不平衡,后者利用token相似性生成更合理的软标签。实验表明,在MAGE表征学习任务和MaskGIT生成任务中,该方法显著提升线性可分性(+4.2%)和模式覆盖率(+8.7%),证明token-class失衡是SSL的重要挑战,需针对性解决。
韩大勇|郑亨禄|李天红|卡塔比·迪娜|孙珍妮|金洪国|全明古
韩国光州科学技术院电气工程与计算机科学学院,123 Cheomdangwagi-ro, Buk-gu, Gwangju, 61005
摘要
基于令牌的自监督学习(SSL)作为一种利用大规模未标记数据的强大范式而出现,但它面临一个先前被忽视的挑战:令牌类别不平衡。我们发现视觉令牌分布高度偏斜;一小部分频繁出现的令牌(通常代表无信息的背景)主导了训练过程。相反,语义丰富但稀有的令牌则严重不足。这种不平衡扭曲了学习目标,阻碍了模型学习鲁棒表示的能力,并影响了泛化能力。为了解决这个问题,我们引入了两种从不平衡学习中借鉴的解决方案:一种基于令牌稀有性的类平衡交叉熵损失,以及一种利用令牌嵌入相似性创建更有意义软目标的语义感知标签平滑(SLS)技术。我们在MAGE上进行表示学习实验,在MaskGIT上进行图像生成实验,验证了这些方法的有效性。实验表明,这些技术显著提高了模型的判别能力和生成能力,分别体现在表示空间的线性可分性和图像合成的模式覆盖率上。本研究强调了缓解令牌类别不平衡的必要性,并提供了可扩展的解决方案,有助于实现更鲁棒和更具泛化能力的视觉学习。
引言
基于自监督学习(SSL)的表示学习方法最近受到了广泛关注。SSL的关键特点是输入数据本身就作为目标,无需数据集中的标签。利用这一优势,SSL能够充分利用那些庞大到无法手动标注的大规模数据集,并在近年来取得了显著的成功。
在SSL时代之前,大多数基于深度学习的视觉识别模型都是在像ImageNet这样的平衡数据集上训练的[1],这些数据集经过精心策划,使得每个类别的样本数量相同。然而,在现实世界的模型开发中,收集的数据通常无法保证这种均匀性,从而导致了各种问题。在不平衡数据集上训练的模型往往偏向于多数类别,而在样本较少的少数类别上的表现较差。为了解决这个问题,人们在“不平衡学习”领域进行了大量研究。
此外,最近出现了许多大规模的视觉模型,它们不仅限于简单的分类任务,还能处理各种视觉任务。这些模型利用了带有自然语言图像标题[2]、对象位置信息[3]等不同模态的大型单模或多模数据集。这种转变使得类别不平衡问题不再成为主要关注点。然而,缺乏类别级别的注释并不能消除现实世界数据中的语义或高级信息不平衡,以及由此产生的负面影响。例如,Stable Diffusion的训练集LAION-2B[4]就存在某些概念样本数量很少的问题[5],这导致Stable Diffusion在生成包含罕见概念(如手掌[6])的图像时遇到困难。
这种高层次且隐性的不平衡难以量化,目前仍缺乏深入研究。为了深入探讨这个问题,我们提出了一种利用图像分词的方法,将图像离散化为分类后的表示形式。最近,一些视觉语言模型[5]、[7]、[8]采用了预训练的向量量化变分自编码器(VQ-VAEs)[9]、[10]作为图像分词器,使图像以与语言令牌相同的格式进行表示。通过这一过程获得的视觉令牌代表了图像上相应位置的区域,包括背景、对象或特定模式等元素,从而使视觉令牌能够传递从低级到高级的广泛信息。
由于视觉令牌包含了丰富的图像信息,研究它们的离散分布可以揭示整个数据集的偏置情况。我们发现这些令牌分布表现出不平衡的特性,类似于自然语言中的齐普夫定律[11],即一小部分令牌类别主导了数据统计。相反,大多数令牌类别仍然较为罕见。我们假设,监督学习中的对象类别不平衡问题自然也会延伸到SSL中的令牌类别不平衡问题,而且可以从不平衡学习中借鉴有效的解决方案。
本文旨在系统地分析和缓解SSL中令牌类别不平衡的不利影响。我们的贡献如下:
- •
我们通过分析多个自然图像数据集中的令牌分布,揭示了令牌类别不平衡的存在及其影响。通过统计分析,我们证明了信息丰富的令牌虽然稀缺,但对有效的表示学习至关重要。
- •
我们通过实验证明,令牌类别不平衡会扭曲预训练过程,导致稀有令牌的重建精度降低,从而影响表示学习和图像生成任务的性能。
- •
我们在SSL框架内提出了考虑不平衡的学习策略,包括类平衡交叉熵损失和语义感知标签平滑(SLS),以改进表示学习。
- •
我们在MAGE[12]上进行表示学习实验,在MaskGIT[13]上进行生成建模实验,验证了这些方法的有效性,结果表明在线性探测精度和图像生成质量方面都有显著提升。
我们提出的框架概述见图1。我们的发现强调了解决SSL中隐含不平衡问题的必要性,并提出了一种能够提高模型判别能力和生成能力的有效解决方案。
小节片段
基于令牌的自监督学习
向量量化(VQ)是一种将连续数据转换为压缩离散变量或向量的技术。大多数VQ模型包括编码器、解码器和码本:编码器将输入数据映射到码本中的原子序列,而解码器则从这些离散表示中重构原始数据。在视觉领域,许多研究致力于将图像表示为二维令牌网格[9]、[10]或一维令牌序列
自然图像数据集中的隐含不平衡
大多数图像分词器[9]、[10]、[57]、[58]通过一系列二维卷积将图像转换为二维令牌序列。因此,网格中的每个令牌都代表了图像中相应位置的视觉信息。然而,众所周知,自然图像主要由空间冗余、低熵的区域(如平坦背景或失焦区域)主导[59]。为了覆盖大量自然图像,这些方法
提出的方法
在本节中,我们旨在证明利用传统的不平衡学习技术可以缓解令牌类别不平衡问题,并提高模型在生成和判别任务中的性能。此外,我们还讨论了从表示学习的角度评估这些不平衡学习技术带来的改进的各种分析方法。
实验
在这项研究中,我们通过观察两个代表性任务(表示学习和图像生成)的性能提升来衡量所提出方法的效果。首先,我们评估了在ImageNet-1K数据集上使用类平衡交叉熵损失和SLS预训练的MAGE[12]在下游任务(特别是线性探测和微调)上的表现。其次,我们通过集成这些技术来检验它们在无条件图像生成中的有效性
结论
本研究指出,在基于令牌的SSL中,令牌类别不平衡是一个根本性问题,其中一小部分频繁出现的令牌主导了训练过程,而语义上重要的稀有令牌则代表性不足。我们证明了这种不平衡会扭曲学习过程,影响表示质量和泛化能力。为了解决这个问题,我们引入了类平衡交叉熵损失和SLS,通过减轻令牌主导性和利用语义信息来优化训练过程
CRediT作者贡献声明
韩大勇:写作——审稿与编辑、初稿撰写、可视化、验证、软件实现、方法论研究、概念构建。郑亨禄:初稿撰写、方法论研究、概念构建。李天红:监督指导、方法论研究、概念构建。卡塔比·迪娜:监督指导、项目管理工作、概念构建。孙珍妮:监督指导、项目管理工作、资金筹措。金洪国:项目负责人
利益冲突声明
作者声明他们没有已知的可能会影响本文工作的财务利益或个人关系。
致谢
本项工作得到了GIST-MIT研究合作项目的支持,该项目由GIST在2025年资助。我们还要感谢GIST SCENT提供的高性能GPU计算支持。
韩大勇于2019年在韩国首尔延世大学获得电气与电子工程学士学位。自2019年起,他在韩国光州科学技术院(GIST)的电气工程与计算机科学学院攻读博士学位。他的研究兴趣包括机器学习、计算机视觉、生成模型和图像修复。