编辑推荐:
本文推荐一项深度学习领域的创新工作。针对传统量化(量化/流行度估计)方法依赖分类器中间层、难以应对类别先验概率偏移等问题,研究者们开展了一项“基于高斯潜在空间表征的量化”主题研究。他们提出了一种新颖的端到端神经网络GMNet,利用高斯分布对潜在空间建模以获得示例集的表征,并将其作为优化的直接目标。该方法在LeQua量化竞赛数据集及CIFAR-10/100视觉基准测试中取得了SOTA结果,有效避免了中间分类步骤,并能优化量化特定损失函数,为多模态数据的流行度估计提供了通用且强大的新工具。
在机器学习的广阔世界中,我们早已习惯于训练模型去识别一张图片是猫还是狗,或者判断一段评论是积极还是消极。这类分类任务要求模型为每一个单独的个体做出精确的预测。然而,当我们把视角从“个体”转向“群体”时,一个有趣且极具现实意义的挑战便浮现出来:如何准确地估计一个未知数据集中各类别的“流行度”,即各类别的占比是多少?这个问题在机器学习领域被称为“量化”或“流行度估计”。例如,一家公司可能想知道其新产品在社交媒体上获得的所有评价中,正面、中性和负面评价各自占多少比例,而无需逐条阅读成千上万条评论;又比如,公共卫生部门希望基于大量症状报告,估算当前社区中不同亚型流感病毒的流行比例。
乍一看,这似乎很容易解决:先训练一个强大的分类器去判断每个个体的类别,再统计各类别的数量不就行了吗?这正是传统方法“分类与计数”的思路。但现实往往更复杂。机器学习模型通常在已知分布的训练数据上学习和校准。当我们将这个模型应用到新的、数据分布可能已经发生变化的测试集上时——例如,训练时正面评价占80%,而测试时正面评价实际只占20%——模型基于旧分布做出的概率判断就会失效,导致流行度估计产生严重偏差。这种情况被称为“类别先验概率偏移”,是量化问题的核心难点。为了应对这一挑战,传统的量化方法,如调整分类与计数、基于分布的匹配或期望最大化量化算法,大多需要先训练一个分类器作为基础,再通过各种校正技术来估计流行度。这种“非对称”的路径不仅步骤繁琐,其性能也高度依赖于中间分类器的质量。
近年来,深度学习在图像生成、自然语言处理等领域取得了革命性进展,但在量化这类“传统”机器学习任务上的应用却相对滞后。一个关键瓶颈在于如何有效地表示一个“包”——即作为量化基本单位的示例集合。早期的深度学习量化方法,如QuaNet,依赖外部分类器且仅适用于二分类场景,限制了其通用性。后续的深度量化网络采用简单的池化层(如平均、最大值)来汇总一个包中所有示例的特征,但这种方法可能丢失太多信息。最近,基于可微分直方图的HistNetQ方法在表征能力上更进一步,并在2022年的量化竞赛中取得了优异成果,但它将每个特征维度独立处理,忽略了特征间的潜在关联。
为了突破现有方法的局限,来自西班牙奥维耶多大学人工智能中心的研究团队提出了一种全新的、基于高斯分布来建模潜在空间的方法,并构建了名为GMNet的端到端神经网络。该研究的核心思想是:与其对每个特征单独进行离散的直方图统计,不如用一组可学习的多元高斯分布来连续地、联合地刻画整个潜在空间的结构。每个高斯分布有自己的均值向量和协方差矩阵,网络可以自动学习将它们放置在潜在空间中最能区分不同类别混合模式的位置。对于一个输入的数据包,网络会计算其中每个示例属于各个高斯分布的可能性,然后对所有示例的这些可能性取平均,从而得到一个固定长度的、与示例顺序无关的“包表征”。这个表征捕获了数据包在高斯混合模型“视角”下的整体样貌,随后被送入量化模块直接预测出各类别的流行度。这种方法不仅提供了比简单池化或特征独立直方图更丰富、更连续的表征,还能通过协方差矩阵捕捉特征之间的相互关系,从而更有效地应对数据分布的复杂变化。
研究人员为开展此项研究,主要采用了以下关键技术方法:首先,构建了模块化的深度神经网络架构,包含特征提取模块、基于高斯混合模型的包表征模块和量化模块。其次,设计了针对量化任务的对称学习范式,直接使用以流行度向量标注的数据包进行训练,并优化量化专用损失函数(如相对绝对误差RAE和归一化匹配距离NMD)。第三,采用了特定的参数初始化与正则化策略,使用geotorch库确保高斯分布协方差矩阵的正定性,并引入了基于中心核对齐的多潜在空间相似性正则化。第四,实施了专门的数据增强技术“Bag Mixer”,通过混合现有训练包生成新样本,以缓解深度学习对大数据量的需求。实验数据来源于公开的LeQua量化竞赛数据集(T1B, T2, T3,为亚马逊产品评论文本特征)以及视觉基准数据集CIFAR-10和CIFAR-100。
3.1. Previous deep learning approaches used in quantification
本节回顾了用于解决量化问题的先前深度学习方法。早期工作QuaNet利用循环神经网络处理排序后的分类器预测,但其依赖外部分类器且仅限于二分类。深度量化网络首次采用对称方法,使用基本池化层(如平均、最大池化)作为其包表征模块,但表征能力有限。HistNetQ进一步提出了可微分直方图层,在每个特征维度上构建直方图作为包表征,在2022年量化竞赛的多类任务中取得了当时最佳结果,但其表征是特征离散且独立的。
3.2. Representing sets using Gaussian distributions in a latent space
本节详细阐述了本研究提出的核心创新——使用高斯分布进行包表征。GMNet采用可学习的多元高斯分布对特征提取模块输出的潜在空间进行建模。对于包含n个示例的包,其潜在表示Z = [z1, z2, ..., zn],其中每个zi∈ Rd。模型使用K个高斯分布,其均值μk和协方差矩阵Σk为可学习参数。通过计算每个示例属于每个高斯分布的似然p(zi|k),并对包内所有示例取平均,得到每个高斯的平均似然p?(k)。最终包的表示r即为这些平均似然构成的向量[r = [p?(1), p?(2), ..., p?(K)] ∈ RK]。与直方图层相比,高斯表征是连续的,并能通过协方差矩阵捕获特征间的相关性,提供了更丰富、更具表达力的包表示。模型可扩展为使用L个不同的潜在空间,将其表征拼接形成最终表示。
3.3. Parameter initialization
本节说明了高斯分布参数的初始化策略。由于潜在空间被限制在[0,1]区间内,高斯中心μi在各维度上均匀初始化于[0,1]范围内。协方差矩阵Σi初始化为对角矩阵,其对角线元素值基于高斯中心间平均最小距离的一半的平方,旨在使高斯分布尽可能覆盖超立方体空间而不过度重叠。为确保Σi始终保持正定,研究使用了geotorch库进行约束。
3.4. Latent space similarity regularization
当网络使用多个潜在空间时,本节介绍了一种基于中心核对齐的正则化技术,以鼓励不同潜在空间学习多样化的表征。将CKA相似性评分乘以正则化因子λ后加入总损失函数,有助于网络更快收敛并可能提升性能。
3.5. Data augmentation
针对深度学习需要大量数据的问题,本节描述了用于量化的数据增强技术“Bag Mixer”。该方法通过随机选取并混合两个真实训练包,生成新的增强包,其流行度向量为原有两个包流行度的平均值。当个体示例标签可用时,还可使用Kraemer算法生成均匀的流行度向量,并通过有放回抽样从训练数据集中构造对应流行度的包,以大幅增加训练数据。
4.1. LeQua datasets
本节介绍了在LeQua量化竞赛数据集上的实验设置。使用了多类量化任务数据集(T1B, 2022版;T2, 2024版)和序数量化任务数据集(T3)。T1B和T2的目标是预测28个商品类别评论的流行度,使用相对绝对误差作为评估指标;T3的目标是预测1星到5星情感极性评级的流行度,使用归一化匹配距离作为评估指标。每个数据集提供20,000个单独标注的示例和1,000个以流行度标注的包。
4.1.1. Experimental study
本节详述了在LeQua数据集上的实验设计和结果。比较了传统量化方法(使用QuaPy库实现)和深度学习方法。对于深度学习方法,设置了两种训练场景:未标注设置,仅使用提供的标注包进行训练;标注设置,额外利用单独标注的示例通过APP协议生成大量合成训练包。实验结果表明,在未标注设置下,GMNet在T1B和T2任务上显著优于所有对比方法(包括HistNetQ、DQN及传统方法如EMQ、ACC、PACC等),取得了最低的RAE误差。在标注设置下,GMNet同样取得了最佳性能,并且其性能提升随着生成的训练包数量增加而持续改善,证明了数据量和模型表征能力的共同重要性。在T3序数量化任务上,GMNet在两种设置下也 consistently 取得了最佳或接近最佳的NMD结果。
4.2. CIFAR-10 and CIFAR-100
本节将GMNet应用于图像模态的CIFAR-10和CIFAR-100数据集,以验证其与模态无关的通用性。同样在未标注和标注两种设置下进行实验。结果显示,GMNet在CIFAR-10上显著优于所有对比方法,在CIFAR-100上与性能最佳的HistNetQ方法结果相当。这证明了基于高斯分布的包表征方法不仅在文本数据上有效,也能成功迁移到图像数据上,具有良好的泛化能力。
4.3. Ablation studies
本节通过消融实验分析了GMNet各个组件的重要性。实验移除了CKA正则化、多个潜在空间扩展以及“Bag Mixer”数据增强。结果表明,CKA正则化能稳定地带来小幅性能提升或加快收敛;使用多个潜在空间在不同数据集上均能带来一致的性能改善;而“Bag Mixer”数据增强对于在有限标注包情况下训练深度量化网络至关重要,移除后性能显著下降。
本研究提出并验证了一种基于高斯潜在空间表征的全新深度学习量化方法GMNet。该方法通过用可学习的多元高斯分布对示例包的嵌入进行建模,创造了一个连续、富有表达力且能捕获特征间相关性的包表征。理论分析与大量实验表明,这种表征优于先前基于池化或直方图的方法。GMNet采用对称学习范式,能够直接优化量化专用损失函数,无需依赖中间分类器,从而将量化问题转化为一个直接的优化问题。
在仅使用标注包进行训练的未标注设置下,GMNet在LeQua竞赛的多个文本量化任务上取得了最先进的成果。在能够利用个体标签生成更多训练数据的标注设置下,GMNet的性能得到进一步提升,并随着训练数据量的增加而持续改进。此外,GMNet在CIFAR-10和CIFAR-100图像数据集上的成功应用,证明了其方法与数据模态无关的通用优势。消融研究确认了模型核心组件(如多潜在空间、CKA正则化和数据增强)的有效性。
综上所述,GMNet为量化问题提供了一个强大、灵活且通用的深度学习解决方案。它不仅显著提升了量化精度,而且其端到端的架构和与模态无关的特性,为在实际应用中应对复杂的数据分布偏移和多样化的数据类型的流行度估计任务开辟了新的途径。该工作标志着深度学习在量化这一重要机器学习子领域应用的重要进展,相关代码已公开,以促进该领域的进一步研究与发展。