《Expert Systems with Applications》:Vertical-Horizontal Diversity Enhancement for Compressing Models with Extremely Few Samples
编辑推荐:
•通过选择多个有价值的区域来增强样本多样性。•通过组合多个样本中的区域来合成增强样本。•解决在极少量样本条件下的模型压缩问题。•在各种深度学习模型中实现新的最先进性能。引言利用深度学习模型在表示学习和层次化特征提取方面的卓越能力,深度学习模型——主要是深度卷积神经网络和Tra
- •
通过选择多个有价值的区域来增强样本多样性。
- •
通过组合多个样本中的区域来合成增强样本。
- •
解决在极少量样本条件下的模型压缩问题。
- •
在各种深度学习模型中实现新的最先进性能。
引言
利用深度学习模型在表示学习和层次化特征提取方面的卓越能力,深度学习模型——主要是深度卷积神经网络和Transformer——已被广泛应用于图像分类、语义分割和超分辨率重建等众多领域。随着深度学习任务变得愈发复杂,模型参数和计算成本不断攀升。这为适合资源受限场景的紧凑型模型提出了较大需求。为了获得紧凑且高性能的模型,人们采用模型压缩技术——如剪枝、量化和知识蒸馏——来降低计算和存储需求。然而,这些方法通常假设可以完全获取原始训练数据,而实际情况往往并非如此。当处理敏感数据(如医学图像或人脸图像)时,可用于压缩的样本量会受到很大限制。
为了解决在如此约束条件下的模型压缩问题,少样本模型压缩方法应运而生。这些方法利用有限的数据来评估模型组件的重要性或中间推理信息,从而指导压缩过程。现有方法通常结合剪枝来减少模型规模,并通过知识蒸馏来恢复性能。压缩阶段通常采用滤波器级剪枝,并引入针对少样本场景的标准或配置。近期的工作将此扩展到块级剪枝,并以推理速度作为主要评估指标。在性能恢复方面,早期方法假设所有中间特征都很关键,并在教师模型上按模块训练剪枝后的模型(学生模型)以防止过拟合。相比之下,近期的研究表明,仅学习池化前的特征就足以恢复剪枝模型的高精度。当前的少样本模型压缩方法已取得令人满意的效果:仅使用ImageNet-2012数据集中的50个样本,ResNet-34的剪枝在滤波器级别Top-1精度下降6.7%,在块级别下降1.1%。
现有方法在样本量为50至3000(通常基于CIFAR-10、CIFAR-100和ImageNet-2012数据集)时表现强劲,但在数据极度有限的情况下,其有效性会明显下降。如图1(a)所示,将样本量从500减少到50,Top-1精度下降幅度从仅为2.5%扩大到16.2%。然而,进一步从50减少到10个样本时,下降幅度急剧增加,从7.2%跃升至34.0%。这一问题主要源于在极端数据稀缺条件下样本多样性迅速丧失。图1(b)显示,尽管100个样本仍能保持相对均衡的分布,但50个样本所提供的多样性已不足以有效训练剪枝模型。30个和20个样本时多样性持续下降。因此,在极少样本场景下代表性多样性的缺失阻碍了现有方法取得令人满意的表现。
为克服这一局限,我们提出了垂直-水平多样性增强方法。该方法灵感来源于FSS策略中混合图像以增加多样性的做法,以及CMa-FSMC方法中从特征图中提取有价值区域的思路,旨在恢复在极少样本条件下剪枝深度学习模型的性能。具体而言,VHDE旨在通过增强原始样本来恢复剪枝模型的性能。首先,从最终池化层之前的特征图中提取多个有价值的区域(即模型关注的区域,根据网络解剖方法,这些区域可能表明模型是否与人类视觉概念一致)。接下来,从每个样本中随机选择一个区域,并将这些区域随机排列以构建候选集。最后,按照候选区域集合指定的顺序组合区域,生成增强样本。总之,我们的贡献如下:
- •
提出了垂直-水平候选区域选择策略。该策略为每个待增强的样本生成多个候选区域,且这些区域在每次增强时具有随机性,从而显著增强了样本多样性。
- •
设计了候选区域顺序组合机制。该机制通过整合候选集中的多个区域来合成增强样本,同时保留原始图像中有价值的区域,从而保证增强样本能保留更多关键信息。
- •
达到了最先进性能。在MobileNet-V2、ResNet-34和ViT-B-32上的实验,涵盖从小型到大型模型规模,均表明VHDE在极少样本条件下取得了最佳效果。
本文其余部分结构如下。第2节回顾了少样本模型压缩领域的最先进研究,并介绍了我们的前作CMa-FSMC。第3节提出了所提出的方法,包括其灵感来源、具体技术和实现过程。第4节展示了广泛的实验结果。第5节对此工作进行了总结。
各节摘要
相关工作
少样本模型压缩方法首先剪枝模型,然后使用原始模型作为教师,剪枝后的模型作为学生,通过知识蒸馏过程恢复性能。本文关注恢复阶段,特别是在极少样本场景下训练学生模型。
FSKD是一项开创性工作,在每个学生模块后附加一个1×1卷积层以与教师模型的输出对齐。Bai等人。
VHDE
FSS率先将图像混合引入少样本模型压缩工作流程,成功地增强了样本多样性并提高了剪枝模型的最终精度。随后,CMa-FSMC利用网络解剖来识别并混合仅具有语义价值的区域。受FSS的图像混合思路和CMa-FSMC的有价值区域选择机制启发,本文探索了多区域提取和多图像混合,并提出了VHDE方法。该方法旨在
实验
所提出的VHDE方法通过组合多张图像中的有价值区域来增强样本多样性,具有模块化和易于集成的特点。为评估其整体效果及其两个组件的各自贡献,本节进行了广泛的实验。
结论
为了解决在极少训练样本条件下的深度学习模型压缩问题,本文提出了VHDE方法。该方法通过垂直和水平选择策略构建候选区域,然后采用固定顺序组合来形成增强样本,以恢复剪枝模型的性能。大量实验表明,VHDE在不同模型规模上均达到了最先进的压缩恢复性能,并为实际场景中的少样本压缩提供了可行的解决方案。
作者贡献声明
孙亚峰:方法论、软件和初稿撰写。
王兴旺:概念构思、方法论、审稿与润色。
黄俊红:数据管理。
陈世林:监督、项目管理。
利益冲突声明
作者声明不存在可能影响本文报告工作的已知竞争性经济利益或个人关系。
孙亚峰|王兴旺|黄俊红|陈世林