剪枝多层感知器网络中的推理与训练效率
《PLOS Complex Systems》:Inference and training efficiency in pruned multilayer perceptron networks
【字体:
大
中
小
】
时间:2026年03月20日
来源:PLOS Complex Systems
编辑推荐:
摘要
本研究探讨了剪枝策略如何提高深度神经网络(DNN)的效率,这些网络被广泛用于图像处理、医疗诊断等任务。尽管DNN非常强大,但它们通常包含一些较弱的连接,这会导致训练和推理过程中的能耗增加。为了解决这个问题,我们比较了两种剪枝方法:全局剪枝(适用于网络的所有层)和逐层剪枝
摘要
本研究探讨了剪枝策略如何提高深度神经网络(DNN)的效率,这些网络被广泛用于图像处理、医疗诊断等任务。尽管DNN非常强大,但它们通常包含一些较弱的连接,这会导致训练和推理过程中的能耗增加。为了解决这个问题,我们比较了两种剪枝方法:全局剪枝(适用于网络的所有层)和逐层剪枝(专注于隐藏层)。这两种方法在两个小规模和中等规模的MLP模型上进行了测试,然后扩展到VGG-16模型上,作为卷积神经网络(CNN)的代表性示例。我们评估了剪枝对五个数据集(MNIST、FashionMNIST、EMNIST、CIFAR-10和OctMNIST)的影响,并考虑了不同的稀疏度水平(50%和80%)。我们的结果显示,与基准密集网络(0%稀疏度)相比,逐层剪枝在保持准确性的同时,能够持续减少推理时间和推理能耗,提供了最佳的权衡。例如,使用MNIST数据集和50%稀疏度训练小规模模型时,推理能耗减少了33%,推理时间减少了33%,而准确性仅下降了0.49%。此外,我们还研究了训练能耗、二氧化碳排放估计和峰值内存使用情况,这再次证明了逐层剪枝优于全局剪枝。总体而言,我们的发现表明,逐层剪枝是一种设计能效高效神经网络的实际方法,特别是在实现性能和能耗之间的有效权衡方面。
作者总结
在这项工作中,我们探讨了如何通过一种称为“剪枝”的方法去除较弱的连接来提高深度学习模型的效率。这些模型被广泛应用于从医疗工具到智能设备的各种日常应用中。然而,密集的“未剪枝”模型的能耗虽然对于其配置是必要的,但往往不是最优的。密集模型中的大量连接需要更多的能量来处理输入并计算最佳输出类别。通过减少连接数量,剪枝旨在在保持模型性能接近其密集对应模型的同时,使用更少的能量。这使得剪枝成为提高能效的有效方法,无论是在模型训练期间还是推理期间。计算负载的减少使得模型更加节能,这对于电源有限的设备尤其有益。我们测试了不同的剪枝技术,并在三种不同的深度学习架构中比较了它们的性能,考虑了五个不同的领域特定数据集。我们的主要发现之一是,使用逐层剪枝方法可以在几乎不损失准确性的情况下显著提高效率。
1 引言
深度神经网络(DNN)作为一个强大的计算框架[1,2],用于解决多个领域的各种任务,包括物联网(IoT)[3]、图像处理[4–6]、自主对象管理[7,8]、疾病诊断[9,10]等。传统上,处理神经网络涉及设计网络架构、选择层数以及在给定任务上训练模型。这一过程主要集中在创建网络和微调参数以获得最佳性能。然而,最近的研究表明,许多以这种方式设计和训练的网络通常包含许多较弱且多余的连接[11]。这些多余的连接对模型进行准确预测的能力没有显著贡献;然而,它们增加了模型的复杂性和资源使用。因此,提出了不同类型的剪枝技术来减少冗余并提高网络的效率,无论是从内存使用还是计算成本的角度来看。这些技术包括预训练剪枝(在模型训练开始前应用稀疏性)和训练中剪枝(在训练过程中调整网络的连接)。为了解决这个问题,研究人员现在专注于通过稀疏化神经网络架构中的连接来减少冗余[12–14]。特别是,稀疏进化训练(SET)这种训练中技术已被证明在保留最重要的连接方面是有效的,这有助于使模型更高效并表现更好。先前的研究表明,初始层通常捕获最显著的输入特征,而后续层通过更复杂的连接来细化决策边界[15–17]。具体来说,最后一层中连接隐藏层神经元到输出类别的连接数量较多,可能会通过增加正确识别目标类别的可能性来提高分类准确性。在多层感知器(MLPs)[18]中,关键特征在层间的分布对于确定网络效率起着关键作用。实际上,选择MLP作为本研究的主要焦点是因为它们的架构简单性,这使我们能够统一地将相同的稀疏技术应用于所有层而没有任何例外。这种设计灵活性使得详细分析模型行为和调整架构参数(如层数或每层的神经元数量)变得更加容易。相比之下,卷积神经网络(CNN)在特征提取和分类部分需要不同的稀疏技术,因为它们的角色和结构不同。因此,为了加强我们的观察并确保我们发现的普遍性,我们还将实验扩展到包括CNN架构,特别是使用VGG-16模型。基于我们之前的工作[19],我们在工业环境中测量了四种稀疏技术(例如预训练、训练中、训练后和稀疏进化训练或简称SET)对MLP架构的性能,本研究缩小了焦点,探讨了当针对网络的特定层时,预训练和SET(即我们之前研究中最有前景的方法)如何影响训练性能。换句话说,我们旨在研究上述剪枝技术的影响,以评估专注于隐藏层(即本文中称为逐层剪枝方法)是否比传统方法(即全局剪枝方法,其中整个网络包括输入层和输出层都被稀疏化)能产生更有益的效果。在有益效果方面,我们主要关注研究能耗的作用以及测试准确性、推理时间和推理能耗之间的权衡,目标是实现更可持续的模型。我们的分析揭示了逐层剪枝可以在几乎不损失准确性的情况下提供良好的权衡(即在最佳情况下为0.49%,在最坏情况下为近5%),同时显著节省推理时间和推理能耗,例如在最佳情况下推理能耗减少了44%,推理时间减少了33%。此外,在大多数考虑的情况下,逐层剪枝的表现优于全局剪枝。为了完整性,我们还在CNN模型上进行了分析,特别是使用VGG-16架构,该架构在图像分类任务中广泛使用,并为探索剪枝技术提供了平衡的复杂性[20–24]。从这样的分析中得出,所有剪枝情况下的准确性波动都小于1%,这与我们之前的观察结果一致[25]。当前的研究通过提供对剪枝如何影响MLP模型的性能和能效的更深入理解,为剪枝难题增添了重要的一环,同时也扩展了研究到CNN架构,特别是使用VGG-16模型。由于CNN通常用于图像分类任务,并且是一种标准的深度学习架构,将它们纳入我们的分析有助于确保我们的发现适用于不同类型的网络,从而提供了关于剪枝技术有效性的更广泛视角。本文的结构如下:第2节回顾了剪枝技术、它们对性能和能效的影响以及它们在物联网和工业应用中的使用。第3节介绍了所有相关的方法论,包括稀疏技术(即预训练剪枝和SET)和方法(即逐层剪枝与全局剪枝)的细节,以及我们实验设计中包含的数据集和模型。接下来,第4节展示了结果,重点关注MLP模型的性能、训练能耗和峰值内存使用情况。为了完整性,还介绍了CNN架构的探索和特定领域数据集的评估。最后,第5节总结了本文并概述了未来工作的方向。
2 相关工作
最近在神经网络剪枝方面的改进[14,26–28]强调了其在保持模型准确性的同时提高计算效率的潜力。之前的工作探索了多种剪枝策略,提供了独特的稀疏化方法。这些策略可以大致分为结构化剪枝和非结构化剪枝。结构化剪枝涉及移除整个单元,如神经元、通道或层。相比之下,非结构化剪枝移除个别权重,这些权重是根据衡量它们对模型整体性能的贡献的算法来识别和丢弃的。通过关注非结构化剪枝,我们可以算法性地识别并移除最弱的连接,从而实现更精确和高效的剪枝过程。因此,我们在本文中讨论的相关工作主要集中在这一类剪枝上。Mocanu等人[13]提出了一种非结构化剪枝的示例方法,即稀疏进化训练(SET)。这是一种全局剪枝技术(作用于整个网络),通过进化过程移除较弱的连接。作者提出了一种方法,该方法从通过Erd?s-Rényi网络模型[29]初始化的稀疏神经网络开始,其中神经元之间的连接以固定概率随机分配。然后,在训练过程中逐步进化这个初始稀疏网络,每个时代都根据进化策略进行剪枝。关键思想是适应性地移除最弱的连接,同时保持模型的性能(及其网络拓扑特征),使用遗传算法迭代选择和优化最重要的连接。同样,Galchonkov等人[14]研究了两种技术的组合效果:在神经网络中剪枝以降低其复杂性以及预处理输入数据(例如旋转、平移和扭曲)。这些技术旨在使神经网络的训练更加高效,同时保持高准确性,特别是在使用MNIST数据集的手写数字识别任务中。相比之下,Kalyanam等人[30]提出了一种针对多层感知器(MLP)模型的非结构化剪枝方法,使用双曲正切(即tanh)激活函数,引入了一种新的神经元移除策略。这种方法针对激活值接近-1、0或1的神经元,利用tanh函数的零中心特性。这种方法与其他专注于链接权重或神经元之间连接的工作不同[13,28,31,32]。Lee等人[33]提出了单次网络剪枝(SNIP)技术,该技术在初始化时一次性剪枝神经网络,通过测量连接敏感性。这种方法消除了其他剪枝方法通常需要的传统迭代剪枝-重新训练周期。SNIP不是在训练期间或之后进行剪枝,而是根据每个连接对损失函数的影响来评估其重要性,使用一个小批量数据。低敏感性的连接被一次性剪除,使其成为一种高效的方法,可以在不牺牲准确性的情况下降低模型复杂性。此外,Fan等人[34]提出了一种逐层剪枝方法,该方法使用互信息(MI)来剪枝神经元。在这种方法中,稀疏性单独应用于每一层,允许进行更有针对性的剪枝过程。这种方法类似于Kalyanam等人的工作,因为两者都优先考虑剪枝神经元而不是神经元之间的连接。神经网络优化的另一个重要方面是可持续性。这包括考虑剪枝方法不仅影响模型大小和准确性,还影响训练和推理期间的能耗和资源效率。近年来,研究人员开始探索如何使神经网络更加节能和可持续,确保模型不仅在规模上更小,而且在计算和环境影响方面也更高效[25,35–37]。例如,Kamolov[36]研究了三种不同的策略,包括基于幅度的剪枝、结构化剪枝和随机剪枝,在两个卷积神经网络(CNN)模型ResNet18和VGG-16中进行了研究。他考虑了四种不同的稀疏度水平,即10%、30%、50%和70%,使用CIFAR-10数据集。在这项工作中,所有模型在应用了稀疏技术后都进行了10个时代的训练,以恢复模型的性能。研究表明,基于幅度的剪枝技术在保持模型准确性的同时,比结构化和随机剪枝更有效,并且降低了计算复杂性。值得注意的是,SET技术(见第3.1.2节)是我们研究中使用的主要剪枝方法之一,它结合了Erd?s-Rényi随机算法和基于幅度的剪枝,以优化模型性能并引导网络持续使用最强的连接。Li等人[37]引入了一种称为IHSOpti的硬件感知优化方法,旨在通过利用硬件特性(如流水线和并行性)来提高深度神经网络(DNN)的性能。他们提出了Polar_HSPG算法,该算法增强了DNN的剪枝,并引入了一种残差策略来减少层级的冗余。他们的评估关注了剪枝比率、Top-1准确率和推理时间等指标。研究探讨了剪枝技术如何在几乎不损失准确性的情况下减少计算开销,特别是对于VGG、ResNet和RegNet这样的模型。Widmann等人[38]研究了神经网络剪枝对物联网设备能效的影响。作者们在LeNet-5 CNN模型上应用了基于幅度的非结构化剪枝和使用平均零百分比(APoZ)方法的结构化剪枝。这些方法在Raspberry Pi Pico(RP2040芯片)上使用FashionMNIST数据集进行了测试。作者分析了不同压缩率(从2到64)对能耗、推理速度和准确率的影响。压缩率是通过将原始参数数量除以新参数数量得到的[39]。他们的研究表明,在大多数情况下,结构化剪枝优于非结构化剪枝,同时在能耗和推理速度上也取得了显著的改进。Liu等人[40]引入了网络瘦身方法,该方法通过对批量归一化层中的缩放因子应用稀疏正则化来优化CNN。这种方法自动识别并剪除不重要的通道,从而得到更紧凑的模型,减少了大小、内存使用和计算操作,同时保持甚至提高了准确性。这种学习方案旨在减少网络大小,而无需专门的软件或硬件加速器。仍有许多领域有待探索,例如稀疏技术(例如预训练、SET)和剪枝方法(例如全局或逐层),这些为进一步的研究和发展提供了宝贵的机会。此外,Tmamna等人[41]回顾了各种旨在提高深度神经网络(尤其是CNN)能效的剪枝策略。他们的工作强调了网络剪枝作为一种有效的方法,可以减少模型的大小和计算复杂性,同时最小化其碳足迹。通过选择性地消除冗余参数,剪枝技术显著加快了模型推理速度并降低了能耗。这项调查将剪枝方法分为三种主要类型:基于标准的、嵌入式的和自动化的方法。作者从不同的角度研究了剪枝策略,包括稀疏阶段、模型架构和数据集。他们对每种策略的影响进行了全面分析,为进一步的详细分析和探索奠定了宝贵的基础。现有的研究,包括Mocanu等人[13]、Galchonkov等人[14]、Kalyanam等人[30]、Lee等人[33]和Fan等人[34]的工作,提高了对剪枝技术和方法如何影响各种架构下的模型性能和能效的理解。这些研究引入了创新的剪枝技术,专注于在保持准确性的同时减少模型大小,探索了全局和逐层剪枝方法。我们的工作通过研究两种剪枝技术(包括预训练(第3.1.1节)和训练中的SET(第3.1.2节)扩展了之前的研究。我们检查了它们在全球和逐层剪枝场景中的性能,特别是在MLP架构中。通过这样做,我们旨在了解这些技术如何影响能效和模型性能,提供了关于MLP中效率和准确性之间权衡的见解。此外,为了更好地推广我们的发现,我们将分析扩展到更复杂的CNN模型,这些模型通常用于图像分类任务。此外,我们的研究还解决了剪枝技术的可持续性问题,这是早期研究中经常被忽视的一个领域。具体来说,我们探讨了全局和逐层剪枝策略如何影响训练和推理期间的能耗、二氧化碳排放以及整体资源效率。这提供了对剪枝对模型可持续性实际益处的更深入理解。
3 方法论
在本节中,介绍了本研究采用的方法论。首先,第3.1节提供了稀疏性的定义、应用的技术以及描述这些稀疏方法的数学公式。还概述了每种技术在神经网络模型中的实现及其在提高性能中的作用。接下来,第3.2节介绍了两种替代的剪枝方法(或策略),包括全局剪枝和逐层剪枝。第3.3节介绍了研究中使用的数据集。随后,第3.4节描述了研究中使用的模型架构。最后,第3.5节详细介绍了整个实验设计,包括收集实验数据的过程和实验中应用的配置。
3.1 稀疏技术
在人工神经网络中,剪枝是指去除网络的部分以减少模型的复杂性和大小,从而提高其效率。这一过程通常分为结构化剪枝和非结构化剪枝。在结构化剪枝中,会移除整个权重组、神经元或层,从而形成规则的稀疏模式。例如,权重幅度剪枝和滤波器剪枝会移除整个单元。而非结构化剪枝则根据权重对模型的贡献(通常由幅度或梯度决定)来移除个别权重。例如,基于幅度的剪枝会丢弃持有较小值的权重,因为这些权重对模型性能的贡献较小。这会导致不规则的稀疏模式,可以减少内存使用。像其他非结构化技术一样,基于幅度的剪枝减少了网络中活跃连接或权重的数量。这一概念受到生物神经系统的启发,在生物神经系统中,任何时候只有少量的神经元和连接是活跃的[42,43]。剪枝的主要目的是开发更高效、更小的网络,这些网络使用更少的计算资源,消耗更少的能量,同时在特定任务上仍然能够实现强大的性能[44,45]。为了比较,我们将稀疏ANN与其密集(未剪枝)对应物(即稀疏度为0%的ANN)进行基准测试,在这种情况下,所有权重都被保留,没有应用任何稀疏技术。在这项研究中,我们采用了两种剪枝技术:预训练(第3.1.1节)和稀疏进化训练(SET)(第3.1.2节)。这两种稀疏技术涵盖了基于剪枝应用训练阶段的神经网络剪枝方法。算法1展示了我们研究中使用的剪枝技术的实现伪代码,即预训练和SET。算法1. 应用所考虑的稀疏化技术的算法,带有训练循环。需要:模型、数据集、稀疏度、学习率、训练周期数、替换率。确保:训练并稀疏化的模型M。
1. 步骤1:初始化模型权重
2.
3. 步骤2:创建初始模型
4. 如果剪枝技术 == “before”,则
5. ?在训练前剪枝权重
6. 否则如果剪枝技术 == “set”,则
7. ?使用Erd?s-Rényi创建稀疏连接
8. 结束if
9. 步骤3:训练循环
10. 对于训练周期从1到...执行
11. 对于每个批次执行
12. 前向传播:
13.
14.
15. 后向传播:
16.
17.
18.
19. 如果剪枝技术 == “set”,则
20. ?替换最弱的连接
21. 结束if
22. 结束for
23. 返回
3.1.1 预训练剪枝
一种常见的剪枝方法是在神经网络初始化后立即但在训练开始之前应用L1技术[46]来移除弱连接。通过从一个已剪枝的网络开始,其中根据所需的稀疏度移除一部分连接,需要优化的参数数量显著减少。这不仅简化了优化过程,还降低了计算成本并加快了训练速度,因为模型需要更少的资源来实现有效学习[47]。在以下段落中,我们提供了L1范数的详细解释,包括其数学公式和一个示例。L1范数[48]是一种广泛用于机器学习和统计学中的数学技术,用于增强特征选择、减少模型复杂性并提高预测准确性。它最小化了选定变量(例如我们案例中的连接权重)的绝对值之和,从而得到更稀疏的网络,其中大多数变量变为零(即我们实验中移除的连接)。这种方法通常应用于剪枝技术、信号处理、图像识别和生物信息学中。L1范数也称为最小绝对偏差,用于测量数学空间中点之间的距离。对于一个向量,L1范数定义为:
(1)L1范数计算向量中每个元素的绝对值之和。与其他范数(如L2范数[49]不同,L1范数不会放大较大值的幅度。这一特性使其特别适用于生成稀疏解,其中向量的许多元素变为零。在机器学习中,非结构化的L1方法经常用于通过最小化损失值来解决优化问题,该损失值衡量预测值和实际值之间的差异,并结合基于L1范数的正则化项。这种技术广泛用于Lasso回归,其目标是识别最佳预测输出的特征系数,同时减少模型复杂性。
3.1.2 基于SET的训练中剪枝 - 稀疏进化训练
Erd?s-Rényi模型[29]是一个用于生成随机图的基础数学框架,其中节点根据概率通过边连接。该模型广泛用于研究现实世界网络的结构,如社交或生物系统,通过模拟它们的连接模式。从n个节点开始,每对节点以概率p连接。由于其简单性和适应性,Erd?s-Rényi模型是初始化神经网络稀疏架构的宝贵工具。Mocanu等人[13]提出的SET方法利用Erd?s-Rényi模型来初始化稀疏神经网络。与其他稀疏化技术(如随机或L1方法)不同,SET使用这个概率模型来定义神经元之间的初始连接。通过设置概率p,SET控制网络的初始连接性,确保一个稀疏但有效的起始结构。SET在训练过程中逐个训练周期优化网络。它通过用之前剪除的连接替换20%的最小正权重和最大负权重(即较弱的连接)来动态更新网络,这是Mocanu等人[13]在他们自己实现该技术时使用的比例。这种动态调整确保网络不断加强最重要的连接,同时保持稀疏度水平不变。到训练结束时,网络演变成一个具有优化连接的强大结构,实现了计算效率和性能之间的有效平衡。
3.2 剪枝方法
在这里,我们主要关注比较两种用于多层感知器(MLP)模型的剪枝方法:全局剪枝和逐层剪枝。剪枝技术(第3.1节)用于减少神经网络中的连接数量,从而提高效率并降低推理期间的资源使用。全局非结构化剪枝涉及根据权重的重要性从整个网络架构中移除权重,而不考虑它们属于哪个层。在这种方法中,无论它们位于哪个层,都会剪除整个网络中固定百分比的最弱连接。虽然这种方法简单,但它可能并不总是导致最佳性能,因为它没有考虑每一层对整个网络的具体贡献。另一方面,我们在这里提出的逐层剪枝方法针对网络的特定层。我们的直觉是,MLP的输入层包含来自输入数据的重要特征,从该层移除连接可能会降低模型的性能。出于同样的原因,保留最后一层(即从最后一个输入层到输出层)的所有连接对于保持准确分类输入所需的连接非常重要。因此,如图1所示,对于多层感知器(MLP)架构,我们仅修剪隐藏层,而输入层和输出层保持不变。下载:PPT、PowerPoint幻灯片、PNG格式的大图、TIFF格式的原始图像。图1展示了我们的两个多层感知器(MLP)模型的架构,包括小规模和中等规模模型,以及我们在模型上应用的修剪策略。层与层之间的剪刀图标表示修剪的位置。层中的数字表示该层中的神经元数量。链接:https://doi.org/10.1371/journal.pcsy.0000095.g001
同样,在卷积神经网络(CNN)模型中,我们将相同的稀疏技术应用于网络的分类部分,以及最后一个卷积层与第一个分类层之间的所有连接。这些连接代表了从卷积层提取的特征,并作为网络分类部分的输入。然而,我们不对网络的特征提取部分(即卷积层)应用任何稀疏技术。在我们的实验中,我们比较了两种神经网络模型(即MLP和CNN)在两种修剪方法(全局修剪和逐层修剪)下的性能,重点关注关键指标,如测试准确率、推理时间、推理和训练阶段的能效以及训练期间的内存使用情况。通过研究这些因素,我们旨在了解全局修剪和逐层修剪如何影响模型性能,并确定哪种方法在能源使用和准确性方面更有效和高效。
3.3 数据集
在本节中,我们描述了研究中使用的数据集。以下小节分别介绍了每个数据集的详细信息:第3.3.1节是MNIST,第3.3.2节是FashionMNIST,第3.3.3节是EMNIST,第3.3.4节是CIFAR-10,第3.3.5节是OctMNIST。除了OctMNIST之外,所有这些数据集都可以通过PyTorch内置的数据集模块直接获取(官方文档链接:https://docs.pytorch.org/vision/stable/datasets.html)。OctMNIST作为一个独立的Python库提供(可通过https://pypi.org/project/medmnist访问)。我们在整个研究实验中使用了这些特定的实现。对于涉及CNN的实验(第4.5节),我们仅使用了最后三个数据集:CIFAR-10、EMNIST和OctMNIST,因为它们是最复杂的。
3.3.1 MNIST
MNIST数据集是机器学习中广泛使用的基准数据集,包含手写数字(0-9)的灰度图像。它包含60,000张图像,使其成为分类任务和稀疏技术的标准选择。MNIST的简单性、小规模和明确定义的结构使得实验和结果比较变得高效。
3.3.2 FashionMNIST
与MNIST类似,FashionMNIST也常被用作机器学习的基准数据集;然而,它用于稍微复杂和更现实的分类问题,因为图像不仅仅是数字,还包括服装物品。它包含60,000张灰度图像,共有10个类别,每个类别代表一种不同的服装类型。在我们的研究中,我们使用FashionMNIST来评估稀疏技术在处理稍微复杂的数据集时的表现。
3.3.3 EMNIST
EMNIST数据集是MNIST数据集的扩展(其规模是MNIST的11倍以上),专为更复杂的 handwritten 识别任务设计。它包含手写字符,包括数字和字母,适用于多类分类问题。值得一提的是,该数据集有多种不同的分割方式,包括ByClass、ByMerge、Balanced、Letters、Digits和MNIST。其中最常用的是ByClass分割,它包含总共62个类别。这些类别不仅包括数字(即0-9的10个类别),还包括大写和小写的英文字母(分别来自A-Z和a-z的26个类别)。与MNIST和FashionMNIST类似,该数据集也由灰度图像组成。ByClass子集包含来自62个不平衡类别的814,255个样本。EMNIST中类别数量的增加,包括手写数字和字母,使其成为评估稀疏技术在更具挑战性的多类分类任务上性能的合适基准。
3.3.4 CIFAR-10
CIFAR-10是机器学习领域中著名的数据集,用于高级图像分类任务。它包含50,000张彩色图像,分为10个不同的类别(即飞机、汽车、鸟、猫、鹿、狗、青蛙、马和卡车)。与EMNIST、MNIST和FashionMNIST等数据集相比,CIFAR-10的主要挑战在于其彩色图像,这增加了由于背景和纹理多样性带来的复杂性。在我们的实验中,我们使用CIFAR-10来评估稀疏技术在具有更复杂视觉特征的彩色图像上的有效性。
3.3.5 OctMNIST
OctMNIST数据集是MedMNIST [55,56]集合的一部分,这是一个用于机器学习的标准化生物医学图像数据集集合。MedMNIST是一个全面的生物医学图像数据集,旨在支持医学领域的机器学习研究。它包括18个不同的数据集,其中12个数据集用于2D图像,6个数据集用于3D体积,每个数据集都格式化以便与深度学习模型无缝集成。这些数据集专门为各种医学应用而设计,如疾病分类、组织分割和解剖学识别。MedMNIST Python库提供了四种标准化的图像尺寸配置。我们的分析专注于光学相干断层扫描(OCT)视网膜图像的分辨率。这一选择允许在本研究中使用的所有数据集之间进行更公平的比较,同时也能够研究模型在处理高分辨率样本时的性能。这些图像展示了四种视网膜状况,它们在网络的输出层被转换为四个神经元:健康组织、糖尿病性黄斑水肿、玻璃膜疣和脉络膜新生血管。该数据集在医学相关性和可管理大小方面的平衡使其适用于受控实验。根据MedMNIST Python库提供的官方划分方案,数据集被分为三个子集:训练集(89%)、验证集(15%)和测试集(5%)。
3.4 模型架构
本研究主要关注多层感知器(MLP)模型,同时也扩展了对卷积神经网络(CNN)的分析,以考察观察到的趋势是否可以推广到更复杂的模型。MLP具有简单的全连接结构——每一层中的每个神经元都直接连接到下一层中的每个神经元——这为理解稀疏技术的影响提供了一个基本的基准。这种简单性使我们能够在受控环境中隔离和分析修剪的影响,而不会引入CNN或基于ResNet的模型等更复杂架构带来的额外复杂性,后者在图像分类任务中表现优异。在我们的实验中,我们使用了两种规模的MLP模型,即小规模模型(第3.4.1节)和中等规模模型(第3.4.2节)。这些模型提供了不同的复杂度水平,使我们能够在不同的资源条件下评估稀疏技术。虽然人们可能期望包含更大规模的模型,但我们专注于较小的MLP架构是有意为之,因为这些模型允许更清楚地观察修剪、能耗和效率之间的关系。为了补充这一分析,我们还包括了VGG-16架构(第3.4.3节)作为CNN案例研究,以便在更复杂的基于卷积的设置中评估稀疏技术。这种MLP和CNN之间的比较提供了更广泛的理解,了解不同的修剪技术和方法在不同网络类型(从简单的全连接架构到更深的卷积模型)上的表现。
3.4.1 小规模架构
我们的分析从一个小型MLP模型开始,该模型设计用于处理维度为XX的输入数据,这与MNIST等数据集中的图像大小相匹配。模型的输入层包含784个神经元,确保输入图像中的每个像素都由一个神经元表示。网络还包括两个隐藏层,每个隐藏层包含16个神经元,以及一个包含10个神经元的输出层,与MNIST等典型分类任务中的类别数量相匹配。总的来说,这个4层架构包含826个神经元。当完全连接时,模型有12,960个连接,这是我们的实验设置中实现高达90%准确率所需的最小连接数。通过减小网络规模,测试阶段的最终准确率会下降。这种小型架构旨在平衡简单性和计算效率,同时为评估稀疏技术提供了一个有意义的框架。通过关注这个紧凑的网络,我们可以有效地研究稀疏化对模型性能的影响,利用与MNIST等广泛使用的数据集中相似的输入大小和结构。
3.4.2 中等规模架构
为了进行比较,我们还使用了一个中等规模的MLP模型。该模型的第一个隐藏层包含4,000个神经元,第二个隐藏层包含1,000个神经元,第三个隐藏层包含4,000个神经元。以MNIST数据集为例,我们计算了中等规模MLP模型的总神经元数和连接数。这个5层架构包括输入层、4,000-1,000-4,000个隐藏层和输出层,总共包含9,794个神经元。当完全连接时,模型有11,176,000个连接,这是在MNIST数据集上实现所需性能的最小连接数。这些值为评估所提出的稀疏技术在高维环境中的可扩展性和计算需求提供了明确的定量基础。
3.4.3 VGG-16架构
除了MLP模型外,我们还使用VGG-16架构来扩展我们的研究,以涵盖CNN。我们包含这个模型只是为了示例和完整性,以展示当使用更复杂的架构时我们的方法可能会如何被掩盖。原始的VGG-16包含16层,包括13个卷积层和3个全连接层。卷积层负责特征提取,而全连接层执行分类。在我们的实验中,我们通过向网络的分类部分添加两个额外的全连接层来扩展原始的VGG-16。这种修改增加了分类过程的复杂性,并在应用不同的稀疏技术时使修剪效果更加明显。我们选择VGG-16有两个主要原因。首先,它提供了适当的复杂度水平——足够大以代表现实世界的CNN行为,但又不会太大而使实验不切实际。其次,它允许我们将MLP模型的发现与在类似稀疏技术下的CNN架构进行比较。通过对网络的分类部分应用全局和逐层修剪,我们可以分析在更复杂的CNN中是否也会出现与MLP中观察到的相同趋势。这有助于我们评估我们的观察结果在不同模型类型中的普遍性。修改后的VGG-16架构的整体结构,包括额外的全连接层和每种方法中的修剪部分,在图2中进行了说明。下载:PPT、PowerPoint幻灯片、PNG格式的大图、TIFF格式的原始图像。图2展示了我们实验中使用的VGG-16架构,其中应用了稀疏技术的层用红色边框标出并标记为“修剪组件”。链接:https://doi.org/10.1371/journal.pcsy.0000095.g002
3.5 实验设计
本研究调查了在MLP模型的隐藏层应用稀疏化的影响。为此目的考虑了两种修剪方法。在第一种方法中,全局应用修剪,意味着所有层都被修剪到相同的稀疏水平,包括输入层、隐藏层和输出层。在第二种方法中,相同的稀疏水平仅应用于MLP模型的隐藏层。为了确保我们结果和观察的可靠性,我们还扩展了对CNN模型的研究。两种修剪方法都进行了应用,但仅应用于CNN的分类部分,因为这部分与MLP最为相似。当执行全局方法时,分类部分的所有层都被修剪;而在逐层修剪中,我们保留了输出层中的所有连接以及将特征提取部分与分类部分的第一个层连接起来的连接。本研究中提出的修剪方法(即逐层修剪)基于两个关键假设。首先,MLP网络的初始层通常包含重要的和有价值的信息,这些信息可以显著影响模型在训练期间的性能。其次,最后一层使得模型能够选择最合适的输出类别,因为这一层中的每个神经元都直接连接到单个输出类别。因此,我们将稀疏技术(即SET和预训练)的应用限制在隐藏层,以保持输入层和输出层的完整性。这种方法确保了模型在开始时能够处理关键信息,并在最后做出准确预测,同时仍然在中间层获得稀疏性的好处。为了确保在所有数据集组合(第3.3节)和模型(第3.4节)之间进行公平比较,我们采用了恒定的训练配置。在模型的密集版本和稀疏版本中,都应用了相同的超参数,以保持评估的一致性和直接可比性。每个模型的训练批量大小为4,学习率为1e-3,测试批量大小也为4。训练过程进行了60个周期,以确保稳定收敛,并能够对密集模型和稀疏模型进行公平比较。对于CNN模型,批量大小增加到64,学习率设置为1×10^-4。我们最初对VGG-16架构进行了60个周期的训练,与MLP模型相同。然而,对CNN模型进行60个周期的训练会导致所有数据集的过拟合。为了解决这个问题,我们将训练周期减少到45个周期以防止过拟合。第4节讨论的结果是基于实验的十次独立运行的平均值。在所有实验中,我们使用了六个指标来监控和评估模型的性能,即测试准确率、推理时间、总推理能量、训练能量、排放量、功耗和最大峰值内存。这些指标提供了对模型行为、效率和资源使用的全面理解。为了测量模型训练期间的能耗,我们使用了Zeus库[57-59],这是一个为GPU能耗监控设计的Python库。该库使用NVIDIA Management Library (NVML)直接从GPU硬件收集功耗数据,确保了数据收集的可靠性。正如先前的研究[57]所示,Zeus实现了即时(JIT)分析,能够在最小的计算开销下进行实时能耗测量。虽然对于单GPU设置有效,但在高性能计算(HPC)环境中,当GPU被划分为并行任务时,Zeus存在局限性,因为它无法隔离各个虚拟GPU实例的能耗。为了更好地理解这一局限性,我们在一台专用机器上进行了实验,该机器配备了NVIDIA GeForce RTX 3060 GPU、16GB RAM和Intel Core i7-11800H CPU。这种设置允许更准确的能耗测量,因为整个GPU都被使用了。我们发现,在Lenovo Legion 5上训练模型所使用的能量大约是HPC系统的三分之一。这个问题源于HPC系统的局限性,其中资源通常是共享的。在现实世界的设置中,特别是在资源有限的设备上,通常会使用所有可用的硬件来执行单个训练任务,这有助于优化能源效率。用于测量这些指标的方法在两种硬件(即GPU)配置中是一致的。算法2. 训练阶段的能量指标测量。1. 2. 对于...进行3. ??开始第4个周期的能量跟踪4. 对于...进行5. 6. 7. 结束对于8. ??结束能量跟踪9. 10. 结束对于我们所有的训练实验都包括三个标准阶段,即训练、验证和测试。算法2展示了我们如何分别测量每个周期的能量。这确保了训练阶段中的任何额外操作都不会干扰我们的测量结果。此外,本研究中使用的所有代码都可以在GitHub上公开获取(网址:https://github.com/amirzenoozi/layer-wise-pruning-in-mlps)。我们认识到,使用固定配置的MLP进行训练是一个限制因素,并且不能为每个数据集或剪枝场景提供最佳性能。例如,在处理更复杂的数据集时,由于任务更复杂,我们预计性能会较低。此外,使用CNNs在现实世界问题中可以获得更高的准确率[19,56,60,61],因为模型具有特征提取部分,而这在MLP架构中不存在。然而,模型的行为是一致的,并且可以在所有实验中观察到,无论数据集如何。这使我们能够关注剪枝如何影响模型的整体可持续性,而不仅仅是其在特定数据集上的性能。
4 结果
在本节中,我们将展示和讨论在不同(i)稀疏度水平(即50%和80%)、剪枝技术(即预训练和SET)以及剪枝方法(即全局剪枝与分层剪枝)下获得的结果。这个测试矩阵的每个元素都与密集模型(即完全连接的ANN,稀疏度为0%)进行了基准测试。首先,在第4.1节中,我们研究了模型在测试阶段的准确率、平均推理时间和总推理能量,突出了最佳的权衡组合。接下来,在第4.2节和第4.3节中,分别研究了训练阶段产生的能耗和二氧化碳排放估计。在那里,我们还检查了与所选剪枝方法相关的功耗和节省情况。在第4.4节中,我们比较了所有实验中的峰值内存使用情况,以评估不同模型设置对内存效率的影响。此外,第4.5节详细讨论了我们对CNN网络的观察结果,分析了训练阶段和测试阶段之间的权衡,并展示了训练期间的能耗比较。最后,在第4.6节中,我们讨论了分层方法对特定领域数据集的影响,这可能会促进该方法在现实世界场景中的未来探索。
4.1 推理效率
我们研究的主要焦点是模型的可持续性(特别是在推理时间)以及剪枝技术如何影响其在不同设置下的性能。在这里,我们关注不同模型在测试准确率、推理时间和能耗方面的权衡。表1总结了MNIST和FashionMNIST数据集的结果。其中,模型在三个关键指标上的表现得到了总结,即测试准确率(ACC)、平均推理时间(AIT)和总推理能量(TIE)。我们报告了两种模型规模(即小规模和中等规模)、稀疏度水平(即50%和80%)、方法(即全局和分层)以及剪枝技术(即预训练和SET)的结果。请注意,稀疏度水平指的是被剪枝的神经连接的比例。结果以相对于基准值(即初始的全连接密集网络,没有稀疏性)的相对百分比差异来报告。下载:PPT PowerPoint幻灯片PNG更大图像TIFF原始图像
表1. MNIST和FashionMNIST数据集的模型性能。测试准确率(ACC,%)、平均推理时间(AIT,s)和总推理能量消耗(TIE,J),以相对于基准值的百分比差异表示。背景不同的行代表最佳权衡,加粗的单元格突出显示了每个指标的最佳结果。
https://doi.org/10.1371/journal.pcsy.0000095.t001
为了评估平均推理时间和总推理能量,我们在CPU上而不是GPU上进行了实验。这种方法允许在所有实验中进行公平、一致和可比较的测量,因为它消除了可能由于使用不同硬件配置而产生的性能偏差,就像在高性能计算集群中的情况一样。表格显示,稀疏技术可以有效地应用于我们MLP模型的隐藏层,同时保持竞争性能。与使用相同架构和相同数据集的密集模型相比,稀疏化模型在准确率方面的下降仅很小。具体来说,无论是预训练还是SET方法,在50%和80%的稀疏度水平下,准确率都保持在密集基线的2%以内。这表明可以在不显著影响模型性能的情况下实现显著的网络压缩。剪枝方法的选择在改进方面起着重要作用,尤其是在推理效率方面。分层剪枝在大多数配置中始终匹配或优于全局剪枝。详细来说,当考虑MNIST数据集时,在小规模MLP模型中观察到最佳性能,稀疏度为50%,推理时间提高了大约33%,而分层场景下的准确率仅下降了0.49%。同样,对于FashionMNIST数据集,在分层场景中,最佳结果是在中等规模的MLP模型中获得的,稀疏度为50%,平均推理时间提高了约23%,准确率仅下降了0.65%。这些结果表明,分层剪枝不仅保持了模型准确率,还在推理期间提供了显著的计算优势。多次运行的标准偏差很小,准确率(ACC)的变化在0.5%以内,平均推理时间(AIT)的变化在3.2%以内,总推理能量(TIE)的变化在7.2%以内。这些推理时间和能耗的变化可以归因于实验执行期间的硬件负载和资源调度的微小变化。由于推理阶段是在标准CPU设置上进行的,而不是在完全隔离的环境中进行的,因此后台进程和系统级别的能源管理会对测量结果产生轻微影响。虽然表1中呈现的结果提供了详细的数值比较,但它们并没有完全捕捉到性能和效率指标之间的权衡,例如平均推理时间和总推理能量。为了解决这一限制并提供更全面的理解,我们生成了额外的图表(见图3),以可视化不同剪枝技术和稀疏度水平在每个数据集和模型组合中的权衡。
下载:PPT PowerPoint幻灯片PNG更大图像TIFF原始图像
图3. 两种模型和两个数据集之间的准确率-效率权衡比较。每个点代表一个剪枝实验。标签遵循以下格式:Model_Sparsity_PruningApproach_Technique,其中(S)表示小规模,(M)表示中等规模,(G)表示全局剪枝方法,(L)表示分层剪枝方法,(PT)代表预训练技术,(SET)表示稀疏进化训练技术。红色点标记全局剪枝方法,蓝色点标记分层剪枝方法,绿色“×”符号标记基准密集模型(即0%稀疏度)。
https://doi.org/10.1371/journal.pcsy.0000095.g003
由于我们的研究评估了多个指标,包括准确率、平均推理时间和总推理能量,因此有必要在保持最相关信息的同时减少比较的维度。为此,我们引入了效率指数,它将AIT和TIE结合为一个指标。这两个指标都反映了模型的效率,其中较低的值表示在速度和能耗方面的更好性能。效率指数使用以下公式计算:(2),其中 和 分别代表所有实验中AIT和TIE的最大值。这种标准化确保了两个指标处于相同的尺度上,值的范围在0到1之间。更高的效率指数表示模型更高效,运行更快且能耗更低。图3展示了不同剪枝配置下模型准确率(%)和效率指数之间的权衡。从这些可视化中可以清楚地看到,使用分层方法训练的模型实现了更好的权衡,在保持较低能耗的同时显示出更高的准确率。通过分析具有相同稀疏度水平、模型规模和剪枝技术的每对实验,我们可以清楚地看到,在相同的训练条件下,分层方法始终优于全局剪枝方法。稀疏模型和密集模型之间的可比测试准确率,加上分层剪枝带来的推理时间改进,表明我们的稀疏方法为高效模型部署提供了实际的好处。分层方法之所以表现出这种行为的一个主要原因是,保持第一层和最后一层(即输入特征和输出类别)的所有连接有助于模型正确匹配输入和相应的输出类别。这确保了模型能够更好地将输入特征映射到最终决策。实际上,通过保持第一层中的所有连接,可以从输入神经元中更好地提取特征。通过保持这些连接,模型能够更有效地捕获和处理原始输入数据,这对于准确预测至关重要。在两种稀疏度水平上的一致性能进一步证明了这些技术的稳健性。4.2 训练效率 本节评估了在MNIST和FashionMNIST数据集上,不同实验配置下训练过程中产生的能耗。通过将所有考虑的技术和场景的能耗与相应的密集版本进行比较,我们观察到所有剪枝技术的能耗都有所增加,这是预期之中的。这种行为是由于在训练阶段进行了更多的计算,以找到需要消除的最弱连接。图4显示了在两个数据集上,小规模和中等规模模型在训练阶段的能耗情况。图表使用缩放的y轴来突出性能差异,所有图表的范围从150,000J到400,000J。在所有实验中,逐层剪枝始终显示出比全局剪枝更低的能耗需求。每个条形代表从实验重复中获得的平均值,而范围标记表示所有运行中观察到的最小值和最大值,显示了结果的范围。此外,将剪枝方法从全局剪枝改为逐层剪枝对节省小型和中等规模模型的能源有类似的影响。下载:PPT、PowerPoint幻灯片、PNG、更大图像、TIFF、原始图像。图4. 在两个模型和两个数据集上比较训练阶段的能耗概况。每个子图展示了五个实验,包括两种剪枝技术(即预训练和SET)和两种稀疏度水平(即50%和80%)以及模型的密集版本(即0%稀疏度)。在每个图中,我们缩放y轴以显示由蓝色条形表示的全局剪枝方法和由橙色条形表示的逐层剪枝方法之间的差异。https://doi.org/10.1371/journal.pcsy.0000095.g004 这些结果是在HPC系统上使用GPU进行训练阶段收集的,而第4.1节讨论的推理时间和能耗是使用CPU测量的,以展示模型在资源匮乏情况下的性能和适用性。4.3 环境影响 随着复杂且广泛使用的模型的增加,它们的开发和部署对环境的影响变得越来越重要。虽然性能指标(如准确性和效率)通常是主要关注点,但与训练和使用机器学习模型相关的碳足迹经常被忽视。直接通过库测量排放量可能很困难,但有一些数据集[62,63]可以根据能耗来跟踪排放量。利用这些数据集,我们可以估计这些过程产生的排放量。根据Peng [62]的强度数据集,2000年至2017年间,全球的平均值为527.93,我们使用这个值来衡量本研究中的训练阶段排放量。使用第4.2节中的能耗指标和全球平均二氧化碳强度,我们估计了模型训练阶段的排放量。在所有考虑的情景中,与全局剪枝方法相比,使用逐层剪枝方法可以减少排放量。近年来,对训练复杂AI模型的需求增加,不仅引发了对其计算成本的关注,也引发了对其环境影响的关注。模型训练期间的功耗是一个重要指标,它直接影响机器学习系统的整体可持续性。通过将能耗从焦耳(J)转换为瓦时(wH),我们可以更好地理解训练模型所需的电力消耗。训练模型通常比推理阶段需要更多的能量和时间,这使得它在能耗方面成为一个重要因素。此外,随着训练的AI模型数量不断增加,对功耗的累积影响也在增加。这个指标在中等规模的AI研究和生产环境中尤为重要,因为训练模型可能会导致显著的能耗。这个指标在未来的研究中可能发挥关键作用,旨在减少机器学习的环境成本,并确保AI发展对技术进步和可持续性都有积极贡献。应用逐层剪枝方法在我们的所有实验中都减少了功耗,与全局方法相比。具体来说,在这些实验中,功耗减少了1.26wH到18.28wH,这表明在大多数情况下,逐层方法在优化模型训练期间的能源使用方面比全局方法更有效。4.4 训练期间的峰值内存利用率 理解训练期间的峰值内存分配对于优化资源使用和避免硬件限制至关重要。这个指标捕捉了模型、数据和中间计算在训练阶段任何时刻所需的最大内存。高内存请求可能导致内存不足错误或被迫减少批量大小,直接影响训练效率。在本节中,我们分析了小型和中等规模模型的峰值内存使用情况,并将其与架构选择(例如,层宽度、批量大小)和不同数据集相关联。图5中的所有四个图表都使用缩放的y轴来突出性能差异。图5a和5c的y轴从17 MB开始,而图5b和5d的y轴从180 MB开始。下载:PPT、PowerPoint幻灯片、PNG、更大图像、TIFF、原始图像。图5. 所有模型和数据集在训练期间的峰值内存分配。结果突显了模型架构和数据集复杂性如何影响内存需求。https://doi.org/10.1371/journal.pcsy.0000095.g005 图5中的一个重要观察是,与全局方法相比,逐层方法始终使用的内存较少。此外,在中等规模模型中观察到的峰值内存使用增加是由于模型的复杂性增加,该模型有三个隐藏层和4000-1000-4000个神经元。较大的模型尺寸,加上SET的动态剪枝方法,可能需要更多的内存来存储和管理权重。4.5 关于卷积神经网络的讨论 卷积神经网络(CNN)彻底改变了深度学习领域,特别是在图像分类和对象检测等应用中[20–24]。在多类分类的背景下,CNN被广泛用于将数据分类为多个类别,要求模型学习每个类别的复杂表示。然而,随着CNN的深度和复杂性的增加,计算成本也随之增加,这在资源受限的环境中部署时带来了挑战。为了解决这个问题,剪枝作为一种有效的技术出现,可以在不牺牲显著性能的情况下减少模型大小并提高效率。此外,由于这些网络的独特结构,选择正确的剪枝方法以保持模型效率和性能之间的平衡至关重要。除了负责分类任务的全连接层外,CNN还包含处理特征提取的卷积层。这些卷积层对剪枝技术非常敏感[25],这意味着移除或修改它们会显著影响模型提取重要特征的能力。设计MLP架构的实验相对简单(第3.2节),因为这些网络更简单,输入层和输出层之间有直接的联系。然而,对于CNN来说,这个过程更为复杂,因为它们由特征提取部分(即卷积层)和分类部分(即全连接层)组成。在我们之前的工作[25]中,我们研究了使用第3.1节中相同的剪枝技术对CNN模型的性能进行了研究,这些技术是全局应用于卷积层的。对于当前的研究,我们旨在保持基于MLP的实验和基于CNN的实验之间的一致性。为此,我们决定仅将逐层剪枝和全局剪枝应用于网络的分类部分。具体来说,我们保留了特征提取部分与分类部分的第一层之间的所有连接,以及最后一个分类层中的所有连接。这种实验设置反映了MLP模型实验中使用的方法,允许进行公平比较。通过这样做,我们可以直接将MLP网络的结果与更复杂的CNN网络进行比较。为了使我们的实验更符合现实世界的情景,我们决定在更复杂和多样的数据集上运行CNN实验。我们使用了CIFAR-10 3.3.4和EMNIST 3.3.3。通过这种方式,我们引入了一个更实际和多样化的挑战来评估CNN剪枝技术。对于我们的CNN实验,我们选择了VGG-16架构,原因有几个(如第3.4.3节所述)。此外,与其他更大的模型相比,VGG-16适合在资源匮乏的环境中使用。它既不太小也不太大,允许我们有效地研究我们的研究问题,而不会过度消耗计算资源[64–66]。就模型性能而言,表2提到了在VGG-16架构和两个数据集(即CIFAR-10和EMNIST)上进行的实验。尽管模型的准确性没有显著变化——并且我们观察到与密集版本相比性能相似——但我们可以看到稀疏网络在测试阶段所需的能量和时间更少。下载:PPT、PowerPoint幻灯片、PNG、更大图像、TIFF、原始图像。表2. 使用VGG-16架构评估的CIFAR-10和EMNIST数据集的模型性能。测试准确性(ACC,%)、平均推理时间(AIT,s)和总推理能耗(TIE,J),以相对于基准值的百分比差异表示。背景不同的行代表最佳平衡,粗体单元格突出显示每个指标的最佳结果。https://doi.org/10.1371/journal.pcsy.0000095.t002 此外,由于我们实验中观察到的准确性波动小于1%,我们假设这些变化与稀疏化过程没有直接关系。这种小的准确性差异是预期的,因为在多次训练运行中达到完全相同的结果通常很困难。当模型被训练多次时,结果往往非常接近,但并不完全相同。多次运行的标准差很小,准确性(ACC)在0.3%以内变化,平均推理时间(AIT)在3.7%以内变化,总推理能耗(TIE)在5.2%以内变化。除了数值比较之外,图6进一步说明了准确性和效率之间的权衡,它提供了剪枝配置相对于基准的视觉表示。如图所示,逐层配置的位置比全局配置更有利,实现了更高的准确性和更高的效率指数值。这表明逐层剪枝在准确性和效率之间提供了更好的平衡,证实了其在性能和能源效率方面的优势。下载:PPT、PowerPoint幻灯片、PNG、更大图像、TIFF、原始图像。图6. 在VGG-16上两个数据集上比较准确性和效率的权衡。每个点代表一个剪枝实验。标签遵循Model_Sparsity_PruningApproach_Technique的格式,其中(S)表示小规模,(M)表示中等规模,(G)表示全局剪枝方法,(L)表示逐层剪枝方法,(PT)代表预训练技术,(SET)表示稀疏进化训练技术。红色点标记全局剪枝方法,蓝色点标记逐层方法,绿色“×”符号标记基准密集模型(即0%稀疏度)。https://doi.org/10.1371/journal.pcsy.0000095.g006 图7显示了训练阶段的能耗概况,说明了在两个数据集(CIFAR-10和EMNIST)上训练VGG-16模型的能耗。图7a和7b的y轴范围不同,因为使用相同的范围将难以区分CIFAR-10实验之间的能耗变化。下载:PPT、PowerPoint幻灯片、PNG、更大图像、TIFF、原始图像。图7. 在VGG-16架构上两个数据集的训练阶段能耗概况的比较。每个子图展示了五个实验,包括两种剪枝技术(预训练和SET)和两种稀疏度水平(50%和80%)以及模型的密集版本(即基准)。在每个图中,我们缩放y轴以显示由蓝色条形表示的全局剪枝方法和由橙色条形表示的逐层方法之间的差异。https://doi.org/10.1371/journal.pcsy.0000095.g007 这些图的主要观察是,在EMNIST数据集上训练VGG-16所需的能量比在CIFAR-10上更多。根据我们的实验,这种差异主要是由于EMNIST数据集的复杂性更高,它包含62个类别,而CIFAR-10包含10个类别。此外,EMNIST中的样本彼此更为相似,这要求更多的能量来提取用于分类的特征。还需要注意的是,对于这两个数据集来说,模型中特征提取部分消耗了大部分能量,而特征提取是任何卷积网络的关键组成部分。此外,与全局剪枝方法相比,逐层稀疏方法在所有实验中成功降低了训练阶段的能量消耗。这一发现与我们在第4.2节讨论的MLP模型的结果一致。对于CNN来说,与MLP的结果类似,使用逐层稀疏方法也降低了能量消耗。此外,这种方法在测试阶段的模型性能也更快。
4.6 关于特定领域数据集的讨论
在本节中,我们重点介绍了一系列使用OctMNIST数据集(第3.3.5节)进行的实验,该数据集是一个医学图像数据集,用于评估模型在更复杂、特定领域数据上的表现。这类数据集由于分辨率较高和图像复杂性,给我们的实验设置带来了额外的挑战。在训练参数方面,我们最初使用与MNIST或FashionMNIST相同的参数来训练OctMNIST数据集。然而,这种配置的表现较差,密集模型在所有实验中的准确率都未能超过50%。为了解决这个问题,我们根据OctMNIST的更高复杂性调整了超参数:将批量大小从4增加到256,并将学习率(LR)从1e-3降低到1e-5。这些修改提高了模型的收敛性和性能,达到了62%的峰值准确率。尽管这个结果并不令人满意,但考虑到医学数据集的复杂性,这是可以预料的。虽然将模型规模从小型增加到中型在所有性能指标(即准确率、平均推理时间和推理能量)上都有所改善,但密集模型的性能仍然较低,无论是全局剪枝还是逐层剪枝,都会导致性能显著下降。例如,在某些实验中,应用剪枝技术后准确率下降了近25%。在训练能量方面,将数据集更改为OctMNIST与MNIST和FashionMNIST相比显示出相反的结果。我们观察到,小规模模型在处理更复杂的数据集时需要更多的能量。此外,随着输入样本分辨率的提高,全局剪枝和逐层剪枝之间的差异变得更加明显。逐层剪枝更高的能量消耗可以由两个主要因素解释。首先,由于逐层剪枝是逐层更新,因此计算梯度时会有额外的开销。在反向传播过程中,每个层的校正信号是分别计算的。在OctMNIST中,图像的复杂性导致GPU和内存之间频繁的数据传输,因为需要存储和检索每一层的结果。这反过来消耗了更多的能量。另一方面,全局剪枝是一次性更新所有层,因此没有额外的操作来处理单个层,从而允许并行计算,减少了内存传输,使过程更加高效。其次,空闲硬件的使用是另一个影响能量消耗的重要因素。当GPU的所有处理核心都处于活跃状态时,其性能最佳[67,68]。使用全局剪枝时,所有层同时被计算,使GPU得到充分利用。然而,在逐层剪枝中,每层计算之间有空闲时间,系统在准备下一层时会有这些空闲时间。当使用较大的批量大小(如256)和复杂的医学图像时,这些空闲时间尤为明显,导致能量浪费。因此,尽管逐层剪枝对于像MNIST这样的简单数据集效果很好,但对于OctMNIST来说,其顺序方法在能源效率上较低。
关于排放和功耗,这两个指标都是基于训练过程中使用的能量计算的。根据能量消耗指标,我们观察到,在逐层剪枝效果不佳的实验中,功耗仅略有增加。在最坏的情况下,功耗增加了2.01瓦时,这表明剪枝方案对功耗的负面影响很小,即使它没有带来预期的能量使用减少。此外,在逐层剪枝效果较差的最坏情况下,总排放量增加了不到1克。虽然本研究的主要焦点是MLP网络,但我们也在CNN架构(使用VGG-16模型)上进行了这些额外的实验,以加强和验证我们的观察结果。这些CNN实验使用相同的OctMNIST数据集,在类似的配置下进行,特别关注剪枝策略(即全局和逐层)对模型性能和能耗的影响。据报道,各种CNN模型在这个数据集上达到的最高准确率为77.6%[55,56],这与我们研究中观察到的密集模型的准确率一致,如表3所示。
下载:PPT、PowerPoint幻灯片、PNG、更大图像、TIFF、原始图像
表3. 使用VGG-16架构评估的OctMNIST数据集的模型性能。测试准确率(ACC,%)、平均推理时间(AIT,s)和总推理能耗(TIE,J),以相对于基准值的百分比差异表示。背景不同的行代表最佳平衡,加粗的单元格突出显示了每个指标的最佳结果。
https://doi.org/10.1371/journal.pcsy.0000095.t003
当切换到CNN架构时,也观察到了与MLP模型相同的趋势。表3显示,使用更复杂的模型(如VGG-16)与MLP相比,性能显著提高。准确率从MLP模型的不到50%提高到了VGG-16模型的近76%。此外,在比较训练期间的能耗时,我们发现逐层剪枝方法在所有实验中使用的能量都少于全局剪枝方法。图8显示了训练期间的能耗,我们在y轴上进行了放大。图中的当前刻度从320,000焦耳到400,000焦耳,以便更清楚地关注能耗指标。
下载:PPT、PowerPoint幻灯片、PNG、更大图像、TIFF、原始图像
图8. 使用OctMNIST训练的VGG-16架构的训练阶段能耗比较。每个子图展示了五个实验,包括两种剪枝技术(预训练和SET)和两种稀疏级别(50%和80%)以及模型的密集版本。在每个图中,我们放大了y轴,以显示由蓝色条形表示的全局方法和由橙色条形表示的逐层方法之间的差异。
https://doi.org/10.1371/journal.pcsy.0000095.g008
总之,我们的实验表明,虽然MLP架构在能量足迹和推理时间上显示出一致的趋势,但准确率结果不太可靠,尤其是在使用像OctMNIST这样的特定领域医学数据集时。当切换到CNN架构时,我们能够达到与基准论文[55,56]中报告的准确率水平相当的水平。这突显了模型架构在实现高性能方面起着关键作用。此外,逐层剪枝技术始终优于全局剪枝方法,从而提高了能源效率并加快了推理时间。这些发现强调了选择正确的模型架构和剪枝策略以优化神经网络模型的性能和效率的重要性。未来的工作可以探索更复杂的数据集和剪枝技术,以进一步验证这些观察结果并提高模型效率。
5 结论和未来工作
本研究从五个关键维度评估了MLP模型:模型架构(小规模 vs. 中等规模4000-1000-4000架构)、数据集复杂性(FashionMNIST、MNIST、OctMNIST)、稀疏级别(50% vs. 80%)、稀疏技术(预训练 vs. SET)和剪枝方法(全局 vs. 逐层)。虽然主要关注MLP,但我们也在OctMNIST、EMNIST和CIFAR-10数据集上对CNN模型(使用VGG-16模型)进行了次要分析,以提供关于剪枝策略的更广泛视角,并在更复杂的图像分类任务中验证这些发现。我们的实验表明,这些因素的每种组合都会产生不同的性能-能量权衡,在大多数情况下,逐层剪枝始终显示出相对于全局剪枝的优势。最重要的是,我们还展示了逐层剪枝可以在推理时间(最多减少33%)和推理能耗(最多减少56%)方面实现显著节省,同时准确率损失(不到6%)与基准相比很小。对于CNN模型,平均推理时间和总推理能耗的节省分别达到了20%和44%,准确率损失保持在3%以下。在追求最佳模型性能时,认识到多次训练模型的重要性至关重要,以确保微调并实现最佳性能。微调模型通常需要多次独立运行,每次运行使用不同的种子或超参数,以确定最佳配置。这个过程对于获得可靠和一致的结果至关重要。众所周知,稀疏神经网络在测试阶段会更快、更节能,这使得它们成为部署的理想选择。此外,在训练阶段,我们的发现表明逐层剪枝比全局剪枝消耗的能量更少。尽管如此,无论是全局剪枝还是逐层剪枝,仍然比密集模型消耗更多的能量。这主要是由于训练阶段引入的复杂性,因为在整个网络中应用稀疏技术需要额外的操作。因此,在连续或迭代训练条件下,模型需要频繁重新训练以保持最佳准确率时,逐层剪枝被证明是更可持续和更节能的策略,性能下降最小。我们分析的主要见解表明,当与适当的模型架构结合使用时,逐层剪枝可以有效减少推理期间的能量消耗。此外,最大内存分配指标提供了关于训练期间能耗的宝贵见解,因为内存使用直接影响能耗。在无法直接监控能耗的情况下,这个指标可以是一个有用的替代方案。此外,这一观察不仅限于MLP架构,在具有更复杂数据集的CNN架构中也观察到了相同的行为。正如我们在第4.5节中讨论的,使用逐层方法训练稀疏模型比在整个层上全局应用稀疏性所需的能量更少。虽然本研究主要关注MLP网络,但我们也在CNN架构(使用VGG-16模型)上进行了这些额外的实验,以加强和验证我们的观察结果。这些CNN实验使用相同的OctMNIST数据集,在类似的配置下进行,特别关注剪枝策略(即全局和逐层)对模型性能和能耗的影响。据报道,各种CNN模型在这个数据集上达到的最高准确率为77.6%[55,56],这与我们研究中观察到的密集模型的准确率一致,如表3所示。
下载:PPT、PowerPoint幻灯片、PNG、更大图像、TIFF、原始图像
当切换到CNN架构时,也观察到了与MLP模型相同的趋势。表3强调,使用更复杂的模型(如VGG-16)与MLP相比,性能显著提高。准确率从MLP模型的不到50%提高到了VGG-16模型的近76%。此外,在比较训练期间的能耗时,我们发现逐层剪枝方法在所有实验中使用的能量都少于全局剪枝方法。图8显示了训练期间的能耗,我们在y轴上进行了放大。图中的当前刻度从320,000焦耳到400,000焦耳,以便更清楚地关注能耗指标。
下载:PPT、PowerPoint幻灯片、PNG、更大图像、TIFF、原始图像
图8. 使用OctMNIST训练的VGG-16架构的训练阶段能耗比较。每个子图展示了五个实验,包括两种剪枝技术(预训练和SET)和两种稀疏级别(50%和80%)以及模型的密集版本。在每个图中,我们放大了y轴,以显示由蓝色条形表示的全局方法和由橙色条形表示的逐层方法之间的差异。
https://doi.org/10.1371/journal.pcsy.0000095.g008
总之,我们的实验表明,虽然MLP架构在能量足迹和推理时间上显示出一致的趋势,但准确率结果不太可靠,尤其是在使用像OctMNIST这样的特定领域医学数据集时。当切换到CNN架构时,我们能够达到与基准论文[55,56]中报告的准确率水平相当的水平。这突显了模型架构在实现高性能方面起着关键作用。此外,逐层剪枝技术始终优于全局剪枝方法,从而提高了能源效率并加快了推理时间。这些发现强调了选择正确的模型架构和剪枝策略以优化神经网络模型的性能和效率的重要性。未来的工作可以探索更复杂的数据集和剪枝技术,以进一步验证这些观察结果并提高模型效率。虽然我们在这项工作中的重点是比较模型性能和训练指标,但在智能手机或单板计算机等实际环境中评估这些模型还需要考虑其他因素。例如,手机由于安装了多种应用程序,通常会运行多个后台进程,这可能会影响运行机器学习模型所需的资源。同样,在单板计算机上部署模型时,不仅需要模型性能高,还需要一个能够支持同时运行多个模型的健壮软件架构。未来的工作可以进一步深入研究这些方面,通过测量实时推理速度、功耗和资源管理效率等额外指标,以确保模型既具有高性能,又能适应资源受限的环境。此外,探索分层剪枝对卷积神经网络(CNN)特征提取部分的影响也很有价值,因为CNN在分类任务和工业应用中最为广泛使用。设计一种有效的剪枝策略,可以更深入地了解分层剪枝在更复杂模型中的工作原理,从而可能实现更高效的网络。当使用更复杂的数据集或特定领域的数据集(如用于医学检测的MedMNIST,或用于工业环境异常检测的VisA和MVTech)时,这一点尤为重要。这些数据集由于分辨率更高、复杂性更强,因此更适合测试分层剪枝在现实场景中的适用性。这项研究可以提供更多关于剪枝技术在工业应用中表现如何的见解,并有助于提高模型效率。展望未来,一个有前景的研究方向是探讨不同领域(特别是网络科学NS)的剪枝策略的通用性和可迁移性。研究网络科学中的见解如何为特定实际应用中更健壮的剪枝策略的开发提供指导将非常有趣。