CNN模型加速与优化:多分类任务的CPU和GPU性能分析与评估

《Array》:CNN Model Acceleration and Optimization: CPU and GPU Performance Analysis and Evaluation for Multiclass Classification.

【字体: 大 中 小 】 时间:2026年03月09日 来源:Array 4.5

编辑推荐:

  穆罕默德·布基利|纳瓦尔·杰博尔|卡里姆·埃拉杰拉吉|穆赫辛·埃尔巴萨维 电子仪器与智能系统团队,ER2TI实验室,工程科学系,穆莱伊斯梅尔大学(梅克内斯),摩洛哥埃拉希迪亚 摘要 农业领域正经历向“智能农业”的革命性转型,通过深度学习技术(尤其是卷积神经网络CNN

  穆罕默德·布基利|纳瓦尔·杰博尔|卡里姆·埃拉杰拉吉|穆赫辛·埃尔巴萨维
电子仪器与智能系统团队,ER2TI实验室,工程科学系,穆莱伊斯梅尔大学(梅克内斯),摩洛哥埃拉希迪亚

摘要
农业领域正经历向“智能农业”的革命性转型,通过深度学习技术(尤其是卷积神经网络CNN)整合人工智能(AI)技术。这极大地革新了计算机视觉在各种任务中的应用,包括图像检测和分类。然而,大多数现有研究主要集中在提高模型的准确性指标上,而相关的能源成本往往被忽视。本文提出了一种基于实证的性能评估方法,不仅关注模型准确性,还考虑了能源效率,并结合了统计分析。我们重点研究了使用NVIDIA GPU结合CUDA API进行硬件加速,借助了针对矩阵计算优化的库(如cuDNN)。基于Fruits-360数据集,通过比较CPU和GPU平台上的CNN性能进行了深入评估。结果表明,GPU的处理速度比CPU快4倍,每秒处理的帧数翻倍,延迟减少了75%,从而提高了吞吐量。同时,GPU的能源效率也更高,优势达到了2.78倍,这突显了我们这种方法在资源有限的嵌入式视觉应用中的价值。尽管该模型在单一数据集上表现良好,但需要在其他数据集上进行验证以确认其稳健性和泛化能力。

1. 引言
如今,将AI整合到农业领域已成为必然趋势。研究人员正在探索多种应用方式,以改进农业流程、提高效率并优化产量[1]。计算机视觉和深度学习(DL)等技术是推动这一变革的关键,为自动化和数据驱动决策提供了可能性[2][3]。卷积神经网络(CNN)的快速发展彻底改变了多个领域,尤其是在图像处理和计算机视觉方面。CNN已成为图像分类、对象检测等计算机视觉应用不可或缺的工具。相关研究表明,创新方法包括利用深度神经网络检测植物疾病、应用计算机视觉系统自动分类水果成熟度,以及使用先进的分类技术识别农产品特征。这些方法有望提高农业生产效率、减少产后损失并确保产品质量。研究重点在于利用CNN的高级图像处理能力实现产品特征的精确识别[4][5][6]。然而,训练和推理CNN模型需要大量的计算资源,尤其是对于深度结构和大型数据集[7][8][9]。在市场对结合计算能力与低功耗的嵌入式电子产品的需求不断增长的背景下,硬件加速成为有效解决方案。它通过将计算密集型任务委托给专用硬件组件来提升能源效率并改善模型性能。图形处理单元(GPU)、张量处理单元(TPU)和现场可编程门阵列(FPGA)等硬件常用于AI系统,旨在优化特定计算任务的执行速度,从而实现快速且节能的AI处理[10][11][12]。与专注于顺序处理的CPU不同,GPU能够同时处理数千个线程,特别适合CNN中的高度并行化操作,从而显著加快训练时间并提升性能[13][14]。特别是在NVIDIA GPU的应用中,这些技术大幅缩短了训练时间。

在本文中,我们评估了CNN模型在CPU和GPU上的性能。主要目标是对硬件加速、功耗和效率进行详细比较分析。我们实现并分析了不同架构的CNN模型,并从15个类别的初步分类开始实验,随后扩展到全部131个类别,以测试模型在更复杂分类任务中的稳健性。尽管所使用的数据集在不同类别间分布均衡,为学习提供了全面基础,但 masih需要在其他数据集上进行验证,以增强模型的泛化能力,尤其是考虑到实际环境中的捕获条件变化。我们详细分析了NVIDIA GeForce GPU(特别是RTX 3050模型)在CNN学习和推理中的性能,包括速度、延迟、吞吐量和能源效率等指标。此外,我们探索了多种优化策略,如使用CUDA(Compute Unified Device Architecture)库和cuDNN(CUDA深度神经网络库)[14][15][16]来最大化CUDA核心的利用率,并通过超参数调整加速学习同时降低功耗。目前文献中很少有结合模型准确性和硬件优化的工作。最近的一项研究[17]提出了一个优化后的CNN模型用于水果和蔬菜图像的分类,虽然其准确性和得分指标值得关注,但忽略了能源效率和计算时间等其他性能指标。我们的研究采用实证方法评估不同硬件平台上的性能和能源效率:
- 我们的贡献在于综合分析了CNN在CPU和GPU平台上的准确性、执行时间和能源效率;
- 通过结合硬件加速和模型优化技术,为更高效的果实分类和检测系统铺平了道路,使其能够在多种环境中实时运行;
- 从开发早期阶段就开始优化中端NVIDIA GPU卡可以避免昂贵费用并降低基础设施成本;
- 为RTX 3050等GPU优化的CNN模型可以为嵌入式系统(如NVIDIA Jetson和FPGA)的建模提供基础;
- 实验结果表明:GPU的处理速度比CPU快4倍,延迟降低了75%,吞吐量提高了2.78倍。

2. 文献综述
2.1. DL在水果分类和植物物种检测中的应用
水果图像分类具有广泛的实际应用,从分选成熟水果到检测疾病。它提高了效率、准确性,并有助于优化多种行业的库存管理[18][19]。DL还可应用于植物物种检测,对农业产业有益[20]。通过分析叶片、花朵或果实等植物特征,该技术能够在自然环境中识别不同植物物种[21][22],展示了DL模型在农业和园艺领域的多功能性和应用潜力[23][24][25]。自2020年以来,尤其是CNN架构,已被用于提升农业疾病检测和分类的性能,实现了高精度(如产品质量评估和病虫害检测)。多项研究强调了DL在计算机视觉任务中的有效性[26-32]。Yang[36]提出了一个基于Fruit-360数据集的水果图像分类CNN模型,通过数据增强和正则化实现了98.20%的准确率;Rathnayake等人[37]开发了基于ANFIS的改进级联算法以提高水果识别准确性;Dey等人[38]设计了适用于嵌入式系统的低功耗CNN模型“FruitVegCNN”。

2.2. DL的硬件加速
硬件加速对AI模型的发展至关重要。复杂的AI算法加上数据的依赖性可能导致传统计算机架构无法满足需求。为克服这些限制,采用了多种硬件加速技术,例如最初为图形渲染设计的GPU,它们凭借并行处理能力显著提升了AI计算的效率[40][41]。Google开发的TPU旨在优化机器学习性能,其在张量运算方面的效率显著降低了成本[42][43]。FPGA具有可重新编程性,可定制硬件架构,适用于需要低延迟和实时数据处理的应用(如计算机视觉[44][45])。ASIC(应用特定集成电路)专为高效执行特定任务设计,尤其在机器人技术和自动驾驶车辆中提升了速度和能源效率[46][47]。CNN模型的硬件加速是一个活跃的研究领域,尤其对分类和水果检测等应用至关重要。近期进展表明,GPU显著缩短了CNN训练时间[48][49][50]。GPU最初是为实时图形渲染设计的,利用计算并行性[51]。与专注于控制逻辑和缓存内存的CPU不同,GPU依赖于大量计算单元实现大规模并行处理[52]。21世纪GPGPU的出现扩展了GPU在机器学习中的应用范围。如今,包括NVIDIA Jetson和Qualcomm Snapdragon在内的GPU支持CNN任务,提供了强大的并行处理能力。TensorFlow和PyTorch等框架进一步便利了这些功能的访问和优化[53][54]。GPU在DL中的性能受内存带宽、数据集大小、利用率、功耗和响应时间等因素影响。在CNN模型架构的性能分析背景下,几项最近的研究已经证明了GPU对农业中检测和分类任务加速的显著影响 [55]、[56]、[57]、[58]、[59]。下载:下载高分辨率图像(304KB)下载:下载完整尺寸图像图2. CPU与GPU的芯片资源分布。3. 材料与方法3.1. 问题阐述从图像中自动分类水果是一个挑战,因为水果的外观变化多样,需要区分的类别数量很多。本研究具体解决的是使用CNN模型对131种水果品种进行多类别分类的问题。深度学习(DL),特别是通过CNN,被广泛应用于复杂的AI应用中,如图像分类。然而,训练这些模型在计算上非常密集、耗时且耗能。如今,多核AI处理器(例如GPU和TPU)被设计用来通过提供并行计算能力来提高神经网络训练性能。3.2. 提出的框架概述在本研究中,我们专注于比较不同类型处理器的性能,特别关注NVIDIA GPU和AMD Ryzen CPU在训练CNN模型方面的表现。我们的目标是评估模型准确性、执行速度以及训练和推理过程中的功耗,以更好地理解DL各项复杂任务的优点和局限性。为此,我们基于CNN模型开发了一个分类系统,如图3所示,使用Python语言和Jupyter Notebook交互式环境实现。我们依赖Keras和TensorFlow API [60]进行模型设计和训练,同时使用NumPy、Matplotlib和Scikit-learn进行数据操作、可视化和性能评估。同时,我们利用了NVIDIA GPU的高级功能,如Tensor Cores,并利用CUDA和cuDNN框架来优化并行计算。首先,我们在15种水果和蔬菜类别的子集上开发了一个CNN模型并进行训练,以比较CPU和GPU在执行速度、模型准确性和功耗方面的表现,然后在完整的131个类别集上进行测试。这使我们能够评估模型的可扩展性并分析类别数量增加对计算资源的影响。最后,我们进行了深入的性能评估,包括预测准确性、执行速度、延迟、吞吐量以及CPU和GPU功耗的分析,以确定每种处理器的优势和劣势,并对硬件选择提出建议。下载:下载高分辨率图像(537KB)下载:下载完整尺寸图像图3. 项目结构。下载:下载高分辨率图像(551KB)下载:下载完整尺寸图像图4. 使用的Fruits-360数据集。(a) 图像数量最多的前10种水果 (b) 从数据集中提取的图像示例。3.3. 数据集描述在设计CNN模型时,一个基本步骤是将数据分为三个不同的子集:训练集用于训练模型,验证集用于调整模型的超参数,测试集是我们未用于训练模型或未用于验证集的数据。在我们的工作中,我们使用了Fruits-360数据库 [61],该数据库包含131种水果和蔬菜的图像,总数超过90,000张。这些图像被分为三个子集:训练图像(约67,000张)、验证图像(约3,000张)和测试图像(约20,000张)。这些图像的属性如表4所示。它们是JPEG格式,尺寸统一为100x100像素,并且是彩色的(RGB)。图6展示了从数据库中提取的图像示例。表4. CNN模型架构:Model_1 vs Model_2空单元Model_1Model_2输入尺寸100 × 100 × 1100 × 100 × 1卷积块33Conv2D滤波器8 – 16 – 3232 – 64 – 128批量归一化无有最大池化有有Dropout有有展平输出尺寸4,60818,432全连接层512个神经元512个神经元输出层Softmax(15)Softmax(131)总参数2.37 M9.6 M类别数量15131下载:下载高分辨率图像(112KB)下载:下载完整尺寸图像图6. 混淆矩阵。3.3.1. 实验配置在本节中,我们列出了实验中使用的工具:硬件和软件,以及用于表征CNN模型在准确性、功耗和能量方面的评估指标。3.3.2. 硬件规格对于实验部分,我们使用了一台配备AMD Ryzen 5处理器(CPU)和NVIDIA GeForce RTX 3050显卡(GPU)的Vivobook ASUS笔记本电脑,该显卡具有CUDA和Tensor核心。我们在CPU和GPU两个平台上实现并评估了CNN模型。表2总结了这种硬件配置的技术规格。表1. Fruits-360数据集属性。文件夹类型类别数量图像数量属性训练13167692图像格式:JPEG格式。测试13122688图像大小:100x100像素。验证243114颜色深度:图像是彩色的(RGB)。总 -93494对象对齐:图像对齐良好且居中。水果可以从不同的角度和位置出现。水果类别分布均衡。表2. 硬件平台规格。特性GPUCPU处理器NVIDIA Ampere ArchitectureAMD Ryzen 5 5600核心/节点2048 CUDA核心6核心/12线程频率1057 MHz(Boost),712 MHz(Base)3.3 GHz(Base),4.2 GHz(Boost)内存大小4 GB GDDR615 GB最大功率35 W45 W渲染输出单元(ROPs)32N/ATensor核心64N/ARay Tracing核心16N/AM内存接口128位N/AM内存频率1375 MHz(11 Gbps有效)N/A3.3.3. 软件环境为了编译应用程序,我们使用了以下操作系统:Windows 11家族(64位)和Ubuntu 22.04.3 LTS(WSL2),为了配置DL环境,我们使用了Anaconda,这是一个提供创建和运行DL模型所需工具的Python语言发行版;对于可视化,我们使用了Jupyter Notebook和Jupyter Lab,它们是交互式环境。为了训练模型,我们使用了开源的TensorFlow框架和Keras API。在我们的实验中,对于基于CPU的网络,我们使用了TensorFlow;对于基于GPU的网络,我们使用了TensorFlow-GPU。最后,为了利用GPU的性能并加速模型的运行,我们使用了Nvidia开发的CUDA平台。CUDA通常与cuDNN配合使用,cuDNN是一个优化DL操作(如卷积)的库。表3显示了不同的环境和使用的库。表3. 使用的不同环境和库。库/环境CPU版本GPU版本角色类型Python3.11.73.8.15一种编程语言。语言TensorFlow2.12.02.6.0一个开源的DL框架。ML框架Keras2.12.02.6.0一个用于构建和训练模型的高级神经网络API。神经网络框架Psutil5.9.05.9.4一个用于Python系统和进程工具的库。库Scikit-learn1.5.01.3.2一个提供简单高效工具的Python机器学习库。库NVML12.556.12NVIDIA管理库,用于监控NVIDIA GPU的状态和指标。库NVIDIA GPU名称NVIDIA GeForce RTX 3050笔记本电脑GPU使用的具体GPU模型。硬件CUDA12.4一个由NVIDIA创建的并行计算平台和应用程序编程接口模型。平台cuDNN9.0.0一个由NVIDIA开发的库。3.3.4. 模型实现在本研究中,我们使用了一个基于CNN架构的DL模型。其结构由三个基本块组成:特征提取、分类和预测,如图5所示。第一个块基于一系列卷积层,池化旨在提取应用于输入的每个图像的特征。卷积是CNN模型架构的强大之处,因为它允许我们处理大小可变的输入。提取的特征在第二个块中通过展平层进行处理,然后传递给全连接层,这些全连接层学会将这些表示与目标类别关联起来,通常结合全连接(密集)层来学习将提取的特征组合成用于决策的判别表示。最后,负责预测的第三个块应用softmax激活函数来为每个类别生成概率。下载:下载高分辨率图像(341KB)下载:下载完整尺寸图像图5. CNN模型架构。作为我们项目的一部分,我们实现并分析了两种不同架构的CNN模型,如表4所示。第一个模型(Model_1)是一个轻量级的CNN,其特征是滤波器和参数数量较少。它由三个卷积层组成,随后是最大池化和全连接层,产生15个输出类别。第二个模型(Model_2)是一个更深入的CNN,由三个卷积块(32、64和128个滤波器)组成,随后是全连接层,总共有大约950万个参数,用于131个类别的分类。相比之下,第一个模型更轻量且结构更紧凑,大约有240万个参数。3.3.5. 基准测试程序我们通过在两个硬件目标上运行项目来进行性能比较:CPU和GPU。在后者上,还需要添加CUDA平台,以便在GPU上进行计算,并使用CuDNN库来实现针对GPU神经网络的特定操作。我们实现了用于水果和蔬菜分类的CNN模型,并在两个硬件目标上进行了测试。在这两个平台上训练和评估模型后,我们比较了它们在准确性、执行速度、功耗和内存使用方面的性能。3.3.6. 性能指标的测量我们使用NVML(NVIDIA管理库)来监控NVIDIA GPU的参数,包括内存、功耗(或能量消耗)和温度,同时使用PSUTIL(Python系统和进程工具)来监控性能和CPU负载。3.3.7. 评估指标为了评估模型的准确性,我们使用了准确性和损失指标;为了可视化和分析分类系统的性能,我们使用了混淆矩阵和分类报告。它提供了有用的概览,并便于不同类别之间的性能比较[62]。混淆矩阵包含四个主要组成部分,如图7所示,描述了模型对参考类的预测。TP(真阳性)、FP(假阳性)、TN(真阴性)和FN(假阴性)。准确性是模型正确预测的值的百分比;它通过正确预测的数量除以总预测数量来衡量:下载:下载高分辨率图像(240KB)下载:下载完整尺寸图像图7. 卷积层的输入和过滤参数。相反,精确度仅在所有预测为正类的情况下计算准确性。召回率或真阳性率与精确度略有不同,它衡量模型检测数据集中所有正实例的能力:F1分数是精确度和召回率的调和平均值;它在保持精确度和召回率优势的同时衡量了准确性。在我们的工作中,我们使用了系统性能指标,如训练时间(衡量学习过程所花费的时间)、平均功耗和消耗的能量,来估计训练的能源影响。浮点运算次数(FLOPs)衡量执行预测所需的操作次数,FLOPS/S衡量执行速度,而FLOPS/J反映能量效率。[63]。延迟是指完成单个操作所需的时间。每个时期的平均延迟是总学习时间(以秒计)除以一定数量的时期。吞吐量表示硬件在一秒内处理的操作数量。它以GFLOPs/s为单位衡量,将通过在延迟时间内执行的图像批次数量来测量。为了估计我们CNN模型的总FLOPs数量,我们需要分析和计算每个模型层执行的操作。图8详细说明了根据输入通道数(Cin)、滤波器数(Cout)、卷积核的宽度(Kw,Kh)和输出宽度(Wout,Hout)计算FLOPs的方法[64]、[65]。卷积层Conv2D的FLOPs可以使用以下公式计算:下载:下载高分辨率图像(232KB)下载:下载完整尺寸图像图8. 模型参数优化过程。b) 优化器类型。我们应用相同的计算方法来估计Model_2结构的浮点运算次数(FLOPs),该结构由3层(Con2D)组成,大约有398,592 FLOPs;批量归一化需要1,120,000 FLOPs,然后是最大池化6,250 FLOPs,最后是全连接层82,054,144 FLOPs,因此该结构的总FLOPs数量约为481,772,394 FLOPs(0.48 GFLOPs)。我们需要区分FLOPs和FLOPS这两个术语。FLOPs的测量将使我们能够确定模型的计算复杂性,而大写的FLOPs是一个单位,用于评估所使用硬件的性能。在文献中,文章有时会使用其他单位,即GOPs或GFLOPs(十亿次浮点运算)和GOPS或GFLOPS(每秒十亿次浮点运算),其中1 GFLOP = 10^9 FLOPS。3.3.8. 优化器和训练策略 a) 优化工作流程 在深度学习应用中,特别是对于图像分类任务,大多数算法都涉及到某种形式的优化。模型训练的过程基于成本函数的优化;在我们的案例中,我们使用了由[64]定义的分类交叉熵(损失=“categorical_crossentropy”):其中L是所有数据的平均损失,N是批次中的样本总数。C是类别的数量;ei, c是目标标签,例如,i和类别c。如果样本i属于类别c,则ei, c为1,否则为0,而?i, c是模型预测样本i属于类别c的概率。这个函数衡量的是预测值和实际值之间的差异,并通过最小化这个差异来优化权重。学习率是一个关键的超参数,它控制着根据损失梯度调整权重的速度:过高的学习率可能导致发散,而过低的学习率则会减慢学习速度。在训练过程中采用了基于随机梯度方法(如SGD)的学习率动态适应(图9)。下载:下载高分辨率图像(354KB)下载:下载全尺寸图像 图9. 批量大小对性能的影响。在(a) GPU和(b) CPU上的准确率和训练时间。像SGD和Adam [65]这样的算法是包含自适应机制的优化器,可以描述为根据梯度和对网络权重的额外信息做出反应的数学函数,具体取决于优化器的形式。1) SGD-优化器 SGD [66]是最基本的梯度下降形式。它包括计算成本函数的梯度,然后朝减少误差的方向更新参数。还有其他从SGD衍生出来的优化器,如带动量的SGD、RMSprop [67]、Adagrad [68]和Adadelta [69]。2) Adam-优化器 Adam [70] 使用一阶和二阶梯度矩来调整每个参数的学习率。由于其效率和稳定性,Adam优化器被最广泛使用,它有几种变体,如Adamax、Nadam、Radam和Amsgrad [71], [72]。我们使用了不同的优化器来调整CNN模型的权重,以在速度和稳定性之间找到平衡,因为优化器的选择对学习过程和模型性能有显著影响。3.3.9. 置信区间计算 为了增强我们结果的可靠性,我们对实验测量数据进行了统计分析,包括计算置信区间(CI),这表示包含实际参数的一系列值,这些值以预定义的概率出现。95%的置信水平是最常用的[73], [74]。对于每个指标(准确性、时间、能量),我们使用公式(7)计算了95%的CI,其中μ是运行的平均值,σ是标准差,n是运行次数,α是student's t分布的值(当n > 30时为2,否则查表)。3.3.10. 评估指标的呈现 为了提供一个一致的参数概览,表5总结了本研究中用于评估性能的主要指标,包括准确性、时间、能量、延迟和吞吐量。表5. 用于性能评估的指标摘要。指标 单位 描述 时间 训练CNN模型所需的总时间 准确率 % 正确分类的比例(百分比) 损失-损失函数的最终值 功率(P)W 平均功耗 能量(E)J 总能耗 内存使用百分比 % 使用的内存百分比 延迟 ms/图像 处理单个图像的时间(毫秒) 吞吐量 图像/s 每秒处理的图像数量 FLOPs 每秒的浮点运算次数 能量效率 GFLOPs/J 每焦耳的浮点运算次数 CI % 置信区间 4. 结果讨论与分析 作为我们论文项目的一部分,该项目专注于使用基于CNN的方法评估嵌入式系统在农产品分类和校准应用中的性能。我们选择使用一个代表性的数据集来进行控制和真实的硬件性能评估,特别是在延迟、吞吐量和能源效率方面。此外,我们工作的主要目标是进行硬件性能的比较评估(CPU与GPU),而不是分析模型的泛化能力或提高分类准确性。在本节中,我们展示并分析了在两种目标GPU和CPU平台上两种CNN模型架构的实验结果。在第一个实验中,我们在一个包含15个类别的数据库上训练了我们的模型;在第二个实验中,我们通过将类别数量从15增加到131来创建了一个稍微复杂的任务,从而更好地揭示了GPU和CPU在速度、准确性和能源效率方面的优点和缺点。首先,我们修改了批量大小并设置了其他模型超参数。然后我们调整了学习率,并在保持其他参数不变的情况下改变了训练周期的数量。4.1. 批量大小对CPU和GPU性能的影响 批量大小(BS)是CNN训练中的一个关键超参数,它定义了在权重更新之前处理的的数据集数量。图9显示了(a) GPU和(b) CPU的准确率和学习时间作为BS的函数。表6详细列出了训练过程中的功率(W)和能量(J)指标。在GPU上(图9a),训练准确率在BS 8-128范围内保持较高(约96–97%),而对于256则降至91.8%,表明训练不足。对于小批量大小(<16),验证和测试准确率较低,在32到128之间稳定,超过128后下降。训练时间随着BS的增加而减少(BS 8时为358秒,BS 256时为284秒),因为梯度更新次数减少。在CPU上(图9b),小批量大小(<16)可以获得高准确率,但耗时较长;BS 32-64时准确率降低,而BS 256时准确率异常高,可能是由于数据偏差。表6显示平均功率在BS达到128之前降低(CPU:4.93 W→3.98 W;GPU:7.89 W→6.37 W),之后再次上升。我们注意到较大的批量大小提高了稳定性并加快了GPU的训练速度,但增加了内存消耗。然而,有限的内存使得在嵌入式系统上部署大型模型变得困难。对于专门用于智能灌溉的Arduino上的IoT传感器来说,过大的批量大小可能导致微控制器内存溢出,从而在收集湿度数据时出现崩溃。对于这些系统,建议选择合适的批量大小(例如32和64)。表6. CPU和GPU指标的比较:功率(W)和能量(J)。空单元 CPU GPU 批量大小(BS) 时间(s) 功率(W) 能量(J)时间(s) 功率(W) 能量(J) 8 852 4.92 84 198.2 30 346 7.88 42 72 7.86 416 63 74.6 132 938.1 63 312 97.3 80 2 30 2.56 032 53 13.7 58 1 99 5.2 332 96 6.0 121 77 9.5 526 44 95 3.9 83 1 97 1.3 38 28 76.3 72 1 82 8.7 64 128 45 64.6 132 103.3 00 281 7.3 80 2 56 43 84.8 60 2 128.6 80 27 17.7 76 2 107.2 96 4.2. 学习率对训练时间和能耗的影响 我们模型中的另一个重要超参数是学习率(LR),它直接影响权重根据梯度的调整。为了找到最佳的学习率,我们从0.1开始逐渐降低到0.03、0.02、0.01,最后到0.001。图10(a)显示学习率对训练时间有轻微影响,在CPU上LR=0.003时为460秒,在GPU上LR=0.01时为467秒,在LR=0.02时为797秒。这些数据表明GPU加速了计算,但选择不当的学习率可能导致GPU比CPU更快地收敛到不好的最小值。总体而言,对于每个学习率,GPU的速度大约是CPU的两倍。图10(b)显示GPU消耗更多的功率(W),但由于训练时间较短,总能量(J)仍然低于CPU。最佳的学习率似乎是0.001或0.003,这既最小化了能量消耗又保持了高效的训练。在图10(c)和10(d)中,低学习率值(0.0001)导致训练、验证和测试准确率较低,而较高的学习率(0.01)会降低性能。在LR=0.002时,GPU达到了最高的准确率(训练97.53%,测试98.02%),而CPU在LR=0.003时达到97.37%(训练)和96.73%(测试)。随着准确率的提高,损失(训练、验证和测试)通常会降低,显示出模型的正确收敛,最小损失出现在LR=0.001和LR=0.002。过高的学习率会导致显著的损失,表明出现发散。在实时农业系统中,例如使用NVIDIA的Jetson Nano/Xavier GPU模块开发用于检测水果成熟度和植物疾病的无人机,我们观察到过高的学习率会加速收敛,但可能导致不稳定性,从而扭曲识别结果。对于这些应用,采用适中的学习率(例如0.001-0.003)更为合适。下载:下载高分辨率图像(623KB)下载:下载全尺寸图像 图10. GPU与CPU在学习率对(a)训练时间;(b)功率和能耗;(c)准确率;以及(d)损失的影响。4.3. 训练周期对训练稳定性和收敛性的影响 训练周期(EP)是一个关键超参数,因为它决定了模型查看训练数据集的次数,并影响训练和准确性。我们逐渐增加EP以找到训练时间和性能之间的最佳平衡。图11显示最佳EP在70到100之间。太少的EP可能导致欠拟合,使模型无法捕捉数据模式;太多的EP可能导致过拟合,使模型过于特定于训练数据而泛化能力较差。表7比较了CPU和GPU在速度和能源效率方面的性能。在30 EP时,CPU需要479秒,而GPU需要292秒;在100 EP时,CPU需要1,542秒,GPU需要948秒。总体而言,尽管GPU的功率(W)更高,但其能量消耗(J)低于CPU(例如,在EP=3时:GPU为2,427 J,CPU为2,672 J),显示GPU大约节省了9%的能量。下载:下载高分辨率图像(241KB)下载:下载全尺寸图像 图11. 训练周期对模型训练的影响。(a)准确率 (b)损失。表7. 训练周期对模型训练、训练时间、功率和能耗的影响。空单元 CPU GPU EP 训练周期(S) 功率(w) 能量(J) EP=30 479 5.58 02 672.8 20 292 8.3 142 427.7 46 EP=50 790 5.33 34 212.6 75 469 8.10 53 801.4 33 EP=70 113 05.17 55 847.7 506 557.9 705 220.02 3 EP=100 1542 5.04 07 771.68 098 47.5 607 439.0 40 我们发现太多的EP会延长训练时间,提高准确率,但会增加能源成本;而太少的EP可能会降低模型的准确率。在Raspberry Pi上的牲畜跟踪系统中,用太少的EP训练的模型可能无法检测到某些异常。另一方面,太多的EP会在资源有限的嵌入式平台上不必要的延长训练时间,消耗更多能量。因此,建议对EP的数量进行平衡设置(例如50-100)。4.4. 优化器对计算效率的影响 在本节中,我们测试了九种不同的优化器,以评估它们对性能和收敛速度的影响。表8显示了每种优化器在GPU上的性能,以准确率和损失为指标,而图12(准确率和损失随时间的组合曲线)显示了这些指标在CPU上的变化情况。Adam和Amsgrad在训练、验证和测试中取得了最佳结果(CPU上约为99%,GPU上约为100%),损失最低(测试损失CPU约为0.01,GPU约为0.005),表现出高效的收敛。SGD表现不佳,精度低(CPU约为25%,GPU约为9%),损失高(CPU约为3.4,GPU约为2.7),表明收敛速度慢。Adagrad在这个任务上也表现出较低的效率,而RMSprop、Nadam和Radam达到了可接受的损失。总体而言,自适应算法(Adam、Nadam、RMSprop、Adamax和Amsgrad)收敛最快,在较少的EP内实现了高准确率和低损失。SGD和Adagrad效率较低,需要更多的EP,而Radam和Adamax收敛较慢但保持稳定。图13(a)显示了不同优化器的训练时间。在CPU上,时间范围从1,600秒(Amsgrad)到1,759秒;而在GPU上,时间范围从924秒(Amsgrad)到982秒(Adam),这证实了GPU由于其并行架构通常更快。图13(b)显示了平均功耗:在CPU上为5.13 W(SGD)到7.29 W(Adagrad);在GPU上为8.01 W(Adadelta/Adamax)到9.28 W(Radam)。尽管GPU在瞬时功耗上更高,但其总能耗却低于CPU:Adadelta的使用能耗为7,441 J,Radam为8,667 J;而CPU分别为8,326 J和11,890 J。这表明尽管GPU的功耗更高,但由于训练时间更短,因此在能源效率上更具优势。我们注意到,在基于Raspberry Pi或Jetson Nano的应用程序中,优化器会直接影响收敛速度和能源效率,例如那些包含嵌入式AI的作物分析系统。一个高效且节能的优化器(例如Adam和Amsgrad)对于确保疾病的可靠早期预警至关重要。

表8. CPU与GPU的指标比较:准确率和损失值与优化器的关系。

| GPU | 优化器 | 训练损失 | 训练准确率 | 验证损失 | 验证准确率 |
| ----- | ------------- | --------- | --------- | --------- |
| Adam | 0.0464 | 98.39% | 0.0051 | 99.86% |
| SGD | 2.7087 | 93.24% | 2.7044 | 93.36% |
| RMSprop | 0.0560 | 98.25% | 1.0900 | 83.77% |
| Adadelta | 0.0567 | 98.27% | 0.0144 | 99.32% |
| Adagrad | 0.2093 | 92.45% | 0.0945 | 96.75% |
| Adamax | 0.0716 | 97.75% | 0.0554 | 97.63% |
| Nadam | 0.0437 | 98.55% | 0.0483 | 98.72% |
| Radam | 0.0575 | 98.08% | 0.0307 | 98.51% |
| Amsgard | 0.0447 | 98.46% | 0.0010 | 100.00% |

图12. 优化器对CPU性能的影响:(a)准确率和(b)损失值。

图13. 不同优化器下CPU与GPU的比较:(a)训练时间和(b)...

4.5. 使用混淆矩阵和分类报告进行模型评估
为了分析和可视化分类错误,我们展示了混淆矩阵,该矩阵将预测类别(行)与实际类别(列)进行对比。使用15个类别(15×15矩阵),图14(a)显示了Adam的混淆矩阵,图14(b)显示了SGD的混淆矩阵。对于Adam,对角线上的错误不存在,表明分类是正确的;而SGD则显示出较高的分散度,有许多分类错误。错误分类是由于颜色、形状和外观的相似性导致的,这使得分类更加困难。表9展示了针对十五种水果类型(包括Golden Apple 2、Avocado、Banana、Dates等)的测试数据的分类报告,考虑的指标包括精确度、召回率和F1分数。总体而言,GPU训练的模型达到了100%的准确率,而CPU仅为99%,反映了GPU更快的收敛速度。recall和F1分数的宏平均值在GPU上也达到了100%,而在CPU上为99%;权重平均值在GPU上表现出色。使用Adam时,模型的表现略有提升,GPU的总体准确率为100%,而CPU为98%。对于定性错误分析,我们展示了一组十五张测试图像,比较了实际类别和预测类别以及预测的置信度。在Adam的情况下(图15),预测与实际类别的匹配度非常高(约100%),表明模型具有很强的泛化能力。这些结果证实了混淆矩阵和分类报告中的趋势。而在SGD的情况下(图16),大多数预测都是错误的,置信度较低,表明模型需要改进训练。

表9. CPU与GPU的指标比较:分类报告。

4.6. 比较分析:CPU与GPU的速度和能源效率
在本节中,我们评估了模型和硬件的性能,计算了浮点乘法和加法操作的次数(GFLOPs),并以能源效率(GFLOPs/J)和速度(GFLOPs/s)来衡量性能。GFLOPs的数量取决于模型设计之外的因素(例如超参数:批量大小、学习率、优化器)、其架构复杂性以及所使用的硬件(CPU、GPU)。为了估算训练的总FLOPs,我们使用了7,392张图像的张量(100×100×3)。每个epoch的迭代次数N=ni/b=57.75。对于100个epoch,总迭代次数为5,775次。处理一张图像需要大约20 MFLOPs。当批量大小为128时,每次迭代的FLOPs为2.6 GFLOPs。训练的总FLOPs约为15 GFLOPs。图17(a)显示了CPU和GPU的处理速度(GFLOPs/s)。执行速度在各个优化器之间保持一致,可能是因为它们执行的计算相似。GPU的处理速度为16.5 GFLOPs/s,而CPU为9.5 GFLOPs/s。图17(b)显示了批量大小(BS)的影响:随着BS的增加,速度提升,例如BS=8时CPU为0.5,GPU为20;BS=256时CPU为2,GPU为34,这得益于GPU更好的并行性。图17(c)和图17(d)显示了优化器和学习率(LR)对能源效率(GFLOPs/J)的影响。GFLOPs/J随优化器和LR的变化而变化。自适应优化器(Adam、RMSprop和Adagrad)会动态调整LR,从而减少所需的迭代次数;而传统优化器(SGD)的消耗更固定,需要更多的epoch。当LR从0.0001增加到0.002时,GFLOPs/J略有下降,然后在CPU和GPU上都增加到0.003和0.01。这些结果可以解释为模型的收敛情况。总体而言,CPU在能源效率方面效率较低。与CPU相比,GPU在GFLOPs/J方面获得了20%的提升,凸显了GPU在这些分类任务上的优越效率,既提高了处理速度,又减少了每次操作的能耗。

图14. (a) Adam优化器和(d) SGD的混淆矩阵。

图15. 模型分类的样本图像展示:优化器Adam。

4.6. 对比分析:CPU与GPU的速度和能源效率
在本节中,我们评估了我们模型和硬件的性能,计算了浮点乘法和加法操作的次数(GFLOPs),并以能源效率(GFLOPs/J)和速度(GFLOPs/s)来衡量性能。GFLOPs的数量取决于模型设计之外的因素(例如超参数:批量大小、学习率、优化器)、其架构复杂性以及所使用的硬件(CPU、GPU)。为了估算训练的总FLOPs,我们使用了7,392张图像的张量(100×100×3)。每个epoch的迭代次数N=ni/b=57.75。对于100个epoch,总迭代次数为5,775次。处理一张图像需要大约20 MFLOPs。当批量大小为128时,每次迭代的FLOPs为2.6 GFLOPs。训练的总FLOPs约为15 GFLOPs。图17(a)显示了CPU和GPU的处理速度(GFLOPs/s)。执行速度在各个优化器之间保持一致,可能是因为它们执行的计算相似。GPU的处理速度为16.5 GFLOPs/s,而CPU为9.5 GFLOPs/s。图17(b)显示了批量大小(BS)的影响:随着BS的增加,速度提升,例如BS=8时CPU为0.5,GPU为20;BS=256时CPU为2,GPU为34,这得益于GPU更好的并行性。图17(c)和图17(d)显示了优化器和学习率(LR)对能源效率(GFLOPs/J)的影响。GFLOPs/J随优化器和LR的变化而变化。自适应优化器(Adam、RMSprop和Adagrad)会动态调整LR,从而减少所需的迭代次数;而传统优化器(SGD)的消耗更固定,需要更多的epoch。当LR从0.0001增加到0.002时,GFLOPs/J略有下降,然后在CPU和GPU上都增加到0.003和0.01。这些结果可以解释为模型的收敛情况。CPU在能源效率方面通常较低。与CPU相比,GPU在GFLOPs/J方面获得了20%的提升,这凸显了GPU在这些分类任务上的优越效率,既提高了处理速度,又减少了每次操作的能耗。

4.7. CPU与GPU:延迟和吞吐量评估
这部分旨在评估GPU和CPU的处理能力和效率。该评估旨在确定具有最大性能的最佳配置;我们继续测量了延迟和吞吐量,这些是CNN模型在硬件目标上的计算效率的关键指标。我们提供了CPU和GPU之间性能的概述;图18(a)展示了延迟性能与批量大小的函数关系。我们观察到,随着批量大小的增加,CPU的延迟呈上升趋势;批量大小为8时为4 ms/图像,批量大小为256时为2 ms。虽然GPU的延迟相对较低,但CPU从8时为1.50 ms/图像增加到256时为1.20 ms/图像。使用系统上更强大的GPU时,延迟最低,单个图像的执行速度降低了50%。

这些结果可以解释为GPU的结构更适合密集矩阵运算,因为它可以同时处理更多操作,而CPU则更适合处理顺序任务,并且与利用GDDR内存的GPU相比具有更高的内存访问时间。图18(b)突出了CPU和GPU在每秒处理图像数量方面的差异。我们注意到,随着批量大小的增加,吞吐量也在增加,CPU从8时的260张图像/秒增加到256时的506张图像/秒,GPU从8时的641张图像/秒增加到256时的820张图像/秒,因此更大的批量大小提高了吞吐量。观察到的行为是GPU硬件优势的直接结果,得益于其并行架构,它针对大规模计算进行了优化,我们也注意到了批量大小超参数的影响,因为更大的批量大小可以在单次迭代中分摊计算成本。

4.8. 统计分析和显著性测试
对于每个硬件目标(CPU或GPU),我们独立执行了n次代码(n=5),使用相同的超参数(epochs=100,batch_size=128,learning_rate=0.001,优化器=Adam)进行评分。对于每个指标(准确率、训练时间、能耗),我们计算了平均值μ、标准差σ和95%置信区间(95% CI)。表10总结了所获得的统计结果,包括平均值和95%置信区间。GPU的平均训练时间减少了大约45%(CPU为959.20秒,GPU为1660.00秒),证实了CUDA架构提供的并行加速效果。GPU训练的模型平均准确率为99.96%,而CPU为98.83%,相对提高了约1.14%。最终,平均能耗显著降低,CPU为12,450.00 J,GPU为8,875.90 J,能源效率提高了大约1.5倍。我们观察到CPU的训练时间置信区间为±77秒,GPU为±32秒;准确率的置信区间为CPU为±1.07秒,GPU为±0.04秒,这反映了结果的低分散性,证实了测量的稳定性。这些结果是使用Model_1(15个类别)架构获得的。可以合理预期,对于比Model_1(15个类别)更复杂的架构,这些提升会更加显著,其中并行GPU优化可能带来大约3倍的能源效率提升和进一步的训练时间减少。这项分析突出了两种硬件目标在模型训练期间的显著差异。我们观察到测量值的变动性有限,且两个平台的置信区间(95% CI)没有重叠。进行的测试确认,GPU总能耗的减少反映了与架构和硬件优化相关的真实能源收益。因此,能源效率的提高意味着CNN的处理速度更快,更经济,有利于在资源有限的嵌入式系统中的部署。

表10. CPU和GPU上模型的性能结果及其95%置信区间。

4.9. 模型复杂度对性能的影响
在本节中,我们通过将类别数量从15增加到131并修改模型架构来突出任务复杂性的增加对负载和计算成本的影响。这使得分类任务变得更加困难,可能会影响性能。图19(a)显示了训练和验证准确率曲线,而图19(b)展示了训练和验证损失曲线。分析显示,在CPU训练期间出现了显著的波动,而在GPU上没有观察到波动,这可能是由于CPU计算的顺序性质导致权重更新变慢,尤其是在结构复杂和类别较多时。因此,GPU在准确率和稳定性方面优于CPU,曲线更加平缓。当epoch数超过30时,准确率接近100%,而损失接近0。我们进一步比较了CPU和GPU在速度和能源效率方面的性能,以及相应的延迟和吞吐量。首先,我们估算了训练这种结构所需的总GFLOPs。使用与15个类别相同的方法,我们考虑了34,898张尺寸为100×100×3的图像,批量大小为32,每个epoch迭代1,090.56次。处理一张图像需要大约0.48 GFLOPs,因此每次迭代需要15.36 GFLOPs,总共需要16,751 GFLOPs。案例研究:Model_2与131个水果类别
表12总结了在CPU和GPU上训练含有131个类别的Model_2时的性能结果。我们设置了超参数(迭代次数=30,批量大小=32,学习率=0.001,优化器=adam)。可以看出,结构的变化和类别数量的增加导致了每个训练周期所需时间的延长,CPU的平均每个周期时间为(约589秒),GPU为(489秒)。在两种硬件平台上,CPU的训练时间为(约5小时),GPU为(1.32小时),这意味着GPU的加速比达到了4.08倍,即GPU的速度是CPU的4倍。这种加速直接影响了其他性能指标:CPU的延迟为16.88毫秒/图像,GPU为4.27毫秒/图像,从而延迟减少了约70%;吞吐量方面,CPU为59.45张图像/秒,GPU为243.50张图像/秒,表明GPU在每秒处理的帧数上比CPU快4倍左右。最后,我们发现GPU的能量效率也更高(约8 GFLOPs/J),而CPU为(约3 GFLOPs/J),能量效率提升因子为2.78倍。这些结果可以归因于GPU处理大规模并行计算的能力以及在密集计算(如卷积)方面的优势,这使得GPU能够加速计算过程,同时也凸显了所提出的CNN模型相对于基础模型的能源效率和计算复杂性。

表12. 在CPU和GPU上训练含有131个类别的Model_2时性能结果的比较

指标 | CPU | GPU |
|-----------------|-----------------|-----------------|-------------------|
| 训练时间(30个周期,批量大小=32) | 约5小时 | 1.32小时 |
| 平均每个周期时间 | 589.10秒 | 149.60秒 |
| 平均每个批次时间 | 0.54秒 | 0.13秒 |
| 延迟(毫秒/图像) | 16.88毫秒/图像 | 4.27毫秒/图像 |
| 加速比 | 4倍 | |
| 吞吐量 | 59.45张图像/秒 | 243.50张图像/秒 |
| 能量效率 | 3.16 GFLOPs/J | 8.8 GFLOPs/J |
| 能量效率提升因子 | 2.78 | |

表13. 与之前关于水果和蔬菜分类与检测研究的比较总结
下表中引用的参考文献中提出的模型存在一些缺点和局限性,包括缺乏能源评估、超参数优化不足以及统计分析的欠缺,并且通常局限于单一硬件平台。研究[18]、[29]和[32]主要集中在水果疾病分类的模型准确性和算法性能上,但这些模型仅适用于单一水果品种且准确率较低。研究[34]、[49]开发了一个通过Web界面进行局部水果检测和分类的CNN模型,但该系统依赖于服务器。一些研究探索了通过应用数据增强和正则化技术来自动分类水果图像的方法(如[47]、[48]所述),但没有进行能源评估。[14]提出的方法基于优化多类别水果和蔬菜分类的CNN模型,具有较高的准确性和高效性,但其数据集在类别数量上有限,也没有进行延迟/能源分析。我们的文章对不同的超参数进行了深入比较分析,并在CPU和GPU硬件目标上评估了两种CNN架构。与大多数仅关注准确性的研究不同,我们的方法不仅强调模型准确性,还通过纳入统计分析来提高能源效率,这在以往的图像分类研究中常被忽视。

表13. 相关研究的总结与比较

| 参考文献 | 数据集 | 模型类型/架构 | 应用 | 绩效指标 |
|---------------------------------|-----------------|---------------|-----------------------------|
| Raikar等人 [18] | 秋葵图像 | 传统CNN | 秋葵分类/分级 | 准确率约95% |
| Mahmud等人 [29] | 芒果图像 | 轻量级CNN(移动优化) | 疾病分类 | 准确率约94% |
| Bhandari等人 [32] | 番茄图像 | BotanicX-AI(CNN + XAI) | 疾病分类 | 准确率约96% |
| Rahman等人 [34] | 局部水果图像 | CNN(Web应用程序) | 水果分类 | 准确率约95% |
| Yang, Y. [47] | Fruit-360(131个类别) | 多种CNN架构 | 自动水果图像分类 | 最高准确率约98.2% |
| Rathnayake等人 [48] | Fruit-360(72个类别) | Cascaded-ANFIS算法 | 自動水果分类和识别 | 准确率约99.27% |
| Dey等人 [49] | Fruit-360 | FruitVegCNN | 嵌入式/移动水果和蔬菜分类 | 测量时间、RAM和功耗 |
| M. Boukili和N. Jebbor [14] | Fruit-360(15个类别) | CNN模型 | 多类别水果分类优化 | 准确率约99.99% |

**5. 结论**
在这项工作中,我们探索了在具有多核的CPU硬件和Nvidia GPU上使用CUDA API实现CNN模型进行水果和蔬菜图像分类的任务。我们的主要目标是凸显GPU在计算机视觉任务(尤其是图像分类)中的有效性,这得益于它们通过专为矩阵计算优化的库(如cuDNN)执行大规模并行计算的能力,cuDNN是一个专门为神经网络优化的库,能够加速CNN模型中的卷积操作。例如,在GPU上训练CNN模型时,这些卷积层的执行时间明显短于标准CPU实现。我们对两种架构(Model_1和Model_2)在CPU和Nvidia GPU上的性能进行了独立测试,并研究了影响性能的多个参数,包括批量大小的影响、学习率的效果、迭代次数的影响以及优化器的影响。分析结果表明,超参数的选择和设置直接影响了模型性能。通过在GPU上运行模型,我们试图通过加速训练过程来提高性能,并在准确性和速度之间找到最佳平衡。经过一系列测试后,我们在GPU上运行模型所需的训练时间约为1.30小时,而CPU则需要超过5小时。这种加速使得延迟减少了75%,同时吞吐量得到了提升。GPU在每秒处理的帧数上比CPU快约4倍,我们的结果还证实了GPU的能量效率更高(约8 GFLOPs/J),而CPU为(约3 GFLOPs/J),能量效率提升因子为2.78倍。我们的方法适用于实际的嵌入式计算机视觉应用,特别是现实世界中的自动水果和蔬菜检测与分类系统。未来的工作将扩展这种比较分析,探索其他硬件加速解决方案,如TPU或FPGA。为了将该模型应用于嵌入式视觉系统(特别是农产品分选和分级应用),我们还计划将模型应用于其他数据集,并通过集成额外的优化技术(如权重量化和线性化)来进一步提高模型性能,同时关注在保持速度和准确性的同时提升训练过程的能源效率。

**CRediT作者贡献声明**
Mohamed Boukili:撰写——原始草稿、软件、方法论、调查、形式分析、概念化。
Karim Errajraji:撰写——审阅与编辑、软件、形式分析、数据整理。
Nawfal Jebbor:撰写——审阅与编辑、监督、方法论、调查、概念化。
Mouhssine Elbathaoui:撰写——审阅与编辑、可视化、软件。

**数据可用性**
数据可应要求提供。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号