《Electronics》:Automated Vegetable Classification Using Hybrid CNN and Vision Transformer Models for Food Quality Assessment
Azeddine Mjahad and
Alfredo Rosado-Mu?oz
编辑推荐:
摘要:本文提出一种混合卷积神经网络与Vision Transformer(CNN–ViT)架构并结合遗传算法(Genetic Algorithm, GA)特征选择的方法,用于15类蔬菜的高精度图像自动分类。传统CNN在纹理与形态相似的蔬菜类别上判别力有限,而纯
摘要:本文提出一种混合卷积神经网络与Vision Transformer(CNN–ViT)架构并结合遗传算法(Genetic Algorithm, GA)特征选择的方法,用于15类蔬菜的高精度图像自动分类。传统CNN在纹理与形态相似的蔬菜类别上判别力有限,而纯ViT直接处理像素难以充分捕获局部特征。研究人员首先利用CNN(32–64–128通道、ReLU激活、3层卷积)从RGB输入图像中提取局部特征,经全局平均池化(Global Average Pooling, GAP)得到49716维特征向量;该向量作为可学习分类令牌(CLS token)与ViT编码器(含多头自注意力Multi-Head Self-Attention与多层感知机MLP,4–6个编码块)共同输入,经位置编码后由分类头输出15类概率。部分实验采用GA从原始CNN特征空间中筛选最具判别力的子集以降低计算负荷。在自建蔬菜数据集上的实验比较了单独CNN(RGB/HSV输入)、四种纯ViT架构(CoaT、CrossViT、CvT、DeiT)及相应CNN–ViT混合模型(有无GA)的性能。结果表明:CNN–ViT混合模型显著优于单一架构,其中CvT–CNN达最高整体准确率98.88%,DeiT–CNN为98.67%;GA特征降维在轻微或不损失准确率前提下减少约20–25%训练时间。所有混合模型保持各类别特异性>99%。该混合框架有效结合CNN局部特征提取与ViT全局依赖建模能力,辅以GA优化特征维度,为农产品自动质检提供了高效可行的解决方案。
研究背景与意义
现有蔬菜图像自动分类多依赖传统卷积神经网络(Convolutional Neural Network, CNN),虽对视觉差异明显的类别(如胡萝卜、土豆)效果尚可,但对形态、颜色、纹理相近的类别(如茄子Brinjal与南瓜Pumpkin、西兰花Broccoli与花椰菜Cauliflower)区分能力不足,且易忽略全局空间上下文关系。纯Vision Transformer(ViT)直接将图像分块嵌入后可捕获长距离依赖,但因缺乏卷积归纳偏置(inductive bias),对小样本或需精细局部纹理判断的农业图像表现不稳定。为兼顾局部细节与全局语义,同时控制参数量与推理耗时,研究人员设计了一种CNN特征提取前置、ViT进行令牌(token)级全局建模的混合架构,并引入遗传算法(Genetic Algorithm, GA)对高维CNN特征做筛选压缩,以平衡精度与效率。论文发表于《Electronics》(MDPI, 2026)。
关键技术方法
研究采用自建15类蔬菜RGB图像数据集,按8:2划分训练与测试集,另取训练集20%作验证。基线CNN含三层卷积(Conv32–ReLU、Conv64–ReLU、Conv128–ReLU)及全局平均池化(Global Average Pooling, GAP),输出?49716特征向量??(不执行分类)。该向量被赋值为首个令牌??0,与可学习分类令牌??CLS(Class Token)拼接构成序列??=[??CLS, ??0]∈?2×49716,叠加位置编码??pos得??0。??0送入L=4–6层的Transformer Encoder:每层先计算??=????Q, ??=????K, ??=????V,再执行多头自注意力Attention(??,??,??)=softmax(????T/√d)??及残差连接与层归一化(LayerNorm)+前馈MLP(Multilayer Perceptron)的残差块,得最终??CLS″。仅取??CLS″经MLP与Softmax输出??∈?15类概率。部分变体以GA从49716维中选出信息量最大且低冗余的特征子集再输入ViT。对比实验设置四组:(1) 单独CNN(RGB/HSV);(2) 纯ViT家族(CoaT、CrossViT、CvT、DeiT直接输入224×224 RGB);(3) 混合CNN–ViT(上述流程);(4) 混合CNN–ViT–GA(GA降维后输入ViT)。评估指标含精确率(Precision)、召回率/敏感度(Recall/Sensitivity)、特异度(Specificity)、F1值、准确率(Accuracy)及ROC–AUC,二值化阈值0.5。
研究结果
5.1. Results with Direct Input to the CNN Models
CNN直接用RGB输入整体准确率93.6%,HSV输入86.2%,故后续均用RGB。ResNet基线准确率87%。表明传统CNN有一定竞争力但低于混合方案。
5.2. Results with Direct Input to the ViT Family
四款纯ViT全局准确率:CoaT 95.1%、CrossViT ≈95.2%、CvT 96.6%、DeiT 98.2%(最高)。DeiT因蒸馏注意力机制(distilled attention)表现最优,各类别F1值多>96%,但仍不及后续混合模型。
5.3. Results Analysis: ViT Models Combined with CNN
——5.3.1. CoaT-CNN:混合后全局准确率98.13%,Potato与Radish达完美分类(F1=100%),多数类Precision/Recall>95%,特异性>99%。
——5.3.2. CvT-CNN:全局准确率98.88%(全实验最高),各类F1>97%,特异性≈100%,证明卷积局部特征提升全局注意力判别力最明显。
——5.3.3. DeiT-CNN:全局准确率98.67%,F1多>98%,略低于CvT-CNN但仍优于纯DeiT。
——5.3.4. CrossViT-CNN:全局准确率98.3%–98.8%,性能均衡提升。
——5.3.5. Comparison Among the CNN-Enhanced ViT Architectures:所有CNN–ViT混合模型显著优于对应纯ViT,CvT-CNN与DeiT-CNN居首,确认CNN特征前置普遍有效。
5.4. Analysis of GA-Enhanced CNN Features
t-SNE显示原CNN特征空间各类基本可分但近类(Brinjal/Pumpkin)有重叠;GA选出的Top特征具低相关性与高类间区分度。CoaT-CNN-GA、CrossViT-CNN-GA、CvT-CNN-GA、DeiT-CNN-GA在完整CNN特征空间下各同类别指标仍>97%,GA降维版训练时间缩短20–25%且准确率几无损失。
5.5. Analysis of Hybrid CNN–ViT Architectures with and without GA
标准混合模型推理时间0.29–0.55 ms/图;GA版虽增加选择阶段训练耗时,但大模型中加速推理。CoaT-CNN最快且稳定;DeiT-CNN单类可靠性最高;CvT-CNN与CrossViT-CNN平衡精度与成本。
5.6. Comparative Evaluation of Proposed ViT-CNN+GA Approach and State-of-the-Art Methods
与已有蔬菜及果蔬分类文献比,本混合方法准确率(最高98.88%)媲美或超越InceptionV3、MobileNet、VGG等,且在224×224较高分辨率下具更好泛化性,GA使计算高效适合农产自动化部署。
讨论与结论(翻译浓缩)
讨论指出:简单CNN对易混淆蔬菜类性能下降(如Brinjal F1仅约84.78%),而混合CNN–ViT(尤CvT-CNN与DeiT-CNN)显著提升全局及每类指标;GA特征选择减约20–25%训练时间且不损精度。固定随机种子与统一数据划分确保可复现性。结论:融合CNN局部特征提取与ViT全局注意力机制的混合架构配合GA优化,可有效、鲁棒、高效地完成多类蔬菜精细分类,适用于品质控制与食品自动检测;未来方向含目标检测/分割、多模态(高光谱等)及边缘端部署优化。