基于改进的快速区域与卷积神经网络模型的冬枣表面缺陷在线多通道实时检测方法及装置

《Engineering Applications of Artificial Intelligence》:Online multi-channel real-time detection method and device for surface defects of winter jujube based on improved faster regions with convolutional neural networks model

【字体: 大 中 小 】 时间:2025年12月06日 来源:Engineering Applications of Artificial Intelligence 9.0

编辑推荐:

  泽阳欣|魏辉|王丽梅|车庆伦|张建军 中国青岛266520,青岛理工大学机械与汽车工程学院 摘要:为克服传统冬枣分选存在的精度低、效率差且劳动力成本高的问题,本研究提出了一种结合算法优化与多通道硬件设计的双重创新方案。首先,改进了快速区域检测与卷积神经网络算法(Faster R-

  泽阳欣|魏辉|王丽梅|车庆伦|张建军 中国青岛266520,青岛理工大学机械与汽车工程学院 摘要:为克服传统冬枣分选存在的精度低、效率差且劳动力成本高的问题,本研究提出了一种结合算法优化与多通道硬件设计的双重创新方案。首先,改进了快速区域检测与卷积神经网络算法(Faster R-CNN),用残差网络-50(ResNet50)替代原有的视觉几何组16层网络(VGG16),并引入挤压激励(SE)注意力模块和特征金字塔网络(FPN),以增强自适应多尺度特征学习能力。此外,用轻量级的软NMS替代传统的非极大值抑制算法,减少重叠检测区域中的误抑制现象。这些算法改进共同提升了缺陷识别精度与稳定性,使得平均精确度达到91.60%,检测速度为每秒17.5帧。与单次多框检测器(SSD)、检测变换器(DETR)、YOLOv8-n版本以及YOLOv11-s相比,其平均精确度分别提升了14%、9.5%、12.2%和5.94%。最终,该优化模型被应用于定制的八通道智能分选设备上,该系统每分钟可处理约480颗果实,所有缺陷类别的分类准确率均超过93%。这项研究为冬枣行业的智能分选提供了新思路,也为其他中小型水果的分选提供了宝贵参考。引言:冬枣属于鼠李科枣属植物,因其丰富的营养价值而被誉为“水果之王”和“活维生素片”(Sheng等人,2002年)。随着市场需求的增加和产量的提升,冬枣的分选变得越来越重要。然而,在冬枣的生长、成熟、采收和储存过程中,很容易出现开裂、日灼伤和机械损伤等缺陷(Qian等人,2025年)。这些缺陷会严重影响枣农的经济收益。目前,用于冬枣分选的设备往往体积庞大且成本高昂,不适合个体农户使用。而手工分选则在精度、一致性及效率方面存在不足。因此,开发适用于小型冬枣分选设备的缺陷检测技术具有重要的实际意义。近年来,随着消费者对农产品质量要求的提高,表面质量已成为农产品分选的重要标准(Liu等人,2021年),这对应着对农产品分选设备及质量检测技术提出了更高要求。人工智能技术的深入应用为实现智慧农业奠定了坚实的技术基础(Amiri等人,2024年)。作为机器视觉技术的替代方案,深度学习算法已成为农产品无损表面检测的主流方法(Zhang等人,2024年)。利用深度学习技术,可以自动对水果的质地、形状、颜色、大小及缺陷等外观特征进行分级和检测。以枣为例,现有研究包括基于高光谱图像数据开发的红枣分选分级方法(Pham等人,2025年),以及用于检测冬枣基本品质特征的方法(Ban等人,2023年)。随着深度卷积神经网络的发展(Asadi等人,2025年),基于区域提议的两阶段检测算法(如Faster R-CNN)和端到端的一阶段检测算法(如YOLO和SSD)逐渐成为主流,显著提升了检测速度和精度(Sun等人,2024年)。(Lu等人,2021年)开发了一种结合YOLOv3算法与手工特征的冬枣成熟度评估分级机器人。该模型在IoU值为0.7、0.8和0.9时,F1分数分别达到100%、100%和93.66%,平均精确度为94.78%,每张图像的检测时间为0.042秒,在不同光照条件下仍保持较高稳定性。不过,该模型易受光线和阴影的干扰。此外,由于采用机械臂进行分级,每颗冬枣的平均分级时间为1.39秒。(Feng等人,2023年)提出了一种改进的YOLOv5-s模型,以提高冬枣检测的精度和速度。通过整合GhostNet轻量级模块降低了计算成本,同时引入坐标注意力机制增强了小物体的特征提取能力。此外,还采用了CIOU损失函数来提高定位精度,从而优化了原始网络。实验结果表明,优化后的模型平均精确度可达96.7%,每帧的平均检测时间为0.021秒,相比基准YOLOv5-s模型,精度提升了3.2%。(Qiao等人,2022年)提出了一种基于改进YOLOv5-s模型的枣计数方法。他们采用ShuffleNet v2作为骨干网络以降低模型权重,引入Stem模块来减少因特征图尺寸变化造成的信息损失,同时用BiFPN替代PANet以增强模型的特征融合能力。与原始YOLOv5-s相比,改进后的模型精度提高了4.3%,召回率提高了2.0%,F1分数提高了3.1%,AP分数提高了0.6%,帧率提高了3.6%。(Yu等人,2024年)提出了基于YOLOv5-n的轻量级小物体检测模型SOD-YOLOv5-n,用于冬枣的实时检测与计数。该模型通过引入SPPF-Ghost模块和双注意力机制(SE + CBAM),在降低计算成本的同时提升了小物体识别能力。可分离卷积结构进一步减轻了网络负担,显著提高了推理效率。与原始YOLOv5-n模型相比,SOD-YOLOv5-n在精度、召回率和平均精确度方面分别提升了2.40%、1.80%和3.00%。在基于YOLOv5的众多研究与优化之后,该模型的性能和应用性已趋于成熟,相关的优化方法在小物体检测和轻量化实现方面取得了显著成果。然而,随着物体检测领域的不断发展,出现了更高精度和效率的新一代模型。近年来,如YOLOv8这样的新版本进一步优化了网络架构设计和特征提取能力,为物体检测任务带来了更高的精度和更强的泛化性能。(Liu等人,2025年)提出了一种基于YOLOv8-n的轻量级物体检测模型。他们用SimSPPF替代SPPF,并引入VoVGSCSP和C2f_DShC2D模块,使模型参数减少了12.96%,同时提升了小物体特征的识别能力。实验表明,这些改进使得模型的平均精确度达到92.7%,相比YOLOv8-n提升了1.1%,同时参数减少了12.96%。(Wu等人,2024年)提出了YOLO-Claw模型,该模型能够快速识别复杂的鸡爪形状,平均精确度达96.5%,展现了YOLO系列在识别不规则农业物体方面的潜力。(Xue等人,2025年)提出了基于改进YOLOv11模型的YOLO-ALDS实例分割框架,用于番茄表面缺陷的分割与分级。该框架将主动学习策略(UDAL)与动态卷积模块相结合,显著提升了复杂缺陷的识别精度,同时降低了标注成本。实验结果显示,YOLO-ALDS在mAP@0.5指标上的值为84.1%,相比原始YOLOv11模型提升了0.8%。在其他领域,YOLO模型也保持着较高的适用性。(Cao等人,2024年)提出了一种改进的YOLOv8-GD模型,用于检测电致发光图像中的微小缺陷。通过引入DepthWise-Conv、GSConv和BiFPN,他们使模型参数数量减少了92.8%(mAP@0.5),体现了YOLO架构在保持高精度与实现轻量化设计之间的平衡能力。尽管像YOLO这样的一阶段算法具有良好的实时性能,但在复杂背景或小物体检测方面的精度仍有局限,因此人们开发了如Faster R-CNN这样的两阶段模型,以更好地平衡速度与精度。(Jiang等人,2021年)提出了一种基于改进Faster R-CNN的多任务语义分割模型。该模型通过在传统的Faster R-CNN框架中引入RGB-D信息融合机制和优化的NMS算法,实现了物体检测、分类和分割的联合学习。此外,还引入了基于FCN的RoI Align操作,有效解决了量化误差导致的特征错位问题。实验结果表明,该模型在多任务损失的收敛速度、精度和稳定性方面均优于原始的Faster R-CNN,平均精确度提升到了93.6%,相比仅使用RGB图像或深度图像训练的模型,分别提升了2.65%和17.68%。(Zhou等人,2023年)提出了一种基于多尺度自上而下架构的UMS-FRCNN模型,将机器视觉技术应用于软木的分类自动化。该算法在原有的Faster R-CNN框架中加入了多尺度卷积结构,通过上下层同时提取低级纹理特征和高级语义特征,再借助生成对抗网络分类器和特征归一化策略,减轻大特征对小特征的掩盖效应,从而提升多种特征和类别的检测稳定性。实验结果显示,UMS-FRCNN模型的准确率为89.82%,相比原始Faster R-CNN提升了8.6%。(Kong等人,2024年)提出了一种基于改进Faster R-CNN的苹果检测模型,他们用基于移动窗口的Swin Transformer替代了Faster R-CNN的骨干网络,融合了不同阶段的特征,并引入了改进的平滑损失函数。尽管已有若干两阶段模型在各自任务中展现出较高的检测精度,但实际应用测试相对较少。总之,众多专家学者在农产品分选设备与检测方法方面进行了大量研究,推动了农产品分选领域的快速发展。随着机器视觉技术的进步及其在各行各业的广泛应用,将机器视觉技术与分选设备相结合已成为农产品分选的主流方式。在农产品缺陷检测方面,检测方法已经从早期的支持向量机和机器视觉发展为现在的神经网络技术。然而,针对冬枣表面缺陷检测方法的研究以及为枣农开发合适的分选设备方面,仍存在较大差距。冬枣的表面缺陷种类繁多且较为复杂。传统的缺陷识别方法存在检测精度低、处理速度慢的问题,且在识别细微特征和小目标时表现不佳,无法满足实际生产需求(Noor和Ige,2024年)。因此,本研究提出了一种基于改进Faster R-CNN的冬枣缺陷检测方法,该方法是建立在两阶段物体检测模型之上的。它用集成有SE模块的ResNet50与FPN网络替代了原有Faster R-CNN的VGG16特征提取网络作为其骨干特征提取结构。同时,采用了改进的软NMS算法,以降低缺陷目标的误删除率(Chao等人,2021年)。为了验证该缺陷检测模型的实际应用效果,研究人员独立设计并制造了一台专为冬枣设计的轻量级智能分选设备。该系统集成了视觉检测模块、基于网格的定位输送装置以及基于Arduino的控制系统,可通过激活多个电磁铁实现多通道分选。安装在输送带上方的高清工业相机在环形灯提供的均匀照明下拍摄枣子的图像,而上层的计算机则利用训练好的网络模型进行缺陷检测。识别结果通过串行通信传输给控制模块,该模块随即激活相应的电磁铁,将合格果实和有缺陷的果实分别送入不同的收集箱中。这种紧凑的模块化设计有效减少了机械损伤,提高了分选效率,为深度学习缺陷检测算法的实时应用提供了可行的平台。部分内容概述整体结构:如图1所示,冬枣分选设备由六个核心部件组成:开放式缓冲槽收集装置、网格式预定位输送装置、螺栓固定式滑块张紧装置、视觉检测装置、闭环拉杆电磁铁剔除装置以及控制系统。当冬枣从进料斗进入后,网格输送带与柔性底板之间的相对运动会使果实向前滚动360°,进入视觉检测环节。数据集获取与预处理:现有的通用深度学习数据集,如VOC2007,并不适合冬枣缺陷检测任务。这些数据集主要针对一般的物体识别任务,无法涵盖冬枣特有的缺陷类型,如微裂纹和虫孔。它们无法满足冬枣缺陷检测所要求的精细分类标准。本研究严格遵循相关标准,系统地构建了一个用于冬枣缺陷检测的数据集。为了验证在原有Faster R-CNN基础上添加不同模块以识别冬枣缺陷的能力,研究人员在自建的冬枣数据集上进行了实验,实验结果如表8所示。原有Faster R-CNN的平均准确率为71.35%,检测速度为32.5帧/秒。将主干特征提取网络替换为ResNet50后,mAP值有了显著提升,提升了7.8%。此外,通过添加SE模块……结论:本研究提出了一种基于Faster R-CNN的改进模型,专为小型冬枣分选设备设计,以实现自动化分选。通过将SE、FPN以及轻量级的Soft-NMS模块有机整合到Faster R-CNN框架中,该模型在检测精度与实时性能之间取得了良好平衡。与简单堆叠通用模块不同,这些组件都是针对水果分选场景进行结构优化的:SE模块能够提升……资金支持:本研究得到了山东省重点研发计划(软科学)重大项目(项目编号2025RZA0101)以及中国山东省2023年本科教学改革研究项目(项目编号Z2023149)的资助。作者贡献说明:辛泽阳:撰写初稿、可视化处理、项目管理、数据整理;王伟辉:资源提供、方法设计、实验分析;王 Limei:验证工作、软件应用、项目管理;车庆伦:验证工作、监督指导、实验分析;张建军:撰写审稿与编辑工作、项目管理、资金筹集、概念构思。利益冲突声明:作者声明不存在任何可能影响本文所述工作的已知财务利益或个人关系。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号