YOLOv11-WFD:一种融合小波卷积、FasterNeXt与动态上采样的多模态葡萄分割框架,服务于智能采收

《Agronomy》:YOLOv11-WFD: A Multimodal Grape Segmentation Framework with Wavelet Convolution, FasterNeXt, and Dynamic Upsampling for Intelligent Harvesting Pengyan Wang, Chengshuai Li and Linjing Wei

【字体: 大 中 小 】 时间:2026年03月25日 来源:Agronomy 3.4

编辑推荐:

  为解决葡萄人工采收效率低、自动化视觉感知在复杂果园环境中鲁棒性差的问题,研究人员开展了基于RGB、近红外与深度信息多模态融合的葡萄分割研究。他们提出了YOLOv11-WFD模型,该模型在验证集上实现了79.3%的mAP@50:95,参数仅2.25M,在精度与轻量化间取得了优异平衡,为智能葡萄采摘的实际应用与大规模部署展现了潜力。

  
葡萄是全球种植最广泛、经济价值最高的水果作物之一,但其采收环节长期依赖人工,效率低下、成本高昂,成为制约产业可持续发展的瓶颈。随着种植规模扩大,这一问题愈发凸显。实现自动化智能采摘的关键,是让机器人能在田间复杂环境中“看清”并精准定位葡萄串。然而,户外的葡萄园环境充满挑战:茂密的枝叶、多变的光照、重叠的葡萄串、以及葡萄与叶片间的高度光谱相似性,常常让仅依赖可见光(RGB)图像的识别模型“看走眼”。更棘手的是,许多在实验室数据集上表现出色的深度学习模型,计算量大、耗能高,难以部署在计算资源受限的采摘机器人上。如何在保持高精度的同时,让模型既鲁棒又轻量化,是摆在研究者面前的一道难题。
为了攻克这些难题,本研究团队独辟蹊径,不再只“盯”着RGB图像,而是将目光投向了多模态信息融合。他们利用一个包含RGB、深度和近红外(NIR)信息的公开葡萄多模态数据集,探索如何将不同模态(颜色、空间结构、光谱反射)的信息高效整合,以提升模型在复杂环境下的“视力”。研究的核心成果是开发了一个名为YOLOv11-WFD的轻量级多模态实例分割网络。这个名字里的“WFD”代表了其三大技术亮点:Wavelet convolution(小波卷积)用于提升边界细节的保留能力,FasterNeXt模块用于构建更高效的骨干网络以加速推理,以及DySample(动态上采样)模块用于在特征融合时实现更精准的空间对齐。此外,研究还系统评估了早期、中期和晚期三种多模态融合策略,发现早期融合(在输入层直接拼接不同模态)性能最佳。通过一系列精心设计的实验,YOLOv11-WFD模型在仅包含225万个参数的“苗条身材”下,在验证集上取得了平均精度(mAP@50:95)高达79.3%的优异成绩。与YOLOv3-tiny、YOLOv5n、YOLOv8n、YOLOv10n、YOLOv11n和YOLOv12n等一系列先进的轻量级模型相比,YOLOv11-WFD在精度上分别提升了25.4、3.0、2.7、2.8、2.0和3.1个百分点,同时参数量大幅减少了80.4%、7.8%、23.5%、10.7%、20.8%和18.8%。这项研究成果已发表在学术期刊《Agronomy》上。
为开展这项研究,作者主要采用了以下几项关键技术方法:首先,利用在中国合肥商业葡萄园采集的公开多模态数据集,该数据集包含RGB、深度和NIR图像,并进行了严格的像素级对齐预处理。其次,构建了一个基于图像金字塔的多尺度训练方案,通过对原始图像进行裁剪、下采样和拼接,生成了包含大、中、小不同尺度葡萄串的训练样本,以增强模型对尺度变化的鲁棒性。然后,在YOLOv11实例分割框架基础上,集成了FasterNeXt模块替换部分卷积层以提升效率,引入小波卷积(Wavelet convolution)替代传统池化以保留高频边界信息,并使用DySample动态上采样模块优化特征融合过程,最终构建出YOLOv11-WFD模型。最后,使用包括精确率(Precision)、召回率(Recall)、平均精度(mAP@50和mAP@50:95)和参数量(Parameters)在内的标准实例分割评估指标,对模型性能进行了全面评测。
研究结果
1. 多模态融合策略分析
通过对早期融合、中期融合和晚期融合三种策略进行实验比较,发现早期融合在整合RGB、NIR和深度信息时取得了最佳性能。这为后续构建YOLOv11-WFD模型确定了基本的多模态信息整合方式。
2. YOLOv11-WFD模型架构的有效性
将FasterNeXt、小波卷积和DySample三个模块集成到YOLOv11框架中,构成了YOLOv11-WFD模型。实验表明,该设计在保持轻量化的同时,显著提升了分割精度。模型在验证集上达到了79.3%的mAP@50:95,参数量仅为2.25M。
3. 与先进模型的性能对比
将YOLOv11-WFD与YOLOv3-tiny, YOLOv5n, YOLOv8n, YOLOv10n, YOLOv11n, YOLOv12n等模型进行对比。结果显示,YOLOv11-WFD在mAP@50:95指标上全面领先,同时参数量大幅减少,验证了其在精度与效率之间的优越平衡。
4. 消融实验分析
通过消融实验分别评估了FasterNeXt、小波卷积和DySample三个核心模块的贡献。结果表明,每个模块都对最终性能有积极提升,其中小波卷积对改善边界分割效果、DySample对提升特征对齐精度作用明显,而FasterNeXt则有效降低了计算复杂度。
5. 多尺度增强策略的影响
研究采用的基于图像金字塔的多尺度训练策略,通过生成不同尺度的训练样本,有效增强了模型对不同大小葡萄串的识别能力,特别是在处理被遮挡的小目标时表现更鲁棒。
研究结论与讨论
本研究成功开发了YOLOv11-WFD,一个专为复杂果园环境设计的轻量级、高精度多模态葡萄实例分割框架。通过融合RGB、深度和NIR信息,并集成FasterNeXt、小波卷积和DySample等先进模块,该模型在公开数据集上取得了卓越的性能,在精度(mAP@50:95)和模型大小(参数量)之间达到了出色的平衡。
研究结论强调了多模态融合策略对于提升农业场景中视觉感知鲁棒性的重要性,特别是早期融合在本任务中展现出的优势。此外,引入小波变换来保留高频边界信息,对于在树叶遮挡、光照变化下精确分割葡萄串至关重要;而FasterNeXt和DySample模块的引入,则分别从计算效率和上采样精度方面优化了模型,使其更适用于资源受限的实时部署环境。
这项研究的意义在于,它不仅仅提出了一个性能优异的算法模型,更重要的是为智能农业装备,特别是自主采摘机器人的“眼睛”提供了一套切实可行的解决方案。YOLOv11-WFD模型的高精度和轻量化特性,使其有望直接部署在田间移动机器人或嵌入式设备上,实现稳定、高效的葡萄识别与定位,从而推动葡萄产业从依赖人工向自动化、智能化转型升级。论文所采用的多模态融合与轻量化设计思路,也为其他果蔬作物的自动化采收研究提供了有价值的参考。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号