AgrySET:面向农业语义分割与缺陷识别的合成数据生成框架

《AgriEngineering》:AgrySET: A Synthetic Data Generation Framework for Agricultural Semantic Segmentation and Defect Recognition

【字体: 大 中 小 】 时间:2026年09月23日 来源:AgriEngineering 3.1

编辑推荐:

  摘要:尽管现有的合成生成方法(如生成对抗网络(GANs)和扩散模型(Diffusion Models))通常需要大规模预先存在的数据集和大量的计算资源,但本文提出了一种新颖的硬件–软件框架AgrySET,该框架规避了这些限制。该系统利用四相机高分辨率阵列以及可

  
摘要:尽管现有的合成生成方法(如生成对抗网络(GANs)和扩散模型(Diffusion Models))通常需要大规模预先存在的数据集和大量的计算资源,但本文提出了一种新颖的硬件–软件框架AgrySET,该框架规避了这些限制。该系统利用四相机高分辨率阵列以及可复现工业环境条件的设置。与纯算法方法不同,通过在物理采集的样本上采用高斯模型进行数据生成,该框架主动解决了类不平衡问题,并在初始样本采集后无需手动像素级标注的情况下,合成逼真的农业图像以及精确的、像素完美的分割掩码。作为案例研究,研究人员对健康咖啡豆以及哥伦比亚全国咖啡种植者联合会(National Federation of Coffee Growers of Colombia)分类的七种缺陷进行了分割。仅在该合成数据集上训练的模型在3类配置下达到了92.9%的平均交并比(mIoU),在详细的9类场景下达到了61.9%。针对真实世界数据集进行评估时,模型分别达到了90%和58%的准确率。此外,与手动执行相比,自动化流水线将数据生成和分割工作流加速了约250倍。这些定量结果证明了AgrySET作为咖啡豆检测基线合成框架的可行性,并突显了其未来推广至其他粒状农产品领域的潜力。
论文解读:AgrySET——为农业语义分割与缺陷识别构建的合成数据生成框架

一、研究背景与问题

全球农业正面临气候变化与生物多样性丧失带来的粮食供给压力,精准农业通过低成本智能技术优化投入、提升单位面积效率,逐渐成为重要解决方案。在咖啡种植领域,精准农业技术已被广泛探索。然而,人工智能(AI)与深度学习(DL)模型在农业视觉任务中的鲁棒性高度依赖高质量标注数据,尤其是语义分割需要像素级精确标注。手动标注耗时、昂贵且易受人为误差与观察者间差异影响,导致大规模标注数据集成为监督学习的瓶颈。现有合成数据生成方法,如去噪扩散概率模型(DDPM)、生成对抗网络(GANs)和变分自编码器(VAEs),通常需要大规模预训练数据和大量计算资源,并可能产生伪影或模式崩溃,难以适用于资源受限的农业场景。在咖啡豆质量检测中,传统依赖认证“杯测师”(catadores)的人工检查难以规模化与标准化,而公开的高分辨率咖啡缺陷数据集稀缺,阻碍了可部署人工智能解决方案的开发。因此,本研究旨在提出一种能够弥合合成数据与真实世界差距的硬件–软件协同框架,实现高效、精确且自动化的农业语义分割数据生成。

二、研究内容与结论

研究人员提出了AgrySET框架,该系统由硬件采集模块与软件处理流水线构成。硬件部分采用四台Intel RealSense D435相机组成的阵列,在封闭、标准光照(6500 K色温LED)环境中以25 cm工作距离同步采集图像,并通过图像拼接生成高分辨率合成图像。软件部分利用Canny边缘检测提取样本轮廓,基于哥伦比亚全国咖啡种植者联合会(FNC)定义的七种缺陷(黑色、酸腐、未成熟、严重蛀虫、切割/咬伤、变色、小粒豆)及健康Excelso级咖啡豆构建源资产库。研究人员统计了1400份物理样本中缺陷的自然频率,经Kolmogorov-Smirnov检验验证其近似高斯分布(p<0.05),据此建立高斯概率模型控制合成图像中缺陷的类别比例和空间分布,从而原生模拟工业加工线上的真实随机概率并解决类不平衡问题。合成流水线将缺陷豆图像以随机位置和旋转角度(0°到360°)叠加到健康豆背景上,自动生成像素级精确掩码。模型训练采用DeepLabV3+架构(ResNet-152骨干)在6000张合成图像(像素尺寸约4000×4000)上进行。结果显示:3类分割(背景、Excelso、缺陷)的平均交并比(mIoU)达到92.9%,在真实世界外部测试集上准确率为90%;9类细分场景(背景、Excelso及七种缺陷)的mIoU为61.9%,外部测试准确率为58%。与手动流程相比,AgrySET自动化流水线将数据生成与分割工作流加速约250倍。该研究证明,通过物理光度一致性和精确空间对齐,仅用合成数据训练即可实现有效的sim-to-real迁移,为咖啡豆缺陷检测提供了可行的基线合成框架。

三、关键技术方法

研究人员主要采用了以下关键技术方法:(1)多相机高分辨率同步采集与拼接:使用四台Intel RealSense D435相机构成阵列,通过15%重叠区域和标定(旋转矩阵和平移矩阵)实现无缝拼接,获得约每像素0.06 mm的度量对应关系。(2)基于Canny边缘检测的轮廓提取:利用背景与样本的高对比度自动生成精确轮廓掩码。(3)高斯概率模型驱动的程序化合成:依据1400份商业样本统计验证的缺陷发生频率分布,控制合成图像中缺陷类别比例与空间位置。(4)DeepLabV3+语义分割网络:采用Atrous Spatial Pyramid Pooling(ASPP)和多尺度特征融合,在合成数据上训练并评估。样本队列来源明确为CINGTAGRO自动化加工厂提供的咖啡豆样品。

四、研究结果详解

(1)合成图像质量验证:研究人员通过RGB/HSV直方图相关分析(平均Pearson系数0.98)和结构相似性(SSIM)评估,证实合成图像在色彩、结构和统计特性上与真实工业图像高度一致,无明显边界伪影。

(2)3类分割性能:DeepLabV3+在简化场景中有效识别了大多数豆粒,对“Excelso”(健康)类mIoU超过96%,对“Defective”(缺陷)类接近90%,验证了架构对高分辨率AgrySET图像的适应性和稳定性。

(3)9类细分性能:分解为七种具体缺陷后,模型mIoU降至61.9%。“Slight Broca”(轻微蛀虫)和“Cut/Bitten”(切割/咬伤)类性能较低,分别约为13.4%和27.5%。研究人员将其归因于二维俯视成像中细微形态特征的遮挡导致标签噪声,例如亚毫米级蛀孔若位于豆粒侧面或底面,则视觉上无法与健康豆区分。

(4)外部真实世界验证:使用150张真实高分辨率图像(手动采集并标注)进行外部测试,3类配置准确率为90%,9类配置为58%,与合成验证结果接近,证明模型具有良好的sim-to-real迁移能力。手动流程平均每张图像需18分钟,而AgrySET自动化流程加速250倍。

(5)分辨率与物理度量:图像每个像素对应0.06 mm,足以分辨0.5 mm至1.5 mm的蛀虫入口孔,确保分割结果与咖啡出口所需的物理质量标准直接相关。

五、讨论与结论

讨论部分指出,AgrySET相较于GANs和扩散模型等生成方法,避免了对大规模预训练数据和密集计算资源的需求,同时通过确定性程序化合成消除了生成伪影,保证了像素级精确掩码。与基于3D物理引擎的仿真相比,无需劳动密集的CAD建模。局限性方面,当前框架仅在单一作物(阿拉比卡咖啡)上验证,扩展到其他农产品几何形状需要重新校准相机距离、光照和统计模型;单目二维俯视系统对形态细微缺陷的识别受视角限制,未来需集成近红外(NIR)传感或多角度光学系统。研究结论强调,AgrySET建立了物理光度一致性与精确空间对齐足以实现强sim-to-real知识迁移的基线,为工业农业视觉系统提供了一种高效、可扩展的合成数据生成范式。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号