利用高倍率图像的视觉特征对稻籽中的啄食损伤进行量化

《Journal of Food Composition and Analysis》:The quantification of peck damage in rice kernels using visual features of the high magnification images

【字体: 大 中 小 】 时间:2026年03月31日 来源:Journal of Food Composition and Analysis 4.6

编辑推荐:

  萨克希·帕蒂尔(Sakshee Patil)|尼廷·萨普卡尔(Niteen Sapkal)|安库尔·米格拉尼(Ankur Miglani)|帕万·库马尔·坎卡尔(Pavan Kumar Kankar)|萨希尔·卡尔拉(Sahil Kalra)|阿约恩·查克拉博蒂(Ayon Cha

  萨克希·帕蒂尔(Sakshee Patil)|尼廷·萨普卡尔(Niteen Sapkal)|安库尔·米格拉尼(Ankur Miglani)|帕万·库马尔·坎卡尔(Pavan Kumar Kankar)|萨希尔·卡尔拉(Sahil Kalra)|阿约恩·查克拉博蒂(Ayon Chakraborty)
系统动力学实验室,机械工程系,印度理工学院印多尔分校,中央邦 - 453552,印度

摘要:
由臭虫造成的大米啄伤或针孔损伤是决定储存稳定性、市场认可度和最终用途的关键质量因素。受啄伤影响的米粒会出现白垩化、泛黄以及黑色、棕色、红色或其他颜色的斑点。不同的损伤模式表明臭虫可能并非唯一原因,进行全面评估可以阐明这些差异。然而,由于数据集有限和深度学习研究的不足,对碾制后大米中的啄伤进行详细的质量评估尚未得到充分探讨。在这项研究中,开发了一个机器视觉系统,用于收集2381张高分辨率(24兆像素)和高放大倍数(3.9微米/像素)的啄伤米粒图像。训练了一个图像分割模型以进行逐像素的损伤分类。采用基于卷积神经网络高特征描述性的无监督分割方法来解决创建图像真值掩码的劳动密集型问题。无监督分割预测用于计算啄伤面积、质心位置以及沿米粒长度的分布情况,最终将损伤分为四种类型。最终分类利用无监督分割模型产生的几何数据通过K均值算法完成。该无监督分割模型的有效性通过参考数据集上的0.9254迪斯系数得到验证,且对分割图像的目视检查也证实了损伤区域的成功分割。总体而言,这项研究增进了对碾制后大米啄伤变化的理解,并有助于识别这些变化的潜在原因。该框架对大米质量评估、自动化分级以及收获后加工的决策支持工具具有直接意义。

1. 引言
因真菌感染或虫害而变色的米粒通常被称为斑点米或啄伤米。米粒上的棕色斑点表现为斑点和变色。图1显示这些斑点非常不规则,从一个米粒到另一个米粒差异显著,从小范围损伤到完全腐烂不等。这种复杂的损伤可能是由多种因素共同引起的,包括多种真菌(如Cochliobolus miyabeanus)、细菌感染、环境因素(如水分和风害导致的米粒损伤)以及臭虫(Tao等人,2025年)。臭虫喜欢在米粒早期发育阶段取食,导致幼米粒完全受损或阻碍成熟米粒的生长(Awuni等人,2014年;Sugiura等人,2022年)。臭虫(Oebalus pugnax (F.))造成的损伤程度和类型取决于米粒的发育阶段。根据臭虫攻击的时间,可能导致米粒质量下降或产量损失(Baker等人,2021年)。例如,如果在拔节期之前被臭虫叮咬,米粒生长会完全停止,从而导致产量损失;在拔节期,臭虫会吸出米粒中的汁液,使米粒变得空洞(称为假米粒)。而在拔节后期或软质 dough 形成阶段,可能只去除部分米粒或其全部结构。臭虫在取食过程中会引入病原体(真菌和细菌)。随着米粒被这些病原体和臭虫产生的酶感染,损伤表现为取食部位的变色。据报道,拔节期和软质 dough 形成期(R6和R7阶段)最容易受到臭虫取食和损伤(Ilipkumar等人,2006年)。这会导致米粒变色并变弱,从而降低其质量。随着质量的下降,碾制后大米的等级也会降低,进而影响盈利能力。

下载:下载高分辨率图像(123KB)
下载:下载全尺寸图像

图1. 米粒啄伤的高倍放大图像,从左至右损伤程度逐渐加重:(a) 针孔损伤,(b) 轻微斑点损伤,(c) 顶部区域严重斑点损伤,(d) 底部区域严重斑点损伤。

由于早期发育阶段的损伤(部分或完全损伤),啄伤米的重量较轻,产量较低。此外,啄伤米在碾制过程中容易碎裂,从而导致等级较差(取决于啄伤米的比例)。在收获过程中,轻质和部分填充的米粒通常会与秸秆和糠皮一起被去除,而变色的米粒则留在稻堆中并与未受损米粒混在一起。因此,损伤/变色的程度会影响大米的分级,进而影响其市场价值(Bhavanam等人,2021年;Chhabra等人,2021年)。例如,根据样本中受损或变色米粒的最大容忍限度,德赫拉杜Basmati大米被分为三个等级:特级、A级和B级。根据印度AGMARK大米分级和标记规则第二部分的规定,这些等级的变色米粒比例上限分别为0.25%、0.5%和0.75%(大米分级和标记规则1)。同样,用于煮熟的啄伤米的允许比例也有严格限制,因为煮熟过程会加剧受损米粒的颜色变化,使受损区域更加明显,降低顾客接受度和市场售价。因此,随着对高等级大米需求的增加以及对受损米粒容忍度的降低,开发能够准确检测和量化损伤的方法变得至关重要。特别是在针孔损伤的情况下(见图1a),受损区域可能非常小而难以被发现。

一方面,标准的质量评估程序包括由熟练人员进行的人工目视检查,这是一个劳动密集且耗时的过程,容易出错(Bhattacharya等人,2011年;Y. Chen等人,2012年;Li等人,2018年)。多种质量因素,如外观、口感、大小、营养成分以及碾制后米粒中的多种损伤类型,使得整个过程更加不一致、缓慢且不经济。另一方面,实验室测试虽然是一种可靠的质量评估方法,但成本高昂且耗时,且在很大程度上依赖测试时间和样本采集地点附近的实验室设施。其他可靠的质量检测方法包括近红外光谱(NIR)(Armstrong等人,2019年)和多光谱成像(ElMasry等人,2019年)。这些技术依赖硅基发光二极管(SiLED)高速分选器和近红外(SKNIR)管设备,价格相对较高。尽管这些技术非常准确,但也存在一些固有限制。例如,SKNIR方法可以区分白垩化与非白垩化米粒,但无法确定白垩化的程度;SiLED分选器虽然处理速度快,但对非100%白垩化或非非白垩化米粒的分类准确度较低。这是因为这些仪器主要关注淀粉、蛋白质和水分含量的吸收带附近的光谱差异。还有一些研究探索了基于米粒物理属性的形态学方法来评估质量(Asif等人,2018年)。

使用主成分分析(PCA)的分类系统,如在早期研究中提出的方法(Asif等人,2018年),通过利用面积和偏心率等特征达到了92.3%的准确率。作者(Mandal,2018年)结合数字图像处理技术和基于知识的自适应神经模糊推理系统(ANFIS)来分级高价值Basmati大米,实现了超过98.5%的分类准确率。然而,由于啄伤米粒含有大量的黑褐色斑点,依赖形态学特征(Asif等人,2018年;Mandal,2018年;Wijerathna和Ranathunga,2018年)或高光谱数据(Armstrong等人,2019年;ElMasry等人,2019年;Qiu等人,2018年)的方法可能无法充分捕捉相关的复杂视觉模式。

除了NIR、多光谱成像和形态学方法等分析技术外,使用图像数据集进行损伤量化是机器视觉领域的理想任务。最近在机器视觉方面的进展,如利用图像处理和决策树算法进行实时杂质检测,已在水稻收割过程中展现了其应用潜力(J. Chen等人,2020年)。机器视觉提供了一种自动、非破坏性和经济的方法,根据图像的视觉特征来确定米粒质量。传统的机器视觉质量评估系统通过识别图像中的不同模式并开发相应的图像处理算法来提取特征。因此,许多先前的研究都集中在使用机器视觉系统进行米粒质量控制与评估(Aukkapinyo等人,2020年;Chatnuntawech等人,2018年;S. Chen等人,2019年;Din等人,2024年;Gilanie等人,2021年;He等人,2025年;Ibrahim等人,2019年;Nagoda & Ranathunga,2018年)。例如,作者使用包含1粒籽、5粒籽、10粒籽、15粒籽和20粒籽的自定义数据集,提出了基于18层卷积神经网络(CNN)模型的米粒分类方法(Gilanie等人,2021年)。该方法对每种巴基斯坦种植的水稻品种实现了完美的分类。Din等人(2024年)使用定制设计的深度卷积神经网络(DCNN)模型以及两种预训练架构InceptionV3和InceptionResNetV2,对五种完整且未受损的水稻品种进行了分类研究。

在另一项研究中,作者使用多类支持向量机(SVM)对三种类型的水稻进行了分类(Ibrahim等人,2019年)。作者提出了一种基于深度学习的方法,用于定位和区分图像中的不同类型水稻。然而,这里的“定位”是指识别图像中五种不同类型水稻的位置,而非损伤位置(Aukkapinyo等人,2020年)。在另一项研究中,作者使用空间谱深度卷积神经网络和高光谱成像技术对四种外观相似的泰国水稻品种进行了分类(Chatnuntawech等人,2018年)。共分析了1656个数据样本。作者提出了一种基于机器视觉的系统,用于检测2.66 MP分辨率图像中的破损、白垩化和受损或斑点红籼米(S. Chen等人,2019年),错误检测率分别为99.3%、96.3%和93.6%。还有研究基于颜色特征使用SVM开发了水稻分类算法,准确率为88.0%,但需要均匀的照明条件(Nagoda & Ranathunga,2018年)。虽然这些研究展示了水稻品种的分类,但它们均未关注特定损伤的严重程度,尤其是那些带有斑点和变色的米粒。

尽管文献中有许多关于水稻分类的研究,但它们存在以下局限:现有研究依赖的图像数据集规模较小,无法涵盖米粒中存在的多种损伤类型。例如,在某项研究中,作者使用CNN将受损大米分为七类:健康、完全白垩化、白垩化变色、半白垩化、破损、变色和正常损伤(Bhupendra等人,2022年)。这种分类虽然全面,但未能捕捉到啄伤和其他损伤(包括不同比例的变色、斑点和白垩化)的差异和严重程度。这限制了分类类别,并减少了评估的全面性。此外,这些研究主要只关注传统的分类方法,如SVM和CNN等监督学习模型,用于分类目的(Armstrong等人,2019年;Asif等人,2018年;Aukkapinyo等人,2020年;Bhupendra等人,2022年;Chatnuntawech等人,2018年;J. Chen等人,2020年;S. Chen等人,2019年;Din等人,2024年;ElMasry等人,2019年;Gilanie等人,2021年;Ibrahim等人,2019年;Mandal,2018年;Nagoda & Ranathunga,2018年;Qiu等人,2018年;Wijerathna & Ranathunga,2018年),这些方法无法捕捉损伤的定位。确定损伤定位,即损伤的位置和范围,可以提供有关损伤根本原因的宝贵见解,并有助于更准确和全面的品质评估。最近的进展促使了更复杂的图像分割方法的发展。在早期的一项研究中,作者提出了一种基于NAM-EfficientNetV2的轻量级全卷积分割算法,在自建的数据集上检测稻谷杂质和碎粒方面表现出了令人印象深刻的结果(Liu等人,2023年)。一种结合NAM注意力机制和Unet编码解码结构的方法,对于稻谷实现了95.26%的F1分数,对于杂质实现了93.27%的F1分数,模型参数数量仅为20.6 M。在另一项研究中,作者使用生成对抗网络和嵌套跳跃连接来处理具有复杂形态特征的粘性稻谷(Zeng等人,2023年)。然而,粘性稻谷带来的独特挑战,如高度无序的斑点和不同程度的变色,需要开发更加专门的分割方法。粘性稻谷对大米产业的经济影响有充分的记录,产量和质量的显著损失导致市场价值下降(Harper等人,1993年;Wang等人,2002年)。本研究为农业计算机视觉领域做出了三项贡献。首先,提供了一个高分辨率、高放大的粘性稻谷图像数据集,涵盖了与臭虫攻击及其引发的次级感染相关的变色、粉状化和针状缺陷的完整视觉多样性。该数据集通过捕捉对品质评估至关重要的复杂纹理变化,解决了像素级注释数据集有限的问题。其次,该工作提出了一个无监督CNN(U-CNN)分割框架,可以直接从输入图像中学习缺陷特征。这种方法通过消除预训练或手动标注的需要,消除了真实注释的瓶颈。第三,该研究通过引入几何指标来数学上描述损伤的严重程度及其空间分布,将分析扩展到了二分类之外。

2. 材料与方法
2.1. 数据获取
2.1.1. 稻谷样本收集
本研究使用了在印度六个不同地区(安得拉邦、特伦甘纳邦、卡纳塔克邦以及中央邦、比哈尔邦和北方邦的部分地区)种植的中等大小的BPT 5204稻谷籽粒。从2019-20生长季节的双色Sortex机器(Milltec MCR+)的废品堆中收集了2316颗有虫洞损伤的稻谷籽粒。这些样本包括出现不同形状和大小变色斑点的籽粒,从针尖大小到覆盖整个籽粒的斑点都有。使用这些有虫洞的稻谷籽粒,通过图像采集系统获得了总共2381张高分辨率(24百万像素)和高放大倍数(3.9微米/像素)的图像,以构建图像数据集。这里的图像数量超过了籽粒的数量,因为一些籽粒的受损区域同时出现在腹侧和背侧。
2.1.2. 图像采集系统
研究中使用的计算机视觉系统包括一个可变强度的180瓦发光二极管(LED)光源,通过光纤电缆照亮稻谷籽粒,与300瓦氙气LED光源相比,这种光源更节能,且没有热量或紫外线(UV)辐射。为了捕捉高分辨率(高度x宽度为6000x4000像素)和高放大倍数(3.9微米/像素)的单个稻谷籽粒图像,使用了一台无反光镜相机(α5100,索尼;配备互补金属氧化物半导体(CMOS)传感器)与微型变焦镜头(Zoom 6000,Navitar)。变焦镜头可以在10厘米的工作距离下获得4.5倍放大的稻谷籽粒图像,便于从安装台上轻松取出稻谷籽粒而不干扰镜头设置。图像使用安装在个人计算机(PC)系统(i5-9500 CPU @ 3.00 GHz,Dell OptiPlex 3070)上的Imaging Edge Desktop软件(Sony 1100)采集。如图2所示,装有微型变焦镜头的相机安装在一个垂直移动支架上。为了获得高放大倍数的图像,将单个稻谷籽粒放在一个蓝色背景下的三轴舞台上,该舞台直接位于镜头下方。整个装置放置在一个有高效散射器的LED灯的封闭空间内,以确保均匀照明。封闭空间内部被涂成黑色,以最小化杂散反射。通过PC使用Imaging Edge软件触发相机来采集图像,然后保存在PC上。

下载:下载高分辨率图像(213KB)
下载:下载全尺寸图像
图2. 用于米粒数据集生成的图像采集系统示意图。
2.1.3. 图像预处理
如图3所示,进行图像预处理是为了减少误差范围并节省计算时间和资源。本研究中使用的数据集包含高分辨率(24MP)图像,有助于获得最佳的图像分割结果。然而,这需要较高的计算时间和资源,因为分割算法将图像中的每个像素分类到相关的簇中。因此,一台配备Intel i7处理器和16 GB RAM的标准机器在尝试处理24MP图像以进行所提出的分割算法时会卡住。就资源而言,单张24MP图像可能占用多达6 MB的存储空间,因此处理数千张这样的图像需要大量的存储空间。因此,首先使用OpenCV Python模块中的调整大小功能将4000x6000像素的RGB图像大小调整为800x1200像素,以适应所用计算机的要求。这种大小减少相当于像素数量减少了大约96%,这直接转化为处理时间和存储空间也减少了相似的百分比。图像不会被调整到800x1200像素以下,以便获得可读的分割掩模,否则会导致不准确的结果。800x1200像素的大小在分割掩模的质量(即准确的图像分割)和计算效率(即可管理的计算负载)之间提供了最佳平衡。

下载:下载高分辨率图像(136KB)
下载:下载全尺寸图像
图3. 稻谷籽粒掩膜的顺序图像预处理:调整大小、HSV转换、具有可调节限制的背景掩蔽和最终裁剪。
图3(a)显示,稻谷籽粒图像的背景占据了整个图像的近50%,使得该区域的分割变得多余。因此,裁剪稻谷籽粒图像的背景有助于进一步减少处理系统的计算负载,同时保持图像质量。如果光源稍微偏离垂直方向,稻谷籽粒的阴影可能会出现在图像背景中,导致多种颜色模式和纹理。为了消除这种效应,将RGB图像转换为色调-饱和度-值(HSV)颜色空间,与RGB颜色空间相比,HSV颜色空间对光照变化引起的颜色强度变化更具抵抗力(见图3c)。在HSV颜色空间中,色调代表像素颜色,饱和度代表颜色的纯度,值描述像素亮度。为了掩蔽稻谷籽粒,使用OpenCV滑块手动确定HSV限制,允许实时调整HSV值。最初选择一个随机的稻谷籽粒图像,然后使用滑块调整HSV值,直到稻谷籽粒准确地从背景中分离出来(图3c)(Song等人,2024年)。掩蔽后的图像显示在图3d中。由于数据集包含感觉上相同的图像,即蓝色背景、白色稻谷以及带有不同程度损伤的变色斑点的稻谷表面,因此提取的任何一张稻谷籽粒图像的HSV值用于掩蔽数据集中的所有其余图像。数据集提取的HSV值的上下限如下:下限[70,110,0],上限[09,255,255]。使用这些HSV值对稻谷籽粒图像进行掩蔽,然后进一步裁剪。由于背景的裁剪基于稻谷籽粒的最顶部、最底部、最左侧和最右侧边缘的位置,这些位置在不同图像之间略有差异,因此裁剪后的图像最终大小也有微小变化,平均为355x975像素。对于显著不同的稻谷品种(如糙米)或不同的成像条件和背景颜色,可能需要使用相同的OpenCV滑块手动调整过程重新校准HSV阈值。

3. 方法论
3.1. 无监督分割
本研究采用无监督学习方法对有虫洞稻谷籽粒中的损伤变化进行分割,以便基于损伤定位对其进行分类。由于缺乏可用的分割真实标注数据,而开发这样的数据集既耗时又劳动密集,因为虫洞损伤具有内在的复杂性和变异性(Zhao & Wang, 2025)。此外,如果没有事先研究或了解有虫洞稻谷籽粒中的损伤模式,可能无法捕捉到可能发生的全部损伤模式。损伤在位置、范围、严重程度甚至诸如粉状化或变色等特征方面都有很大差异。因此,无监督方法能够探索数据并理解潜在的模式,而无需预先假设。无监督分割掩膜提供了有关不同类型损伤及其定位特征的宝贵见解,这反过来有助于开发更知情和有效的分类系统(Chauhan等人,2025)。这种方法不仅节省了时间和资源,还确保了对问题的更全面和准确的理解。
考虑了几种主流的无监督分割方法,包括K均值聚类、基于密度的空间聚类与噪声(DBSCAN)、层次聚类和高斯混合模型(GMM)。每种方法都根据其适用于有虫洞稻谷籽粒数据集的能力进行了评估。K均值聚类根据像素强度将图像分割成K个簇(Khosravi等人,2025)。然而,由于虫洞损伤类型的多样性很高,确定所有图像的最优簇数(K)颇具挑战性。DBSCAN是一种基于密度的聚类算法,可以找到任意形状的簇并识别异常值。然而,其计算复杂度为O(n.log n)和高内存使用量,使得处理预处理的高分辨率图像变得不切实际。在对有虫洞的稻谷数据集应用DBSCAN后,由于数据点数量庞大,发生了内存错误,无法高效地分割有虫洞的稻谷籽粒。层次聚类通过逐步合并或分割簇来构建簇的层次结构。尽管它可以捕捉数据的嵌套结构,但该方法的计算复杂度为O(n2logn),内存复杂度为O(n2)。这些要求在处理数据集中的高分辨率图像时导致了严重的内存错误。“链接”函数无法为成对距离矩阵分配足够的内存,这凸显了它不适合大规模图像分割任务。GMM将数据建模为几个高斯分布的混合。虽然它可以捕捉复杂的分布,但该方法没有考虑像素之间的空间关系,导致分割结果不太连贯。GMM经常过度分割像素,产生难以手动识别和验证的碎片化损伤簇。
鉴于这些限制,本研究采用了基于CNN的方法。CNN在从图像中提取层次特征方面表现出色,这对于准确捕捉复杂的虫洞损伤模式至关重要。无监督算法的统一工作流程如图4所示,包括图像预处理、卷积神经网络(CNN)的训练以及随后的像素聚类和超像素细化,以获取任意输入图像的分割掩模。无监督学习流程的统一工作流程:整合图像预处理、基于CNN的特征学习以及迭代分割过程,以识别米粒上的啄蚀损伤。

3.1.1 使用CNN进行特征提取
图像分割任务要求将图像中的每个像素分配到一个特定的簇中。像素根据其特征的相似性(如纹理模式、亮度强度、色彩空间值等)被分组到簇中。特征提取是一个将原始图像的像素编码为唯一、有意义表示的过程,如图4所示。其目的是编码米粒上的啄蚀损伤,这些损伤表现为黄色褪色、粉化以及黑褐色斑点的不同组合。首先,RGB图像被预处理为LAB色彩空间,因为这种空间更接近人类视觉,从而提供更准确和一致的色彩表示(见图4)。LAB色彩空间将亮度(明度)与颜色成分分离,因此可以更准确地表示和区分细微的颜色变化,例如黄色褪色、粉化和黑褐色斑点,这些都是啄蚀损伤的迹象。这种改进的色彩区分能力和对褪色的处理增强了后续的特征提取和图像分割任务。预处理后的图像随后被输入到CNN模型中。在CNN的前向传播过程中,尺寸为宽度x高度x3的输入图像被转换为一个维度为宽度x高度xc的特征表示,其中c是特征向量的通道数(在此实现中,超参数‘c’设置为50)。这个50维特征向量的每个通道编码了多种特征,如空间信息、纹理、颜色、对比度、亮度、强度、边缘、边缘方向以及与相邻像素的上下文关系。这种转换是通过卷积层实现的,卷积层对图像应用一系列滤波器。每个滤波器都针对特定类型的视觉特征进行设计。因此,CNN模型的输出是图像中每个像素的50维特征表示。

3.1.2 CNN的架构
本研究中提出的架构基于Pytorch框架,包含三个卷积块,用于将LAB格式的图像输入(大约355x955像素)编码为50维特征向量,如图4所示。每个块由一个2D卷积层后跟一个Leaky ReLU激活函数和一个2D批量归一化层组成。卷积层通过使用学习到的滤波器来自动提取米粒图像的特征,如边缘、颜色变化、纹理等。这些滤波器在训练过程中被优化,以捕获图像中最具辨识度的特征。每个2D卷积使用一组3x3的滤波器,步长和填充均为1。滤波器是一个具有可学习参数(权重和偏置)的方形矩阵,通过将其与输入特征图卷积来生成输出特征图。激活函数将非线性引入网络,这对于人工神经网络对输入和输出之间的复杂非线性关系进行有意义的解释至关重要。
在深度神经网络中,ReLU是最流行的激活函数。然而,ReLU的一个缺点是在训练过程中几个梯度可能会变得不稳定并“死亡”,从而导致权重以一种不再激活任何数据点的方式更新。结果,ReLU可能会导致“死亡神经元”的出现。在ReLU区域内(x<0),梯度为零,且权重在下降过程中不会进行微调。因此,处于这种状态的神经元停止对输入的变化作出反应,由于梯度为零,也就不会发生任何变化,这就是所谓的“死亡ReLU”问题。为了克服ReLU的非线性缺点,尝试了其他激活函数,例如LeakyReLU,并发现LeakyReLU最为有效。LeakyReLU为小的负值添加了一个小的泄露值,确保梯度永远不会变为零。
所提出的算法在数据集的一个子集上进行训练,具体为0.5%。虽然这个比例看起来很小,但对于模型来说已经足够学习到识别啄蚀损伤所需的颜色和纹理变化,然后可以将其泛化到整个数据集。因此,训练参数必须在过拟合所需用途和泛化数据集中图像的复杂差异之间找到正确的平衡。激活函数之后添加了归一化层,以实现正则化并加速训练。所有超参数(如卷积次数、特征向量维度等)都设置为在使模型适应训练图像的特定特征和泛化处理数据集中存在的变化之间取得平衡。经过所有网络层的一次前向传播后,大约355x950x3大小的LAB输入图像被转换为一个355x950x50大小的特征表示,其中每个通道捕获一个视觉特征。

3.1.3 像素聚类
一旦米粒图像通过CNN处理完毕,图像中的每个像素就被表示为一个50维的特征向量。像素的每个维度负责编码一个视觉线索。激活值最高的维度,即最高的值,捕捉了该像素的独特性。例如,如果在大约355x955像素中有60个像素在第15个维度上有最大的激活值,那么这60个像素就被赋予相同的标签编号或簇(假设为簇15),并为可视化目的分配一个随机指定的RGB值。这个过程对米粒图像的每个像素重复进行,最终得到一个尺寸为长度x宽度x3的图像。这种聚类过程使用NumPy库实现。
采用这种方法的原因是CNN在特征向量的每个维度中编码了某种特征,而激活最多的维度成为所考虑像素的簇。从直觉上讲,这可以看作是对特征相似性的一种限制,因为具有相似特征的像素会在神经网络中激活相同的神经元,并被聚类到同一组中。因此,在CNN的一次前向传播之后,一个400x900像素(即0.36MP)的图像被分为50个簇。这是第一个获得的分割掩码,该掩码在80个周期内进行迭代细化。需要注意的是,唯一簇标签的数量是任意的,最多为50个。如果没有任何像素激活某个给定维度,那么第一次前向传播后的输出图像可能包含不到50个簇。图5展示了聚类方法的简化表示。由于像素聚类是基于激活量进行的,因此在聚类之前添加了一个轴内批量归一化层,以确保所有值都在相同的范围内。批量归一化将每个轴标准化到零均值和单位方差。

3.1.4 超像素细化
通过聚类获得的分割掩码进一步通过结合空间信息来提高分割过程的准确性和效率。这种细化是通过将分割掩码与使用Felzenszwalb算法(Felzenszwalb & Huttenlocher, 2004)生成的超像素化图像对齐来实现的。Felzenszwalb算法使用scikit-image库实现,是一种基于图的图像分割方法,因其计算效率高且适用于啄蚀米粒数据集而受到选择。该算法将图像中的每个像素视为一个独立的部分,并根据它们的差异性逐步合并,这些差异性由边缘权重表示。这个过程持续进行,直到部分满足某个标准,该标准由一个比例参数确定。
算法的计算效率源于它使用不相交集森林数据结构,该结构允许几乎恒定的时间合并操作。这使得算法的复杂度与图像中的像素数量成线性关系,从而使其在图像分割方面非常高效。Felzenszwalb算法特别适合这个数据集,因为它能够在低对比度区域保留细节。这对于准确捕捉啄蚀米粒损伤中的细微颜色和纹理变化至关重要。例如,米粒中的白色部分和粉化区域通常表现为低对比度区域。同样,米粒中逐渐变化的棕色和黑色也会导致低对比度。该算法在保持这些区域细节方面的能力确保了这些重要特征在分割过程中不会丢失。此外,算法中的比例参数允许通过控制生成的片段大小来微调分割过程。通过多次实验,由于经验测试和数据集的特定特性,比例参数被设置为1。对于啄蚀米粒,损伤可能是分散的且大小不一。比例参数1提供了在检测所有此类缺陷片段时的良好平衡,既不会过度像素化也不会欠像素化,同时保持合理的细节水平。较高的比例值(>1)会导致过度像素化,从而导致训练过程变慢,并且在100个周期后仍会产生超过10个不必要的簇。相反,较低的比例值(<1)会导致欠像素化,最终的分割掩码无法准确区分粉化区域,经常将其与健康的(透明的)米粒簇合并。这个值是针对这个特定的啄蚀米粒数据集固定的,但对于不同的米品种(如糙米)或基于类似经验测试的数据集,可能需要调整。
过程从原始RGB图像开始。首先应用OpenCV模块(cv2.fastNlMeansDenoisingColored())中的彩色图像去噪技术来去除原始RGB图像中的噪声。这一步骤对于模糊健康米粒部分中的复杂不准确性至关重要,从而有助于超像素化。处理后的图像随后应用Felzenszwalb算法得到一个超像素化图像。超像素是由具有相似视觉特征(如像素强度或颜色)的相邻像素组成的组。与单个像素相比,它们可以提供更自然和有意义的图像结构表示。因此,它们被用作更新和细化通过聚类获得的分割掩码的基线。细化过程包括从分割掩码中获取属于任何给定超像素的所有像素的簇标签。然后,替换属于所考虑超像素的所有像素的标签,使用在该超像素组中出现次数最多的标签。这个细化过程如图5所示。

3.1.5 CNN的训练
无监督算法的训练过程从输入的LAB图像开始。该图像通过卷积神经网络生成初始分割掩码。还使用Felzenszwalb方法从输入的RGB图像生成超像素,这些超像素用于细化初始分割。然后计算这个细化分割与CNN输出之间的交叉熵损失。该损失量化了初始分割与细化分割之间的差异程度。反向传播过程随后调整网络参数以最小化这种损失。本质上,网络正在根据计算出的损失学习更好地分割图像。这个过程在多个周期(在此实现中设置为80个周期,学习率为0.2)内迭代进行,每次迭代都使用相同的输入图像。目标是通过训练特征提取图像滤波器来编码啄蚀损伤特征,从而实现给定图像的最佳分割效果。
所选超参数的有效性可以通过观察随周期损失的减少来量化(见图7b)。在训练开始时,损失约为3.0。随着训练的进行,损失显著降低并稳定在约0.07附近。这种损失的大幅减少表明所选超参数的有效性和训练过程的稳健性。需要注意的是,与监督学习不同,在这种无监督学习方法中,不同的网络初始化可能会导致不同的标签预测。因此,为了确保结果的一致性和可重复性,所有初始化都进行了种子设置。为了了解不同种子对结果稳定性的影响,测试了多个种子值以评估分割结果的变异性。如图7b所示,不同种子的损失曲线表明,尽管不同的种子可能会导致训练过程中的轻微变化,但整体性能仍保持稳定。本研究中采用的工作流程包括后处理和图像聚类后创建分割掩膜的过程,如图6所示。

下载:下载高分辨率图像(117KB)
下载:下载完整尺寸图像

图6. 用于检测稻谷籽粒啄伤的无监督分割和分析的工作流程:后处理步骤以及导致不同分类簇的分割掩膜的统计分析。

该过程从高分辨率图像的获取开始,接着是预处理以优化数据以便分析。使用CNN进行特征提取,生成像素级特征向量。对这些向量进行聚类可以分割图像,然后通过Felzenszwalb算法进行超像素化以细化结果。CNN使用交叉熵损失进行训练,并在多个种子上进行验证,以确保结果的稳健性和可重复性。如图6所示,后处理包括对分割掩膜的统计分析,以识别啄伤的潜在子类。

4. 结果与讨论

该方法的计算复杂性分为图像预处理和模型推理两个阶段。预处理包括颜色空间转换、掩膜处理和裁剪操作,每个操作的运行时间都与图像中的像素数量成线性关系,即O(n)。模型推理阶段是分割方法的核心,它利用卷积神经网络。每个卷积层的复杂度为O(K?H?W?C),其中K是核大小,H和W是空间维度,C是通道数。由于使用了nConv个卷积层,推理的总复杂度为O(nConv?K?H?W?C)。后处理,包括标签映射和像素级操作,同样是线性的,即O(n)。

无监督分割算法使用PyTorch实现,从而能够高效利用图形处理单元(GPU)资源进行卷积操作。为了量化性能,在Google Colab提供的NVIDIA T4 GPU上测量了每张图像的处理时间。平均每张图像的预处理时间为0.142秒,推理时间为0.323秒,后处理时间为0.0009秒。因此,每张图像的总平均处理时间为0.4659秒。在实际应用中,可以使用专用硬件、更快的GPU和并行计算来进一步缩短处理时间。

图7a展示了随着训练时序的增加,簇的数量逐步减少的过程。图像中的颜色段明显区分了受损区域的白色中心和深色边缘。在最终的预测图像中,健康的(透明的)稻谷籽粒部分用深蓝色簇表示,浅蓝色表示受损区域内的白色部分,黑色像素表示受损部分。需要注意的是,算法随机为不同的簇分配颜色,这些颜色可能会根据识别的簇数量而变化。

下载:下载高分辨率图像(246KB)
下载:下载完整尺寸图像

图7. 80个训练周期内的训练进展示意图:(a) 样本稻谷籽粒上分割簇的视觉演变;(b) 不同随机种子下交叉熵损失减少的比较。

图7b显示了80个周期内交叉熵损失值的减少情况,该指标用于量化算法预测与实际结果之间的差异。损失曲线的持续下降趋势表明模型正在随着时间的推移而学习。训练在第80个周期停止,因为模型的性能已经达到平台期,表明进一步的训练不会带来显著的改进。

由于文献中缺乏高倍率拍摄的啄伤籽粒图像作为真实数据,因此使用Kaggle上的一个参考图像数据集来评估所提出的无监督方法,即使用暗场显微镜检测螺旋体细菌的数据集(Bacteria Detection Microscopy / ALL PROCESS, 2021)。该数据集包含366张带有手动标注真实标签的图像。选择这个细菌数据集是因为它在颜色变化和背景颜色方面与啄伤稻谷籽粒数据集相似。两个数据集的图像像素都位于相同的颜色范围内。具体来说,稻谷籽粒数据集的颜色范围大约在[0,9,10]到[189,191,205]之间,而细菌数据集的颜色范围在[12,15,22]到[255,255,255]之间。虽然具体的RGB值有所不同,但两个数据集的整体颜色范围(从深色到浅色)是相似的。稻谷籽粒和细菌图像的平均颜色值分别为[58.7,31.2,27]和[49.52,41.04,30.51]。这些值进一步显示了所有颜色通道的相对接近性。因此,使用这个参考数据集来验证啄伤稻谷籽粒数据集的分割掩膜。

Dice系数指标用于评估所提算法在评估数据集上的准确性(Dice, 1945)。该指标用于确定两个样本的相似性指数,用于比较预测掩膜与其目标之间的像素级重叠。Dice系数计算为重叠区域面积的两倍除以两张图像的总像素数。重叠区域表示真正例(TP),定义了两个元素如何匹配。真实值与TP之间的差异导致假负例(FN)。其余的并集由假正例(FP)组成。真正例(TN)是分割未预测到的图像元素。在评估数据集上的Dice系数为0.9254。较高的Dice系数值,结合对分割图像的视觉检查(见图8),确认了在参考数据集上成功分割了细菌。

下载:下载高分辨率图像(293KB)
下载:下载完整尺寸图像

图8. 评估数据集图像的比较分析,显示了原始图像、参考文献(Wang等人,2002)中的真实分割以及训练算法预测的掩膜。

图9展示了为稻谷籽粒获得的分割掩膜,并进一步使用各种几何指标来推断损伤的严重程度。

下载:下载高分辨率图像(226KB)
下载:下载完整尺寸图像

图9. 通过无监督分割在(a)至(f)的图像中可视化稻谷籽粒的损伤定位:左-原始稻谷籽粒图像;右-分割掩膜。

图9包含成对的图像,每个图像显示一个稻谷籽粒的原始图像(左)及其对应的分割掩膜(右)。分割掩膜识别了不同类型的损伤;健康的(透明的)稻谷籽粒用RGB [188,188,188]表示,黄色/浅棕色变色用RGB [153,153,153]表示,深灰色变色用RGB [68,68,68]表示,粉状变色用RGB [41,83,148]表示。小的深蓝色像素簇(即RGB [41,83,148])表示散布在稻谷籽粒上的轻微粉状变色。任何给定稻谷籽粒的总损伤量由这些损伤类型的总和表示。

量化损伤的一个关键指标是简单地确定损伤扩散的面积。这是通过将作为损伤部分的像素数量除以稻谷籽粒的总像素数量来计算的。图10显示了2381个啄伤稻谷籽粒的损伤百分比的变化情况。该图表表明,2381个样本中83.7%的籽粒损伤百分比在20%到40%之间,只有1.5%的籽粒损伤面积小于20%,14.8%的籽粒损伤面积超过60%。顶部展示了对应于正态分布三个区域的代表性图像,即不同损伤程度的啄伤籽粒。其中,区域I的损伤面积小于20%,主要发生在硬面团形成期间或软面团形成后期。区域II最常见的损伤形式是变色斑点,发生在软面团阶段;区域III的损伤范围较大,几乎整个籽粒都出现严重变色,发生在挤乳后期和软面团形成初期。由于区域II和III的籽粒数量明显多于区域I,表明在挤乳和软面团形成阶段,稻谷籽粒更容易受到臭虫的伤害。

虽然损伤面积的大小是一个关键指标,但它并不能完全描述损伤的严重程度。例如,仅根据损伤面积对图像进行分类会将中央、顶部或底部区域损伤面积相同的籽粒归为同一类别。此外,仅基于损伤面积的分类可能会将分散的损伤和集中损伤归为同一类别。由于不同的因素,包括稻谷臭虫伤害、真菌和细菌感染,可能会对稻谷籽粒的特定部分造成损伤,因此损伤定位是一个重要因素,因此应考虑损伤的位置及其在籽粒表面的分布。

为了定位损伤,引入了两个额外指标,即质心和标准偏差。首先识别出被分类为受损的像素,然后分别计算这些受损像素的x坐标和y坐标的总和。每组坐标的总和除以坐标总数,分别计算x方向和y方向的质心。该指标有助于识别籽粒内受影响最严重的区域。

(1)xcen=∑i=0nxin
(2)ycen=∑i=0nyin

其中,∑i=0nxi和∑i=0nyi分别是受损像素的x坐标和y坐标的总和,n是受损像素的总数。

然而,质心本身并不能提供关于损伤分散的信息。因此,计算了标准偏差,以衡量受损像素与质心之间的平均距离。为了使这种测量在不同的籽粒和损伤大小之间具有可比性,通过将其除以受损像素数量的平方根来进行标准化。这种标准化根据损伤的大小调整了偏差,从而提供了更准确的偏差测量,有助于理解损伤在籽粒内的分布情况。标准偏差的计算方法如下:

(3)σx=∑i=0nxi?xcentroid
(4)σy=∑i=0nyi?ycentroid

其中,σx和σy分别是受损像素的x坐标和y坐标的标准偏差。参数xi和yi是每个受损像素的x坐标和y坐标,参数xcen和ycen分别是质心的x坐标和y坐标。n是受损像素的总数。

图11展示了相对于平均大小的、水平放置的健康稻谷籽粒,损伤质心的位置。图中损伤质心的广泛分布表明,啄伤并不局限于籽粒的任何特定区域。这表明,可以由多种因素(如稻谷臭虫伤害、真菌和细菌感染)引起的啄伤可以出现在籽粒的任何位置,因此需要仔细检查整个籽粒以准确评估损伤的程度。此外,边缘处没有损伤中心点的情况可以有两种解释。首先,这可能是由于啄损本身的特性,这种损伤在谷粒的中心区域更为严重或频繁,因为谷粒的核心区域是形成籽粒的地方,因此更容易受到臭虫的攻击。其次,即使边缘确实受到损伤,也仅限于很小的范围,不足以显著影响中心点的位置,或者损伤是从边缘扩散过来的,从而使得中心点向中心靠近。

图11显示了平均大小稻粒(宽度为355像素,长度为975像素)上损伤分布的可视化,损伤区域的中心点位置用红点标记。直方图和稻粒图像(如图12所示)展示了沿稻粒长度的损伤散布(DS)以及各种标准差区间值。这表明许多稻粒的损伤散布值低于某个阈值。这表明,无论损伤的严重程度如何,主要都集中在谷粒的特定区域内,而不是均匀分布在整个长度上。数据集中的y偏差图像(如图12中0.2?0.4、0.4?0.6、0.6?0.8和>0.8区间所示)进一步证实了直方图中的观察结果。0.6到0.8区间的散布是由于实际损伤造成的。0.2?0.6区间表示损伤较为集中,而>0.8区间表示损伤更为广泛,导致更高的偏差。

图12中的直方图和稻粒图像显示了不同标准差区间(0.2至0.8)下沿稻粒长度的损伤散布(DS)。图10中观察到的右偏分布模式和图12中的直方图表明数据中存在不同的子组或簇,这些可能无法通过单变量分析单独发现。聚类可以揭示不同损伤严重程度和散布组合在数据集中的表现。例如,聚类显示损伤可以与不同程度的散布共存,需要分别分析这些情况。这些簇代表不同类型的损伤、不同的损伤阶段或不同的损伤原因。例如,啄损在稻粒生长阶段发生得越早,损伤就越严重。在灌浆阶段发生的损伤对籽粒生长的影响更大,且往往在谷粒上广泛分布;而在早期软面阶段发生的损伤则表现为更集中的损伤;而在后期软面阶段发生的损伤则表现为高度集中的点状损伤(Awuni等人,2014年)。

图13展示了从啄损稻粒数据集中提取的几何特征的皮尔逊相关系数矩阵的热图。相关系数的大小提供了关于控制啄损结构的物理洞察。损伤区域与籽粒宽度之间的中度正相关(r=0.40)表明籽粒在宽度方向上比在长度方向上更容易受到啄损。由于臭虫在籽粒尚未完全长成的早期灌浆或软面阶段进行攻击,因此预期宽度方向上的正相关。此外,与水平空间偏差的负相关(r=?0.47)表明了一种整合效应。图14a显示轻微损伤通常表现为谷粒腹面和背面的分散高偏差点,而严重损伤则合并成大范围的连续斑块,在谷粒表面的相对分布较小。例如,虽然图14a中的啄损面积为17.7%,而图14b中的啄损面积为56.3%,但图14a中的x偏差较大,即x?Dev.136.7>57.1。另外,损伤区域与籽粒长度之间的弱相关性(r=0.03)证实了损伤严重程度与籽粒长度无关。这表明臭虫的攻击在纵向上是随机的,并不受籽粒延长的影响。

为了更好地理解数据结构并识别潜在的簇,采用了Elbow方法(Cui, 2020)和Silhouette方法(Shahapure & Nicholas, 2020)。这些方法有助于确定数据集中的最佳簇数量。Elbow方法确定簇内平方和(WCSS)急剧减少的点,即最佳簇数量。Silhouette方法则测量一个簇中的每个点与相邻簇中的点之间的距离,从而提供了一个图形表示,显示每个对象在其簇内的位置。两种方法的结果分别如图15a和15b所示,表明最佳簇数量为4。

在确定了最佳簇数量后,对损伤区域、沿谷粒长度和宽度的中心点以及沿谷粒长度和宽度的散布应用了K均值聚类,得到了一个六维的聚类结果。K均值是一种基于中心的聚类算法,它将数据划分为K个不重叠的子集(簇),使每个数据点属于最近的均值所在的簇。该算法的迭代性质使其特别适合于识别大型数据集中的模式,这也是本研究的主要目标。为了有效地可视化簇并识别数据中的模式和趋势,在K均值聚类之后应用了PCA。PCA是一种降维技术,它将高维数据转换为新的坐标系,将其减少到2D或3D,同时保留最大方差。具体来说,PCA应用于K均值产生的5维簇输出,包括损伤区域、中心点坐标和散布指标,以减少维度并使聚类结果清晰易懂。如图15c所示,PCA有助于在2D空间中可视化高维簇,使不同损伤特征之间的关系更加清晰。

这些方法的选择基于它们的计算效率及其在揭示数据潜在结构方面的有效性。虽然还有其他聚类算法,如层次聚类或DBSCAN(Birant & Kut, 2007; Murtagh & Contreras, 2012),但选择K均值是因为它在计算上更为高效。具体来说,K均值的时间复杂度为O(n),其中n是数据点的数量;层次聚类的时间复杂度为O(n2logn);DBSCAN的时间复杂度为O(nlogn)。这使得K均值更适合大型数据集,如本研究使用的数据集。同样,选择PCA进行降维是因为它是一种线性方法,在数据具有线性结构时表现良好。其他方法,如t-SNE或UMAP,在计算上更为复杂,如果数据不是线性结构则可能不适用。

应用K均值聚类根据计算出的指标将稻粒分类为不同的组别。如图15c所示,各簇之间存在一些重叠,表明啄损稻粒的损伤模式较为复杂。然而,通过可视化簇中的不重叠点(见图16),可以发现有意义的组别。这些分组提供了关于不同类型损伤及其特征的宝贵见解,进一步加深了对啄损、其严重程度和模式的理解。

图16展示了基于损伤区域、定位和散布的四个不同簇的稻粒图像:(a) 第1簇:稻粒上半部分的损伤区域在20%到50%之间;(b) 第2簇:稻粒下半部分的损伤区域在20%到50%之间;(c) 第3簇:损伤区域超过60%,并且沿稻粒长度有散布;(d) 第4簇:损伤区域在30%到40%之间,并沿稻粒长度有散布。这些簇各自具有独特的损伤区域、定位和散布特征。第1簇的籽粒损伤区域覆盖范围在20%到50%之间,损伤主要集中在粒子的上半部分,从顶部边缘开始。这种模式表明损伤倾向于覆盖整个宽度,表现出x方向上的最大散布。第2簇虽然在损伤区域覆盖量上与第1簇相似,但损伤集中模式不同,损伤集中在下半部分,区域覆盖范围从三分之一定到三分之二。整个宽度都受到损伤,表现出与第1簇相似的散布模式,但位置不同。第3簇显示了沿整个长度的广泛损伤,损伤区域超过60%,并且沿长度有高散布。由于这种广泛的散布,y方向的中心点趋于在中心区域平均,表明损伤分布更为均匀。第4簇的损伤区域在30%到40%之间变化,散布值范围最大。x方向的中心点位置在稻粒宽度上有所不同,表明损伤分布较为随机。

为了更好地理解数据结构并识别潜在的簇,采用了Elbow方法(Cui, 2020)和Silhouette方法(Shahapure & Nicholas, 2020)。这些方法有助于确定数据集中的最佳簇数量。Elbow方法识别簇内平方和(WCSS)急剧减少的点,即最佳簇数量。Silhouette方法则测量一个簇中的每个点与相邻簇中点的距离,从而提供一个图形表示,显示每个对象在其簇内的位置。两种方法的结果如图15a和15b所示,表明最佳簇数量为4。

在确定了最佳簇数量后,对损伤区域、沿谷粒长度和宽度的中心点以及沿谷粒长度和宽度的散布应用了K均值聚类,得到了一个六维的聚类结果。K均值是一种基于中心的聚类算法,它将数据划分为K个不重叠的子集(簇),使每个数据点属于最近的均值所在的簇。该算法的迭代性质使其特别适用于识别大型数据集中的模式,这也是本研究的关键目标。为了有效可视化簇并识别数据中的模式和趋势,在K均值聚类之后应用了PCA。PCA是一种降维技术,它将高维数据转换为新的坐标系,减少到2D或3D,同时保持最大方差。具体来说,PCA应用于K均值产生的5维簇输出,包括损伤区域、中心点坐标和散布指标,以减少维度并使聚类结果清晰可懂。如图15c所示,PCA有助于在2D空间中可视化高维簇,使不同损伤特征之间的关系更为清晰。

这些方法的选择基于它们的计算效率和揭示数据潜在结构的有效性。尽管还有其他聚类算法,如层次聚类或DBSCAN(Birant & Kut, 2007; Murtagh & Contreras, 2012),但选择K均值是因为它在计算上较为经济。具体来说,K均值的时间复杂度为O(n),其中n是数据点的数量;层次聚类的时间复杂度为O(n2logn);DBSCAN的时间复杂度为O(nlogn)。这使得K均值更适合大型数据集,如本研究使用的数据集。同样,选择PCA进行降维是因为它是一种线性方法,在数据具有线性结构时效果良好。其他方法,如t-SNE或UMAP,在计算上更为复杂,如果数据不是线性结构则可能不太适用。

K均值聚类的应用用于根据计算出的指标将稻粒分类为不同的组别。如图15c所示,各簇之间存在一些重叠,表明啄损稻粒的损伤模式较为复杂。然而,通过可视化簇中的不重叠点(见图16),可以发现有意义的组别。这些组别提供了关于不同类型损伤及其特征的宝贵见解,进一步加深了对啄损、其严重程度和模式的理解。因此,逐渐的强度变化、阴影、自然的不透明度变化以及由白垩质引起的光学干涉常常满足距离标准,导致误报。提出的U-CNN方法通过使用局部特征聚类克服了这个问题,使其比传统的阈值处理方法更准确。图17展示了阈值处理技术和所提出的U-CNN框架的分割结果。图17a和d显示了带有明显标记的啄损区域的原始RGB图像。阈值处理技术的分割结果分别展示在图17b和e中,而U-CNN框架的分割结果则展示在图17c和f中。尽管阈值处理技术能够检测到损伤,但它容易发生欠分割,无法划定整个啄损区域。U-CNN框架能够准确检测并划定啄损区域。这一视觉评估还通过计算每种情况下的损伤面积百分比(PDA)进行了量化。具体来说,阈值处理技术在图17b和17e中的PDA分别为20.10%和19.07%。相比之下,U-CNN方法在图17c和17f中的PDA分别为53.24%和42.85%,从而验证了其在提取整个损伤区域方面的优越性能。

为了测试模型的鲁棒性,其在实际数据集上的分类性能得到了验证。该数据集包含271张随机选择的图像,分为三类:79颗健康的(半透明的)稻谷、94颗完全白垩化的(不透明的)稻谷以及98颗有啄损/针孔损伤的稻谷(见图17g、i和k)。根据实际样本的平均损伤严重程度(95%置信区间(CI)结果,应用了1.0%的严格损伤阈值,将损伤指标转换为二分类(啄损损伤与其他损伤(即健康或完全白垩化))。模型的总体准确率为99.63%,啄损损伤类别的精确度为1.00。混淆矩阵确认所有其他损伤样本(包括所有健康/完全白垩化的稻谷)都被正确分类(见图17m)。这验证了该方法能够消除由于稻谷的半透明度或白垩质引起的误报,同时仍对啄损/针孔损伤保持高灵敏度。此外,啄损损伤组与非啄损损伤组之间的显著差异(p<0.001)进一步证明了模型能够精确区分这两种损伤类型。图17n中的箱形图表明,完全白垩化的样本聚集在基线(0%损伤)附近,这验证了啄损/针孔损伤与健康稻谷和其他损伤类型(如白垩质)的有效分离。如图17o所示,针孔损伤的平均损伤面积为11.30%。

总体而言,这项验证测试展示了该方法在实际样本中精确区分针孔损伤与其他损伤类别的能力,这是对传统人工检测和常见计算机视觉方法的一个重大进步。特别是,模型通过区分稻谷中的针孔损伤和白垩质的能力体现了其鲁棒性(见图17i)。

4.2. 本工作的局限性
1. 稻谷啄损损伤的真实标签缺失:在准确检测和表征农产品中不同类型的损伤时,一个重大挑战是缺乏经过高级品质检验员和/或政府批准的视觉参考指南(如美国农业部(USDA)的视觉参考图像(2016年)(IRRI,2002年)验证的逐像素标注图像。当前的数据集也面临着类似的问题,其中2381张啄损损伤图像涵盖了从稻谷上的局部点状损伤到整个稻谷表面的大规模啄损引起的真菌损伤的广泛范围。虽然啄损损伤表现出明显的不同形态,但其真实标签并不可用。由于缺乏真实标签掩膜,难以直接计算啄损稻谷本身的定量分割准确性(即Dice系数)。因此,使用了一种替代验证方法,使用具有类似啄损损伤的颜色-纹理特征分布的螺旋体细菌数据集。本研究中使用的无监督CNN(U-CNN)模型在该替代数据集上的Dice系数为0.9254,验证了模型分割啄损稻谷特定特征的能力。
2. 数据集中彩色品种的多样性有限:本研究中提出的无监督特征聚类和分割是在2381个BPT 5204水稻品种的样本上进行验证的。因此,数据集仅限于精制白米。虽然臭虫造成的啄损损伤在稻谷中的表现相似,但其外观在白米与彩色品种(如蒸煮糙米、红米和野生米等黑色外观的米)之间可能有显著差异。因此,需要根据品种的颜色优化特征通道维度(nChannel),以捕捉目前可以在白米中轻松分辨的细微对比度变化。调整这一参数使模型能够捕捉更多细节特征,从而清晰区分啄损损伤和健康区域。
3. 启发式语义映射:所提出的无监督方法缺乏内在的语义理解。尽管U-CNN基于特征相似性有效地对像素进行聚类,但它并不能自动识别聚类是受损还是健康的。这使得系统依赖于手动初始化步骤来解释并将输出聚类映射到物理缺陷类型。虽然这种重新初始化不增加训练时间,但它引入了工作流程中的手动步骤。最终的分割结果取决于用户将损伤映射的准确性。

5. 结论
本研究开发的无监督建模框架通过结合像素级特征编码和superpixel细化,成功量化了BPT 5204精制稻谷中的啄损损伤。包含2381张高分辨率(3.9μm/像素)图像的数据集是首个针对啄损稻谷的全面数据集。该数据集涵盖了由臭虫引起的啄损损伤的整个范围,包括从局部点状损伤到遍布整个稻谷表面的大范围色强差异斑点。基于U-CNN的分割方法成功解决了真实标签缺失的问题,得到了空间上一致的损伤掩膜,并在替代数据集上的Dice系数为0.9254,从而证明了模型对视觉相似损伤模式的优秀泛化性能。此外, geometric措施的定义还定义了损伤的严重程度和位置。定量分析显示,83.7%的稻谷显示出严重损伤,占比达到稻谷表面积的20-40%,这与稻谷发育的软质阶段所记录的损伤模式相符。相比之下,只有1.5%的稻谷显示出低严重度的局部针孔损伤,这是臭虫在后期阶段(如硬质阶段)取食的特征。根据这些指标,K-means聚类根据损伤的唯一位置和分布模式将啄损损伤谱分为四个不同的类别。这些类别提供了关于啄损损伤多样性的定量见解,这些是通过视觉分级无法解决的。总体而言,这项研究通过展示一种可扩展的无监督损伤定位流程的有效性,并为损伤严重程度开发了可解释的衡量标准,为农业机器视觉做出了贡献。

资金来源:无。

作者声明
手稿《使用高倍放大图像的视觉特征量化稻谷中的啄损损伤》的作者声明如下:
CHAKRABORTY AYON:监督、资源、项目管理。
Sahil Kalra:监督。Pavan Kumar Kankar:撰写-审稿与编辑、监督、资源、项目管理、资金获取。
Ankur Miglani:撰写-审稿与编辑、撰写-初稿、监督、资源、项目管理、方法论、资金获取、概念化。
Niteen Sapkal:撰写-审稿与编辑、撰写-初稿、方法论、调查、形式分析、概念化。
Sakshee Patil:撰写-审稿与编辑、撰写-初稿、方法论、调查、形式分析、概念化。

利益冲突声明:无。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号