编辑推荐:
监督机器学习(Machine Learning, ML)在农业分类中的可靠性常因噪声标签而受损,此类噪声源于主观人为标注及环境变异性。本研究提出了一种噪声鲁棒框架,该框架整合双网络架构以构建新型混合损失(Hybrid Loss)函数。混合损失将交叉熵(Cros
监督机器学习(Machine Learning, ML)在农业分类中的可靠性常因噪声标签而受损,此类噪声源于主观人为标注及环境变异性。本研究提出了一种噪声鲁棒框架,该框架整合双网络架构以构建新型混合损失(Hybrid Loss)函数。混合损失将交叉熵(Cross-Entropy)与一致性正则化(consistency regularization)相结合以应对噪声标签问题。改进混合损失(Modified Hybrid Loss)通过独立更新双网络进一步增强了小规模数据集的鲁棒性。研究人员在牛油果微波图像数据集及牛油果摄影数据集上验证了上述方法。在10%、20%及50%噪声率下,所提方法均持续优于基线损失函数(包括交叉熵、Co-Teaching及JoCoR)。方差分析(ANOVA)统计检验证实了分类准确率的显著提升(p < 0.00001)。除基准验证外,研究人员还通过微波成像追踪牛油果随时间变化的成熟曲线,展示了实际应用价值。这些结果确立了混合损失与增强混合损失作为缓解农业机器学习标签噪声的有效策略,推动了农业人工智能(Agricultural AI)中可靠、可扩展且非破坏性果实成熟度评估系统的发展。
## 一、研究背景与问题
全球食品体系规模与复杂性日益扩张,确保食品安全、优质及可持续生产交付的压力与日俱增。食品质量直接影响营养价值、货架期及消费者满意度,而食品安全对于预防公共卫生风险至关重要。在此背景下,高精度食品检测与评估能力的提升对于满足安全标准及消费者期望具有关键意义。食品分类在质量保证、供应链优化及消费者安全保障中扮演着核心角色。传统食品分级方法多依赖视觉检验或化学检测,存在主观性强、劳动密集及通量低等局限,这使得基于机器学习(ML)/人工智能(AI)的食品分类自动化技术愈发重要,因其能够提供快速、可靠且可扩展的解决方案。
果实成熟度评估是食品分类中的关键环节,直接影响感官属性、营养价值、货架期及商品价值。以牛油果为例,其成熟度细微差异即可显著改变质地、口感及内部成分,不准确的成熟度评估将导致过早腐败或消费者不满,造成重大经济损失。随着ML技术日趋成熟,卷积神经网络(CNN)等监督学习方法已广泛应用于基于图像的食品分析任务中。值得注意的是,当CNN与微波及毫米波(MMW)等非侵入式成像技术相结合时,能够捕获肉眼不可见的内部果实结构信息,为精确、客观的成熟度评估提供可能。
然而,监督深度学习模型高度依赖数据质量,对标签噪声极为敏感。食品分类中的标签噪声具有多源性:人为因素方面,标注者对边缘样本(如"近成熟"与"成熟"的过渡状态)的判读存在差异,疲劳导致的错误及标注协议不一致进一步加剧主观性;环境因素方面,光照条件、拍摄角度、阴影及表面反射率的变化会改变果实表面的视在颜色与纹理,导致同一物理样本在不同采集条件下获得不同标签。在微波及毫米波成像中,此类因素引入的数据噪声同样导致不可靠的真实标签分配。噪声标签的后果不仅限于统计层面——在实际部署的食品检测流程中,基于损坏标注训练的模型可能系统性地误分类整类成熟度,引发过早采收决策、腐败率上升及系统信任度下降。
现有噪声标签处理方法如Co-Teaching和联合训练协同正则化(JoCoR)虽在通用计算机视觉任务中表现有效,但尚未在食品分类任务中得到系统探索。针对此研究空白,研究人员开展了本项研究。
## 二、研究目的与技术方法
本研究旨在开发面向监督食品分类任务的鲁棒学习框架,以有效应对噪声标签挑战。研究人员引入新型混合损失函数,通过Kullback-Leibler(KL)散度将传统损失函数与一致性正则化相整合。该框架利用双网络架构增强模型在训练过程中优先选择更清洁、更具信息价值样本的能力,从而提升分类准确率与泛化性能。
研究所采用的主要关键技术方法包括:双网络协同训练架构,基于对称标签噪声的人工噪声注入策略,以及KL散度约束下的一致性正则化机制。样本队列来源包括:自建牛油果微波图像数据集(360张图像,7个牛油果个体,13天监测周期)及公开Mendeley平台牛油果摄影数据集(约9000张图像,Xavier等,2024)。微波图像通过雷达基微波成像平台获取,采用微波雷达成像工具箱(O’Loughlin等,2018)进行重建;摄影图像则为公开 Hass 品种牛油果的高分辨率图像。验证阶段还涉及公开香蕉成熟度数据集(Luciano,2023)的泛化测试。
## 三、研究结果
### 3.1 实验验证设置与训练结果
为严格评估噪声条件下的鲁棒性,研究人员采用基于对称标签噪声的控制人工噪声注入策略,以10%、20%及50%的固定比例随机重分配训练样本标签。K折交叉验证分析显示,混合损失模型在两种数据集、各噪声水平下的训练与验证曲线均保持接近且稳定。
### 3.2 分类性能
微波成像数据集(7折交叉验证)与摄影数据集(10折交叉验证)的结果表明:混合损失与改进混合损失模型相较于交叉熵 baseline 方法及Co-Teaching、JoCoR等先进方法具有更优的鲁棒性。改进混合损失在微波数据集10%噪声下取得最高F1分数0.8705,凸显其在缺乏冗余信息的小规模农业任务中的优势;混合损失则在摄影数据集10%噪声下获得最高F1分数0.8223。ANOVA统计检验证实,微波数据集上模型类型对分类准确率存在显著影响(F(4, 30) = 12.094, p = 5.69 × 10
-6, η
2 = 0.617),改进混合损失显著优于交叉熵(p = 0.0001)、Co-Teaching(p = 0.0169)及JoCoR(p = 0.0079);摄影数据集上混合损失与交叉熵(p = 0.0001)和Co-Teaching(p = 0.0211)的差异亦达统计显著。
### 3.3 超参数选择
正则化权重λKL的关键调优实验表明,在10%噪声条件下,λKL = 0.100时验证准确率达峰(微波数据集80%,摄影数据集81%),该数值为监督学习与一致性项提供了有效平衡。
### 3.4 成熟度评估应用
改进混合损失模型应用于逐日分类的微波图像,展示了跟踪果实成熟进程的实践效用。代表性案例显示,四个体牛油果约在第三天进入成熟阶段,第九至第十一天过渡为过熟,为优化采收调度及减少采后损失提供了时间维度上的决策支持。
### 3.5 向香蕉成熟度的泛化验证
为评估框架跨物种泛化能力,研究人员在公开香蕉摄影数据集(353张图像,10%对称噪声)上进行验证。混合损失取得最高精确率、召回率及F1分数,改进混合损失紧随其后,与较大规模摄影牛油果数据集上的行为一致,证实了双网络选择机制与KL散度正则化捕获的是成熟过程的可泛化特征而非数据集特异性模式。
## 四、讨论与结论
本研究针对食品分类ML模型中的标签噪声问题,提出了面向两种数据规模的噪声鲁棒学习框架。混合损失与改进混合损失分别适用于大数据富集环境与小规模有限冗余场景,在微波成像(内部结构信息)和摄影成像(外部视觉特征)两种模态下均展现出持续优于基线及先进方法的性能。这是首项系统解决食品科学分类任务中标签噪声问题的研究,为AI在农业系统中的可靠部署扫清了关键障碍。
研究局限性包括:仅针对单一牛油果品种(Hass)及三分类成熟度方案,未涵盖果实完整的成熟连续谱;对称噪声作为基准虽具控制优势,但未能完全模拟实际农业环境中不对称或实例依赖的标注错误模式。未来工作应拓展至精细粒度标注策略及其他品种(如Choquette)和物种,并将框架纵向部署于实际场景,整合微波或摄影成像系统与自动化分类管线,实现大规模非破坏性成熟度监测。
研究结论指出:针对基于AI的农业分类中标签噪声鲁棒性问题,研究人员设计了混合损失和改进混合损失两种函数,以改进小规模和大规模果实成像数据集中误标注数据的抗扰能力。通过证明相较于基线和先进方法的性能提升,所提框架为更具弹性、可扩展且非破坏性的果实成熟度评估奠定了理论基础。其更广泛意义在于通过可靠的自动化分类减少浪费、优化采收时机并提升供应链效率。随着AI日益融入食品系统,推进噪声鲁棒学习策略对于确保现实农业环境中的准确性与可信度至关重要。