用于鲁棒杏仁病害分类的泄漏感知、校准与可解释深度学习

《Computers and Electronics in Agriculture》:Leakage-aware, calibrated, and explainable deep learning for robust almond disease classification

【字体: 大 中 小 】 时间:2026年09月27日 来源:Computers and Electronics in Agriculture 10.3

编辑推荐:

   • 基于相关性感知的五折验证取得了0.9797的平均宏F1分数。 • 在有限的来源支持条件下,来源不相交测试的宏F1分数为0.5587。 • 温度缩放将期望校准误差从0.036降低至0.025。 • 在分组验证中,选择性预测在90%覆盖率下达到了99.7%的准确率。 • 灰度

  

• 基于相关性感知的五折验证取得了0.9797的平均宏F1分数。
• 在有限的来源支持条件下,来源不相交测试的宏F1分数为0.5587。
• 温度缩放将期望校准误差从0.036降低至0.025。
• 在分组验证中,选择性预测在90%覆盖率下达到了99.7%的准确率。
• 灰度扰动使宏F1分数降至0.8388,表明模型对颜色线索存在依赖。

引言

植物病害持续威胁着作物产量的稳定性和粮食安全。因此,可扩展且低处理延迟的视觉诊断正逐渐成为现代农学决策支持的重要组成部分。叶片图像分析可以支持病害分类和严重程度评估,这是综合害虫管理中获得可操作建议的前提条件(Joseph等人,2024)。然而,用于开发这些系统的许多数据集并不能反映田间条件的复杂性。旧数据集通常在受控条件下采集,这可能会人为地夸大基准准确率,并限制模型在杂乱、异质的田间环境中的鲁棒性。

深度学习已成为基于图像的病害诊断的核心。现有系统大多使用卷积神经网络作为主要骨干网络,而近年来视觉Transformer在叶片级分类任务和大规模田间病害监测中都展现出了强大的性能(Joseph等人,2024;Porfírio等人,2025)。在PlantVillage数据集上报告的准确率通常在95%至99%之间。这种性能通常通过迁移学习和架构创新来实现。类似地,混合模型和注意力增强模型(包括VAE-ViT变体)通常在精心筛选的数据集上取得90%至100%的每类F1分数(Isinkaye等人,2025)。

然而,这些结果需要仔细解读。在受控基准上表现良好的模型在田间环境中未必表现相同。实验室图像通常包含清晰的叶片、一致的光照和简单的背景。相比之下,田间图像则不那么可预测:症状在不同植株间可能有所不同,叶片形状可能各异,光照条件不同,背景中可能包含土壤、茎秆、阴影或其他叶片。此外,标注数据的稀缺性和类别不平衡也是监督学习面临的另一挑战(Verma等人,2025)。在不同光照条件下采集的田间多叶片数据集进一步强化了模型在杂乱、多样化环境中保持稳定性的需求(Joseph等人,2024)。

评估协议也可能使性能显得比实际情况更强。许多研究将图像随机划分为训练集、验证集和测试集,通常采用80/10/10的比例。在这种划分方式下,高度相关或近乎重复的图像可能同时出现在训练集和测试集中,从而夸大了估计的泛化性能(Guo等人,2025)。另一个问题是对准确率这一评估指标的依赖。在农业筛查中,确定模型对预测所赋予的置信度是否可靠同样重要。这可以使用ECE、NLL和Brier分数进行评估(Balanya等人,2024)。类似地,Grad-CAM被用于定性分析,但反事实或基于扰动的检验程序以及旨在识别背景捷径的病变定位分析等合理性检查程序的运用有限(Joseph等人,2024;Porfírio等人,2025;Vimala等人,2025)。

数据集依赖性最好通过互补的冗余筛选和分组感知划分来应对。图像级相似性度量可以识别精确和近乎精确的重复,而学习得到的视觉描述符可以扩展对低级比较无法捕获的变换的敏感性(Jakhar和Borah,2025;Gr?ger等人,2025)。将相关观测保留在同一评估组内可以增强内部估计的有效性,前提是明确报告已识别的依赖关系及其推断范围。

如果这些系统要应用于农学实践,可解释性同样至关重要。研究通常比较LIME、Grad-CAM等相似方法,以检查预测是基于患病叶片区域还是背景中的无关元素。一些结果表明,更强的架构(包括ViT)可以产生与有意义图像区域对应更密切的显著性图。然而,这一发现并非在所有研究中都一致,应通过大量样本而非少数选定示例进行评估(Porfírio等人,2025)。医学成像领域的证据也表明,注意力引导的对比学习可以促使模型更精确地关注具有诊断意义的区域,超越仅在预测后生成的解释(Shravya等人,2025)。应用导向的研究同样建议定期检查激活图以识别虚假注意力并提高对模型行为的信心(Joseph等人,2024)。尽管五折交叉验证在农业视觉研究中常用,但并非总是通过明确分组相关观测来构建各折(Devi等人,2025)。本研究的评估协议直接解决了这一数据泄露来源。

尽管概率校准具有实际重要性,但其受到的关注远不及分类准确率。在实践中,置信度估计会影响诸如是否自动接受某一案例或将其转交农学家进一步检查等决策。事后方法如温度缩放可以在不改变分类器本身的情况下改善ECE和NLL。其效果可通过可靠性图和Brier分数来评估(Balanya等人,2024)。在植物病害诊断系统中纳入这些检查将使其评估与农业决策更为相关,在这些决策中必须考虑错误预测的后果。

我们研究杏仁叶病害作为一种适合进行可靠性导向评估的场景。果园数据集通常包含同一棵树、枝条或叶片的若干张图像,仅在视角、缩放或光照方面存在微小变化。因此,随机图像级划分可能引入近乎重复的泄露。杏仁病害类别在早期或中期阶段还共享相似的视觉症状。因此,模型可能取得较高的总体准确率,却仍然混淆具有临床或农学相关性的类别。这些特性使杏仁成为评估重复控制和分组验证如何影响性能估计的有用案例,同时也是在域内性能强劲条件下检验置信度可靠性的理想对象。

现有研究在杏仁叶病害和杏仁叶焦病识别方面报告了有前景的结果(Vats等人,2024;Cruz等人,2022)。然而,分组泄露控制、重复审计和概率校准尚未被作为主要评估标准对待。因此,相关性训练和测试图像的影响仍然不明确,对于视觉上有歧义的田间症状,预测概率的可靠性也不清楚。本研究并非提出新架构或假设泄露解释了高准确率,而是在统一的可靠性导向评估协议中同时检验这两个问题。

用于病害识别的深度学习模型通常报告95%以上的测试准确率。然而,当模型从精心筛选的基准转向田间环境时,性能可能会下降。错误可能出现在看似简单的案例上,而置信度分数可能无法为分诊决策提供有力支持。两个常见的方法论弱点加剧了这一问题:
• 通过近乎重复的样本造成的划分泄露。农业数据集中可能包含同一叶片或植物在不同视角、裁剪、压缩级别或光照条件下拍摄的重复图像。随机图像级划分可能将这些相关样本同时放入训练集和验证集,从而夸大表观泛化能力。因此,需要进行重复筛选和分组感知划分,以确定近乎完美的ROC和PR曲线反映的是真实性能还是数据集相似性。
• 概率校准不良。即使类别预测正确,现代CNN产生的后验概率往往过度自信。在临床和农学决策流程中,当选择仅在置信度超过阈值时采取行动或将不确定案例转交人工检查时,校准不良会破坏下游决策逻辑。可靠的部署因此需要强判别力和良好的置信度校准。

因此,我们的贡献包括以下四个方面:
1. 相关性感知评估。我们结合互补的低级和高级视觉相似性筛选,将相关观测合并为不相交组,并将每组保留在同一折中,减少了随机图像级评估中乐观偏差的一个关键来源(Guo等人,2025;Jakhar和Borah,2025;Gr?ger等人,2025)。
2. 田间变异性下的鲁棒基准测试。我们在一个带种子的随机保留集上筛选现代CNN骨干网络,然后报告所选配置的五折分组性能,同时保留近期农业视觉综述中强调的类别不平衡和异质田间采集条件(Verma等人,2025)。
3. 事后概率校准。我们应用温度缩放并报告ECE、NLL和Brier分数,附带可靠性曲线——这些诊断方法虽被倡导但极少在农业视觉流程中标准化(Balanya等人,2024)。
4. 互补可解释性。我们将基于梯度的归因与扰动分析和结构化故障审查相结合,以检验预测是否强调了生物学上相关的症状区域(Joseph等人,2024;Porfírio等人,2025)。

综合起来,这些分析将模型选择、相关性感知的内部验证和来源不相交的泛化能力区分开来。这种区分使得可以在不将结论超出可用来源和采集域范围的前提下报告强大的内部判别力和校准。

本文介绍了一项农业视觉评估协议研究,结合了相关性感知验证、事后校准、选择性预测、可解释性和互补的来源不相交压力测试。其贡献在于系统地将模型选择、内部可靠性和来源感知泛化能力围绕标准分类器进行区分。

本文其余部分组织如下。第2节综述相关工作以定位我们的方法。第3节介绍材料与方法,包括数据集设计和模型训练协议。第4节报告结果、可靠性和校准的事后分析,第5节展示骨干网络、损失函数和增强策略的消融实验。第6节讨论影响和局限性,第7节总结关键发现并展望未来方向。

相关工作要求

基于图像的植物病害识别如今在精准农业中得到广泛研究。它有助于更早诊断、限制作物损失,并为农民提供更好的病害管理信息。

现有研究报告了最高的分类准确率,但其实验通常在PlantVillage等基准上完成。图像通常被随机划分,使得来自同一植株或采集条件的样本同时出现在训练集和测试集中。

数据集

我们研究杏仁叶病害在八个类别上的识别:健康、MF1、MF3、MF4、R1、R3、R4和R6。工作数据集采集于摩洛哥费斯-梅克内斯地区的Domaine Itto SARL,包含1,717张在自然田间条件下获取的RGB图像,表现出光照、背景杂乱和病变形态的变异。所有图像均调整为224×224用于模型训练和评估。数据集涵盖两大病害组。

温度缩放实现事后校准

现代深度网络通常尽管判别能力强但产生过度自信的 probability。因此,我们将温度缩放(Guo等人,2017)作为纯粹的事后校准步骤应用于最佳模型。给定logits z∈RC,校准后的类别概率为:
p_T(y|x)=softmax(z/T)
T*=argmin_{T>0} -1/N Σ_{i=1}^N log[exp(z_{i,yi}/T) / Σ_{k=1}^C exp(z_{ik}/T)]
其中单个标量T>0通过在验证集上最小化NLL来拟合。我们参数化logT(保证T>0)并使用Adam优化。这保留了决策规则不变。

消融实验:骨干网络、损失函数和增强

12种配置的因子网格在一个带种子的随机80/20保留集上进行评估,包含1,374张训练图像和343张验证图像。所有配置使用相同的观测和训练预算。所选的EfficientNetV2-B0、交叉熵和轻度增强配置随后在五个相关性感知折上进行评估。分组折校准、不确定性和误差分析仅适用于该所选配置。

网格包含三种骨干网络×

讨论

本研究将杏仁叶病害分类框架化为一个多维评估问题。所选模型在相关性感知的内部验证下展现出强大的判别力、校准和选择性预测行为。来源不相交压力测试则应对了在大幅减少的独立来源支持下的另一项更具挑战性的问题。综合来看,这些分析通过明确每项性能声明的范围来增强了研究的严谨性。

贡献在于……

结论

本评估协议研究展示了杏仁病害分类的强内部判别力和概率可靠性,同时阐明了验证单元的作用。相关性感知的五折验证保留了0.9797的高宏F1分数,相比单一随机保留集的0.9941。互补的来源不相交压力测试在大幅减少的独立来源支持下产生了0.5587的宏F1分数,从而将来源多样性识别为独立的泛化……

CRediT作者贡献声明
Abebaw Degu Workneh:写作-审阅与编辑,写作-原稿撰写,可视化,验证,软件,项目管理,方法论,调查,形式化分析,数据整理,概念构思。Badr Elkari:验证。Meryam El Mouhtadi:验证。Mohammad Furqan Ali:验证。

利益冲突声明
作者声明不存在可能影响本论文所报告工作的已知竞争性财务利益或个人关系。

致谢
作者衷心感谢Itto SARL(https://ittogroup.ma/)提供杏仁果园数据集的访问权限,这对实验分析至关重要。

数据和代码可用性
支持本研究结果的数据集可通过Zenodo公开获取,DOI:https://doi.org/10.5281/zenodo.19560931。所有用于复现实验结果的材料(包括训练脚本、泄露感知分组数据划分协议、预处理流水线和训练后的模型权重……)

Abebaw Degu Workneh | Badr Elkari | Meryam El Mouhtadi | Mohammad Furqan Ali
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号