DAC-Grad-CAM:用于芒果质量自动化分类的缺陷感知可解释人工智能
《Computers and Electronics in Agriculture》:DAC-Grad-CAM: Defect-aware explainable AI for automated mango quality classification
【字体:
大
中
小
】
时间:2026年09月24日
来源:Computers and Electronics in Agriculture 10.3
编辑推荐:
- DAC-Grad-CAM将梯度注意力与无监督LAB瘀伤先验进行融合。
- 缺陷聚焦分数(DFS)衡量注意力与缺陷区域的重叠程度。
- 在50个标注瘀伤掩膜上验证;与SHAP峰值定位一致。
- 每个果实区域的解释耗时34毫秒,比SHAP快124倍。
- 迁移学习比自定义CN
- DAC-Grad-CAM将梯度注意力与无监督LAB瘀伤先验进行融合。
- 缺陷聚焦分数(DFS)衡量注意力与缺陷区域的重叠程度。
- 在50个标注瘀伤掩膜上验证;与SHAP峰值定位一致。
- 每个果实区域的解释耗时34毫秒,比SHAP快124倍。
- 迁移学习比自定义CNN高出22至23个百分点(97.8%对比75.4%)。
## 引言
芒果(Mangifera indica L.)是全球最重要的热带水果之一,以其高产量、广泛消费、令人愉悦的香气和风味以及丰富的营养价值著称(Singh等, 2013; Ntsoane等, 2019)。它在各大洲的热带和亚热带地区均有商业化种植,一般分布在北纬33°至南纬37°之间,全球近100个国家有芒果生产(Jahurul等, 2015; Galain Saaco, 2025)。2025年,全球芒果产量以印度、中国和泰国领先。印度仍是最大生产国,年产量超过2000万吨,得益于广泛的种植区域和强劲的出口需求。中国排名第二,产量约500万吨;泰国位居第三,产量超过300万吨(Chen, 2013; Ess Team, 2025)。
商业芒果分级评估多项质量属性:大小和质量、形状规则性、果皮颜色和成熟度阶段,以及表面缺陷,包括瘀伤、皮孔斑点、汁液灼伤和病害病斑(Chaudhary等, 2025)。基于视觉的系统已实现了大量评估工作的自动化,其中几何和傅里叶描述子方法用于估算大小和形状,颜色空间分析用于判断成熟度,机器学习分类器则将这些特征组合进行等级分配(Thong等, 2019; Khoje和Bodhe, 2013; Abdelhamid等, 2026)。在这些属性中,表面瘀伤对出口验收最为关键,因为它在储存和运输过程中会持续发展,同时也是人工分级人员评估最不一致的属性,因为严重性判断取决于变色范围和对比度,而非可测量的维度。这促使开发不仅准确而且可解释的自动化方法,指明果实表面上损伤被检测到的位置。
早期果实分级系统的研究工作集中于机器视觉方法(A. Ahmed等, 2022),其中图像特征如大小、形状和颜色被用于分类。Le-Thi(2023)的研究提出了通过图像处理流水线实现芒果人工分级,该流水线结合了Otsu分割、OpenCV轮廓分析和Canny边缘检测进行缺陷定位,在440张增强图像上(跨越三个基于重量的等级)使用随机森林(n_estimators = 100, max_depth = 10)实现了88%的分类准确率。此外,Khoje和Bodhe(2013)专注于芒果大小分级,采用前馈神经网络(FFNN)和支持向量机(SVM)两种分类器对照CODEX大小标准评估芒果大小,平均大小分级准确率达到97%。Alejandro等(2018)探索了使用概率神经网络进行芒果分级,聚焦于物理外观和大小,该方法的准确率为87.5%,证明了机器视觉和概率神经网络在芒果分拣中的潜力。类似地,Thong等(2019)整合了图像处理,使用大小、形状和表面缺陷等参数将芒果分类为不同质量等级,该系统的分级准确率为90%,代表了在越南商业环境中实现芒果分拣自动化的有效方案。在Naik等(2015)的研究中,应用模糊推理系统基于芒果的形状、大小和成熟度进行分级,该方法平均准确率为90%,处理速度约为每个芒果2.1秒,证明了自动化芒果分类的可行性。尽管机器学习和深度学习模型在芒果分级中取得了高准确率,但大多数现有系统以黑箱方式运行,对其预测背后的视觉线索提供的洞察有限。这种不透明性限制了其在采后操作中的实际应用,因为在质量控制和错误诊断中透明度和可靠性至关重要。
可解释人工智能(XAI)的最新进展表明,视觉解释方法,特别是类激活映射,可以揭示模型的注意力模式,并验证分类器是否聚焦于任务相关的特征而非虚假相关(Cheng等, 2025; Zhang等, 2025)。然而,标准基于梯度的可视化技术(如Grad-CAM)缺乏领域特定指导,往往产生弥散且不可解释的注意力模式,与实际缺陷位置不一致,这是农业质量评估中的一个关键局限性,因为视觉缺陷是主要的判别特征(Rashid等, 2025; Ahmed等, 2026; Ahmed等, 2025a)。Sultana等(2024)提出了XAI-FruitNet,一种混合深度学习架构,整合了平均池化和最大池化操作以改善果实分类中的特征判别性和可解释性,该模型在多个公开果实数据集上评估,分类准确率超过97%。此外,Dutta等(2025)提出了一种多任务深度学习框架,使用共享特征提取器和任务特定输出的多头卷积神经网络(CNN)进行果实分类,该模型在包含四种印度果实和二元质量标签的数据集上评估,果实分类准确率为98%,质量检测准确率为99%。(Ahmad等, 2026)应用了Grad-CAM可视化,显示模型主要聚焦于芒果体表,尤其是中央区域。对于不同品种,高亮区域聚焦于特定表面线索;而对于视觉相似的Chaunsa类型,注意力则更均匀地分布在整个果实上。尽管上述研究将Grad-CAM作为可解释的解决方案应用于分类方法的模型聚焦区域,但它们大多只关注果实整体而未考虑表面瘀伤的覆盖范围。然而,芒果表面瘀伤的强度和覆盖范围决定了其质量等级。
本研究的目的是开发一种"缺陷感知XAI"框架,用于芒果质量分类,产生可解释的、与任务相关的解释。本研究做出了以下贡献。尽管Grad-CAM在果实质量研究中得到了广泛使用,但此前没有研究(i)将领域特定缺陷先验纳入注意力图,(ii)提供解释质量的定量、任务特定验证,或(iii)在同一农业任务上交叉验证基于梯度和基于扰动的解释。本研究通过四项贡献填补了这些空白。
- **缺陷感知对比Grad-CAM(DAC-Grad-CAM)**:首个领域感知的XAI方法,将对比类判别梯度与无监督LAB颜色空间瘀伤先验(0.45·暗度 + 0.30·色度 + 0.25·纹理)以乘法方式融合用于芒果分类。乘法公式 H_DAC = H_contrastive ⊙ (1 + λ·B) 保留了梯度推导的类证据,同时放大与光度缺陷特征重叠的激活,消除了标准Grad-CAM典型的弥散和定位不准确的注意力。
- **缺陷聚焦分数(DFS)**:一种规范化指标,量化芒果表面模型注意力与缺陷区域的重叠程度。此前的果实XAI研究仅通过视觉检查评估解释,而DFS提供了一个单一、可复现的分数(0到1),适用于任何热图方法,并通过与手工标注的像素级瘀伤掩膜进行验证,而非仅依赖无监督先验。
- **建立跨方法验证框架**:使用相关性、RMSE和平均偏差分析将DAC-Grad-CAM与SHAP进行对比(r = 0.68–0.75, p < 0.001),并结合测量的定位准确率、六种成像扰动下的鲁棒性以及分阶段推理计时,显示DAC-Grad-CAM以SHAP1/124的计算成本达到或超过SHAP的峰值定位能力。
- **将预测边际与解释质量关联**:通过层次聚类和分层统计检验,识别出运营阈值(边际 > 0.95, DFS > 0.37, 跨方法r > 0.60),使基于置信度的人机协作在商业分拣中成为可能。
## 数据集与类别
芒果图像采集自中国广西百色农业科学院百色研究所的温室(东经106°,北纬23°)。图像从90棵树采集(每棵约20个可见芒果),估计共1800个芒果实例,使用尼康D7000相机拍摄(图1)。YOLO-11n检测器定位单个芒果,并将生成的边界框裁剪为用于分类的感兴趣区域(ROI)。每个芒果由农艺师进行人工分级检查。
## 整体准确率与各模型性能
ResNet18取得了最高的整体准确率0.978,其次是VGG16(0.976)和MobileNetV3(0.965),而自定义CNN仅达到0.754,差距达22至23个百分点。评估者间可靠性遵循相同顺序:ResNet18 κ = 0.967,VGG16 κ = 0.965,MobileNetV3 κ = 0.947,均表明超出偶然范围的接近完美一致性,而自定义CNN的κ = 0.631仅反映中等一致性,与预测受类分布偏差而非实际缺陷影响一致。
## 局限性与未来方向
本研究在受控成像条件下的单一芒果品种上进行。未来工作应在多个品种、光照条件多变的田间成像环境以及其它水果类型中评估DAC-Grad-CAM,以检验其泛化能力。无监督瘀伤先验目前依赖手工设计的LAB颜色空间特征;通过弱监督或自监督方法学习的先验可能进一步提高定位准确率。将该框架扩展到……
## 结论
本研究开发并验证了缺陷感知对比Grad-CAM(DAC-Grad-CAM),这是一个可解释的人工智能框架,弥合了农业质量控制中高分类准确率与可解释决策之间的差距。在三类芒果数据集上的评估表明,迁移学习架构(ResNet18: 97.8%, VGG16: 97.6%, MobileNetV3: 96.5%)比自定义CNN(75.4%)高出22至23个百分点,高级别类别的精确率>0.995,召回率≥0.99。
## CRediT作者贡献声明
Arshed Ahmed:写作–审阅与编辑,写作–原稿,可视化,验证,监督,软件,方法论,正式分析,数据整理,概念化。Zhao Zhang:写作–审阅与编辑,监督,资源,项目管理,调查,经费获取。Ming Li:写作–审阅与编辑。Shahram Hamza Manzoor:写作–审阅与编辑。Zhanjiang Zhu:写作–审阅与编辑。Rashed Ahmed:写作–审阅与编辑,写作–原稿。
## 资金
本研究由海南国际协同科技创新研发项目(GHYF2024007)和中国农业大学2115人才发展计划共同资助。
## 利益冲突声明
作者声明不存在已知的可能影响本文所述工作的竞争性经济利益或个人关系。
Arshed Ahmed | Zhao Zhang | Ming Li | Shahram Hamza Manzoor | Zhanjiang Zhu | Rashed Ahmed | Noor Gul | Mustafa Mhamed | Bing Liu | Mahmoud A. Abdelhamid
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号