《Internet of Things》:CornSentry: A multimodal data fusion framework designed for edge-aware corn disease detection
编辑推荐:
安东尼奥·格雷罗-伊巴涅斯|胡安·康特雷拉斯-卡斯蒂略|伊斯梅尔·阿梅斯库亚-瓦尔多维诺斯|谢拉利·泽达利|埃布特萨姆·阿卜杜拉·阿尔-苏海米墨西哥科利马大学遥感学院摘要及时准确地检测叶部疾病对于保护玉米产量、避免严重减产至关重要。为解决传统仅依赖图像的诊断方法的局限性,我们提出
安东尼奥·格雷罗-伊巴涅斯|胡安·康特雷拉斯-卡斯蒂略|伊斯梅尔·阿梅斯库亚-瓦尔多维诺斯|谢拉利·泽达利|埃布特萨姆·阿卜杜拉·阿尔-苏海米
墨西哥科利马大学遥感学院
摘要
及时准确地检测叶部疾病对于保护玉米产量、避免严重减产至关重要。为解决传统仅依赖图像的诊断方法的局限性,我们提出了CornSentry这一基于多模态数据融合的边缘感知框架。由于本研究采用公共图像与采样环境数据相结合的复合样本方案,因此我们构建了一个概念验证架构(即CornSentry),而非经过实地验证的生物学研究。该架构采用后期融合策略,将卷积神经网络提取的高级视觉特征与循环神经网络建模的现场环境时间序列数据(温度、湿度、土壤湿度)相结合。此外,该框架还整合了深度卷积生成对抗网络,通过生成合成数据来克服类别不平衡问题并提升特征多样性。我们利用包含视觉数据与真实世界环境物联网数据的综合数据集对CornSentry进行了评估。测试结果表明,所提出的多模态后期融合方法检测准确率可超过98%,相比仅依赖图像检测的单模态模型,不仅具有统计学上的显著优势(p < 0.05),检测精度还能提高3–4%。
引言
玉米是一种重要的粮食作物,也是全球关键的农作物。2023/2024年度全球玉米产量超过12.4亿吨[1]。然而,灰斑病、北方叶枯病和普通锈病等叶部疾病严重威胁着玉米的产量与农业生产力[2](见图1)。这些真菌病原体会导致严重的产量损失,在灰斑病严重的情况下损失率可达100%[3],而叶枯病的损失率则可达50%[4]。传统的疾病检测方法,如农艺师的肉眼观察和实验室分子诊断,不仅耗时费力,而且具有高度主观性,这会延误关键的预防措施[5]。
近年来,深度学习与计算机视觉技术彻底改变了农作物疾病自动检测的方式[6]。虽然基于图像的卷积神经网络在受控的实验室环境中能实现高精度检测,但这些单模态诊断系统难以适应真实的农业环境[7]。由于光照条件变化和形态差异,它们的性能会大幅下降。更重要的是,仅依靠视觉症状无法了解导致真菌感染的微观气候因素。环境变量,如气温、相对湿度和土壤湿度,是决定疾病发生与发展的重要因素。因此,传统的仅依赖图像的方法缺乏实现精准、田间级早期预警系统所需的鲁棒性和环境认知能力。为弥补资源有限农业环境中的这种多模态缺陷,本文介绍了CornSentry——一种基于多模态数据融合的边缘感知计算框架,可用于及时准确地检测玉米叶部疾病。CornSentry通过将从叶片图像中通过卷积神经网络提取的高级视觉特征与通过现场物联网传感器节点采集的时间序列环境数据(通过循环神经网络处理)无缝结合,打破了单模态检测的局限。为确保模型稳定性并解决农业数据集中普遍存在的类别不平衡问题,该框架还利用深度卷积生成对抗网络生成合成数据并丰富特征信息。通过采用后期融合架构,CornSentry在合并两种类型的数据之前分别优化各自的表示形式,从而提升了诊断精度,且相比仅依赖图像的基准模型更具模块化优势,更适用于边缘设备部署。
本文的结构如下:第2节回顾了计算机视觉及多模态技术在农作物疾病检测领域的最新研究成果,指出了现有研究的不足,并阐述了本项工作的贡献。第3节介绍了我们提出的CornSentry架构,包括用于环境数据采集的硬件原型、基于DCGAN的数据集增强策略,以及单模态和多模态(早期融合与后期融合)神经网络模型的设计。第4节说明了实验设置、性能评估指标,并对实验结果进行了全面分析,还包括了将我们的框架与现有最先进基准模型进行对比的消融实验。最后,第5节总结了本研究内容,并提出了未来的研究方向(见图2)。
章节要点
相关研究
近年来,得益于机器学习与深度学习技术的应用,玉米疾病的检测水平得到了显著提升。这些技术推动了图像分类、物体检测和图像分割等先进技术的发展。目前的大部分研究都集中在识别叶部疾病上,尤其是叶枯病、灰斑病、北方叶枯病以及普通锈病和南方锈病。
本节将回顾计算机
CornSentry架构、数据集、原型及模型
本节将介绍我们提出的用于检测玉米叶部疾病的CornSentry架构。该系统接收两类输入数据:环境变量与玉米叶片图像。神经网络会分别处理这两类数据,之后通过融合机制将它们结合起来。系统的输出包含三个关键要素:(1)标识所分析图像中检测到的疾病类型或表明叶片健康的标签;(2)另一类标签
实验结果
本节介绍了模型的配置、用于评估模型性能的指标,以及训练集、验证集和测试集的数据分布情况。最后,我们对CornSentry的实验结果进行了分析和讨论。
结论
及时识别农作物疾病对于优化农业生产至关重要。利用疾病检测与预测技术可以减少对专家意见的依赖,降低植物疾病带来的经济损失。不过,要提高识别精度,就需要增加用于诊断的数据量并提升数据的多样性。
在本文中,我们提出了一种基于神经网络与多源特征融合的疾病检测与预测架构,
CRediT作者贡献说明
安东尼奥·格雷罗-伊巴涅斯:写作——审稿与编辑,写作——初稿撰写,方法论,正式分析,概念设计。胡安·康特雷拉斯-卡斯蒂略:写作——审稿与编辑,写作——初稿撰写,方法论,研究实施,正式分析,概念设计。伊斯梅尔·阿梅斯库亚-瓦尔多维诺斯:写作——审稿与编辑,软件开发,方法论,研究实施。谢拉利·泽达利:写作——审稿与编辑,写作——初稿撰写,模型验证,方法论,概念设计。埃布特萨姆·阿卜杜拉