《Sensors》:IFMA-Net: Interactive Feature Modulated Attention Network for Accurate Identification of Cotton Pests and Diseases from Field Images
编辑推荐:
摘要专业翻译
从田间采集的图像中识别棉花病虫害仍具有挑战性,原因在于症状细微、背景复杂、类内差异大以及症状尺度变化显著。本研究提出IFMA-Net,一种基于ResNet-50的网络,集成了局部特征增强、多尺度上下文建模和交互式特征融合,用于农业视觉感知。动态局
摘要专业翻译
从田间采集的图像中识别棉花病虫害仍具有挑战性,原因在于症状细微、背景复杂、类内差异大以及症状尺度变化显著。本研究提出IFMA-Net,一种基于ResNet-50的网络,集成了局部特征增强、多尺度上下文建模和交互式特征融合,用于农业视觉感知。动态局部增强(Dynamic Local Enhancement, DLE)模块增强判别性浅层特征,而全局多尺度注意力与局部聚合(Global Multi-Scale Attention and Local Aggregation, G-MSLA)模块将多尺度局部聚合与全局依赖建模相结合。交互式交叉注意力融合(Interactive Cross-Attention Fusion, ICAF)模块采用两个方向相反的交叉注意力分支,在局部与全局表征之间交换信息。在自建的八类田间数据集上,IFMA-Net取得了95.53 ± 0.17%的准确率和94.81 ± 0.14%的宏平均F1(macro-F1),分别超过ResNet-50达5.52和7.32个百分点。消融实验证实了三个模块各自的贡献。在独立的公开测试集上,IFMA-Net取得了90.21%的宏平均F1。扰动实验表明,在随机遮挡下其保留率高于ResNet-50,但在严重高斯噪声下出现显著性能下降。这些结果表明IFMA-Net在实际农业感知场景中具有精准识别病虫害的潜力。
论文解读文章
一、研究背景与问题
棉花是重要的经济作物,其产量与品质直接影响纺织工业原料供应、农业效益及相关产业链。相较于传统人工巡查,基于视觉感知的病虫害自动化识别在田间场景中更高效、成本更低且易于规模化部署,对提升早期预警能力、减轻人工巡查负担、保障棉花稳产和种植户收益具有重要意义。近年来,深度学习在作物病虫害识别领域取得了显著进展,早期方法主要依赖AlexNet、VGG、ResNet等卷积神经网络架构并结合迁移学习,在基准数据集上表现良好。然而,这些模型在自然田间条件下对光照变化、遮挡、背景杂乱和尺度变化较为敏感,尤其当图像包含复杂背景、细微症状和不同大小的病斑时,其鲁棒性受到明显限制。为抑制背景干扰并突出症状相关区域,研究者引入了通道、空间及混合注意力机制,诸如SE、CBAM、非局部块和ASPP等模块已被应用于改进特征选择与上下文建模。但许多方法仍依赖全局统计量或单尺度特征,难以捕捉复杂田间场景中低显著性症状;同时,许多设计强调单向自顶向下增强,未能充分促进浅层细节特征与深层语义特征之间的双向交互。针对田间图像中症状尺度差异大的问题,已有研究采用多分支卷积、空洞卷积和金字塔结构来扩大感受野并丰富多尺度表征,FPN与BiFPN变体在融合多层级语义特征方面被证明有效,Transformer自注意力也被引入以捕捉全局依赖。然而,复杂田间场景中浅层与深层特征常存在不对齐问题,静态融合策略可能引入冗余或冲突信息。此外,可解释性对于评估农业视觉识别模型的可靠性至关重要,但可视化结果与模型架构之间的关系受到的关注相对有限。综上,针对棉花病虫害细粒度识别,自适应特征调制与协同跨层建模仍有待深入探索。
二、研究内容与主要结论
针对上述问题,研究人员提出了IFMA-Net,一种以ResNet-50为骨干网络、集成局部特征增强、多尺度上下文建模与交互式特征融合的识别模型。在自建的八类棉花病虫害田间数据集上,IFMA-Net取得了95.53 ± 0.17%的准确率和94.81 ± 0.14%的宏平均F1,分别超过ResNet-50达5.52和7.32个百分点,并在所有对比模型中取得最高平均性能。消融实验证实了动态局部增强(DLE)、全局多尺度注意力与局部聚合(G-MSLA)和交互式交叉注意力融合(ICAF)三个模块各自的贡献。在独立公开数据集上,IFMA-Net取得了90.21%的宏平均F1,且内部到外部的宏平均F1下降幅度最小,表明其跨数据源泛化能力相对更优。鲁棒性实验显示,IFMA-Net在随机遮挡条件下性能保留率显著高于ResNet-50,但在严重高斯噪声下两者均出现大幅性能下降。该研究的意义在于为田间复杂场景下的棉花病虫害精准识别提供了一种任务导向的层次化集成方案,兼顾了局部细节保持、多尺度上下文建模和跨层信息交互,为农业视觉感知系统的实际部署提供了技术参考。
三、主要关键技术方法
研究人员构建了一个包含5400张田间图像的八类棉花病虫害数据集,涵盖健康、蚜虫、棉铃虫、细菌性角斑病、枯萎病、灰霉病、卷叶病和叶斑病,图像于2024至2025年生长季在中国新疆主要产棉区采集,使用华为Mate 70手机和佳能EOS M50相机拍摄,经两阶段质量审核后按分层抽样划分为训练集(3784张,70.1%)、验证集(1169张,21.6%)和内部测试集(447张,8.3%)。外部评估采用Roboflow Universe上的公开棉花作物病害数据集(CC BY 4.0许可)官方测试划分,保留四个重叠类别共437张图像。模型以ResNet-50为骨干,在Stage 1输出后接入DLE模块,通过样本自适应的通道仿射调制和空间注意力重校准增强浅层纹理与边界信息;在Stage 4输出后接入G-MSLA模块,利用三种膨胀率(1、3、5)的深度可分离空洞卷积进行多尺度局部聚合,再经Pre-Norm多头自注意力Transformer块建模全局依赖;ICAF模块将增强后的浅层与深层特征在共享令牌空间中对齐,通过两个方向相反的交叉注意力分支实现双向信息交互,并以可学习残差融合策略整合。模型使用AdamW优化器训练60个epoch,采用线性预热和余弦退火学习率调度,基于验证集宏平均F1进行模型选择,使用标签平滑和FP16混合精度训练,每个配置以随机种子42、123、456进行三次独立训练并报告均值±标准差。
四、研究结果
4.1 与代表性基线模型的对比
在八类内部测试集上,IFMA-Net取得了最高的平均准确率(95.53%)和宏平均F1(94.81%),超过ResNet-50分别达5.52和7.32个百分点,并优于最佳竞争模型ConvNeXt-T达0.42和0.69个百分点。由于仅进行了三次独立运行且未进行统计显著性检验,这些差异反映平均性能的提升而非统计上验证的优越性。
4.2 消融实验
以ResNet-50为基线(准确率90.01%,宏平均F1 87.49%),单独引入DLE、G-MSLA和ICAF时,准确率分别提升至92.15%、91.08%和92.10%,宏平均F1介于90.01%至91.49%之间。双模块组合的准确率介于93.02%至93.19%,宏平均F1介于92.58%至93.52%。三模块完整组合采用可学习残差融合时取得最高性能(准确率95.53%,宏平均F1 94.81%),相对Concat/Add融合仅高出0.45和0.13个百分点。
4.3 类别性能分析
ResNet-50在枯萎病(F1为64.1%)和叶斑病(F1为80.7%)上表现较差。加入DLE后枯萎病的F1提升至82.5%。IFMA-Net在大多数类别上取得最高或相当的F1。灰霉病和卷叶病类别内部测试样本仅分别有19和21张,其估计对少量预测变化敏感,应谨慎解读。
4.4 混淆矩阵分析
与ResNet-50相比,IFMA-Net在多数类别上具有更高的对角线值。枯萎病的召回率从54%提升至83%,叶斑病的召回率从83%提升至90%,表明IFMA-Net在现有测试条件下降低了这两个类别的误分类比例。
4.5 跨数据源评估
在独立公开测试集上,IFMA-Net取得92.36%的准确率和90.21%的宏平均F1,外部宏平均F1分别超过ResNet-50、Swin-T和ConvNeXt-T达8.71、7.14和2.16个百分点,并实现了最小的内部到外部宏平均F1下降(1.05个百分点)。
4.6 计算开销分析
IFMA-Net取得了最高平均准确率95.53%,但参数量为45.20M,在评估模型中最大。相比ResNet-50(23.52M,90.01%),IFMA-Net以近两倍的参数量换取了5.52个百分点的准确率提升,体现了精度与效率之间的权衡。
4.7 噪声与遮挡鲁棒性
在随机遮挡下,IFMA-Net在L1、L2、L3强度下宏平均F1分别为89.22%、83.52%和73.35%,分别超过ResNet-50达9.69、24.23和35.00个百分点。在高斯噪声下,IFMA-Net在L1略高于ResNet-50(90.18% vs. 85.96%),但在L2和L3下两者均大幅下降,L3时均低于55%。
4.8 模块响应可视化
Grad-CAM++可视化显示,DLE在局部纹理和边界区域产生响应,G-MSLA产生更广泛的上下文响应,ICAF的最终表征在部分示例中于症状或害虫区域呈现更集中的激活。在困难样本上,IFMA-Net高亮的症状区域与视觉可见病变更吻合,但当类别间视觉特征相似时误分类仍较频繁。
五、讨论与结论
讨论部分指出,IFMA-Net的性能提升源于三个模块的互补性:DLE保留浅层纹理响应,G-MSLA整合多尺度上下文信息,ICAF促进浅层与深层特征间的信息交换。在鲁棒性方面,IFMA-Net对随机遮挡的鲁棒性优势更明显,而严重高斯噪声对两种模型均造成显著性能下降。可视化结果为模型行为提供了定性认识,但由于缺乏病斑级标注,无法严格评估定位精度。研究也存在若干局限:自建数据集存在类别不平衡;图像由特定设备在受控时间段采集,性能可能随传感器硬件和天气条件变化;外部评估仅包含四个共享类别;三次重复运行统计效力有限;模型计算成本较高可能限制资源受限设备上的部署;类别标签基于田间可见症状和农艺专家审核而非实验室病原确认,可能存在病因学误分类。
结论部分指出,IFMA-Net以ResNet-50为基础,解决了棉花田间图像中细粒度症状识别、低对比度、叶片折叠与相互遮挡、尺度变化和背景干扰等问题,为基于视觉的农业感知提供了任务导向的解决方案。DLE模块保留浅层纹理和边界信息,G-MSLA结合多尺度空洞深度可分离卷积与自注意力以建模局部和全局上下文,ICAF通过两个方向相反的交叉注意力分支实现局部-全局交互和可学习残差融合。主要贡献在于将既有操作进行任务导向的层次化集成,而非引入全新的注意力机制。IFMA-Net在所有对比模型中取得最高平均性能,消融实验证实了三个模块的贡献,类别级结果显示在若干易混淆类别上错误减少,外部评估展示了跨数据源泛化能力但揭示了明显的域偏移,模型对随机遮挡相对鲁棒但在严重高斯噪声下性能下降。未来工作将评估跨年份、跨地点和跨设备的泛化性能,研究少样本学习和域自适应,并应用知识蒸馏、剪枝和量化以实现边缘计算平台和智能手机田间感知系统上的高效部署,同时引入病斑级检测或分割标注以量化空间响应性能和支持病害严重度评估。