《Artificial Intelligence in Agriculture》:Harvesting damage detection in maize ear harvesters based on the Fused Inverted Bottleneck Attention U-Net
编辑推荐:
为解决玉米果穗收获机因参数不当导致的果穗物理损伤与产量损失问题,研究团队提出了一种融合倒置瓶颈注意力U-Net模型,实现了收获损伤的实时、精准像素级分类。该方法在田间复杂环境下取得了高达98.61%的总体准确率,为收获机械参数优化与果穗分级提供了有力支持,展现出良好的实际应用潜力。
在迈向智能农业的道路上,如何让“铁牛”更聪明、更温柔地对待每一颗粮食,是一个关乎“饭碗”的重要课题。作为主粮之一,玉米的收获环节至关重要,而玉米果穗收获机在其中扮演着关键角色。然而,与“一步到位”的玉米联合收获机相比,果穗收获机虽然在高湿、小地块、丘陵等复杂条件下更具优势,但其“粗暴”的操作有时也会带来“甜蜜的烦恼”——不恰当的工作参数会导致果穗“受伤”,例如穗部被磕碰、籽粒在输送搅龙中被挤压、剥皮装置损伤穗尖和穗基等。这些物理损伤最终都会导致粮食损失,有研究表明,收获时玉米损失每增加1%,每英亩的产量就可能减少几十到上百磅。更令人头疼的是,当前多数收获机的工作参数是固定不变的,缺乏实时决策支持来修正不恰当的操作,往往是“事后诸葛亮”,等发现损失为时已晚。那么,能否在收获过程中,就像给收割机装上“眼睛”和“大脑”一样,实时、准确地“看”到果穗的损伤情况,并以此为依据指导调整收割速度、剥皮辊转速、割台高度等参数,从而从源头上减少损失呢?这正是吉林大学研究人员发表在《Artificial Intelligence in Agriculture》上的最新研究所要解决的核心问题。
为了回答这一问题,研究人员独辟蹊径,将目光投向了收获机的果穗收集仓。他们认为,收集仓内果穗的损伤情况直接反映了收获机运行参数的有效性,是调整参数的“晴雨表”。然而,在田间复杂的实际操作环境下,光照变化剧烈、果穗堆积区域边界模糊、损伤区域占比小,这给实时、精准的损伤检测带来了巨大挑战。此前的研究,无论是基于高光谱成像(采样计算时间长、环境一致性要求高),还是基于改进YOLO等模型的田间落穗检测(无法实时指导参数调整),都存在各自的局限性。因此,开发一种能够在复杂光照和背景噪声下,快速、准确识别并量化果穗损伤的智能检测技术,成为了一项紧迫的任务。
研究人员为此设计并实现了一套创新的技术方案。首先,他们在中国吉林省敦化市(128.26°E, 43.37°N)的田间,使用装有AHD高清摄像机的3行玉米果穗收获机(DHFZ-G600-3)进行数据采集,构建了一个包含正常玉米、损伤玉米、玉米苞叶和背景四类像素的精细化标注数据集。核心模型上,他们提出了一个名为“融合倒置瓶颈注意力U-Net”(Fused Inverted Bottleneck and Attention U-Net, FIBA U-Net)的深度学习模型。这个模型的“编码器”部分,用计算效率更高的融合移动倒置瓶颈卷积(Fused-MBConv)替换了EfficientNet-B3网络的前八个模块,增强了特征提取能力。在“解码器”部分,他们巧妙地将卷积块注意力模块(Convolutional Block Attention Module, CBAM)整合到前两条跳跃连接中,使模型能自动聚焦于损伤区域的有效特征,同时抑制光照变化等无关信息的干扰。整个研究通过详尽的消融实验确定了最优模型结构(B=8, T=2),并与EfficientNet-B3 U-Net(Eff U-Net)、ResNeSt50、ConvNeXt、ViT等先进模型进行了全面对比。最终,将优化后的模型部署在Jetson Xavier NX边缘计算设备上,并利用TensorRT和INT8量化进行加速,以验证其在真实田间作业环境下的实时性能。
3.1. 模型的一般结构
3.1.1. Fused-MBConv对模型性能的影响
研究人员通过逐步增加编码器中Fused-MBConv层数(B)进行消融实验。结果表明,虽然Fused-MBConv对整体准确率(OA)提升有限(因数据集中正常玉米像素占主导),但对平均准确率(AA)、平均交并比(mIoU)、Kappa系数以及损伤玉米的F1分数(F12)均有显著提升。其中,损伤玉米的F12提升最大,达到8.41%。当B=8时,模型性能趋于稳定,且训练时间和模型大小相对最优模型(B=19)有巨大优势,更适合计算资源有限的田间部署环境。
3.1.2. CBAM对模型性能的影响
通过在解码器跳跃连接中逐步添加CBAM模块(T)的测试发现,引入CBAM能有效抑制无关特征(如光照变化),增强损伤区域的相关特征。当T=2时,模型在识别损伤玉米方面达到最佳(Acc2=73.92%, F12=72.58%),这表明在前两个跳跃连接层加入注意力机制能有效提升模型对损伤果穗的识别能力。
3.1.3. 融合Fused-MBConv和CBAM的深度模型性能分析
综合编码器和解码器的改进组件进行联合测试。结果显示,适度的B和T值(B=8, T=2)能协同提升模型性能,此时模型在OA、AA、mIoU、Kappa、F12以及损伤玉米召回率(R2)上均达到最优。过度的结构增广则会引入冗余,降低泛化能力。最终确定的FIBA U-Net架构在计算效率和精度间取得了良好平衡。
3.2. 模型对比测试结果
在包含8张独立测试图像的复杂果穗堆积区域数据集上,FIBA U-Net在几乎所有评估指标上都超越了对比模型(Eff U-Net, ResNeSt50, ConvNeXt, ViT)。特别是在损伤玉米的关键指标上,其准确率(Acc2=85.71%)、召回率(R2=82.72%)、F1分数(F12=84.20%)和交并比(IoU2=70.81%)均为最高,且标准差最低,表现出优异的稳定性和鲁棒性。可视化分割结果也显示,FIBA U-Net的预测图边界清晰,对损伤区域和小目标保持完好,误分类像素少,显著优于其他模型在复杂、模糊边界处的表现。
3.3. 玉米果穗损伤分类的精度与速度分析
在预测损伤率方面,FIBA U-Net对8张测试图像的预测值(DP)与实际值(DA)最为接近,平均偏差小。例如在Test No.2和Test No.4上,偏差分别仅为0.15%和0.03%。在推理速度上,FIBA U-Net处理单张图像的平均时间为0.20秒,能满足收获机田间作业的实时检测需求。其训练和测试速度在对比模型中处于中游,在精度和效率间取得了良好权衡。
3.4. 田间试验
2024年10月在吉林省敦化市进行的实地验证表明,经过TensorRT和INT8量化加速的FIBA U-Net模型在真实复杂的田间环境下表现卓越。在果穗收集仓底部未填满(Case A)和已填满(Case B)两种工况下,模型整体准确率(OA)均约97%,平均准确率(AA)分别达94.27%和93.58%。尽管损伤玉米像素占比极小,其识别仍保持稳定。具体到损伤率预测,在Case A(DA=5.13%)和Case B(DA=6.74%)下,模型预测偏差分别仅为0.31%和0.42%。接收者操作特征曲线(ROC)分析显示,损伤玉米类别的曲线下面积(AUC)达到0.89,模型具有良好的判别能力。误差图显示,模型错误主要发生在果穗堆积边界等复杂区域,在大部分区域尤其是损伤区域保持了高精度。
研究结论与讨论
本研究成功提出并验证了FIBA U-Net模型,为玉米果穗收获机运行参数的实时优化控制提供了缺失的决策依据。该模型通过整合Fused-MBConv和CBAM注意力机制,在编码器增强特征提取、解码器抑制背景干扰方面取得了显著效果,从而能够对收获机果穗收集仓内复杂堆积区域中的果穗损伤实现高精度、快速、稳健的像素级分类。与现有技术相比,该方法首次实现了对整个收获过程的、实时的、定量化的果穗损伤评估,其损伤率预测偏差小于0.5%,单图推理时间约0.2秒,完全满足田间实时应用需求。这项工作不仅为收获机械的参数优化与果穗分级提供了直接、量化的数据支持,更通过部署在Jetson Xavier NX等边缘设备上,展现了在实际农业场景中大规模应用的强大潜力。
当然,研究也指出了未来的方向。当前模型虽然能准确“诊断”损伤,但尚未建立损伤程度与收割机各项运行参数(如割台高度、剥皮辊转速)之间的动态“处方”关系。下一步的研究需要构建一个闭环反馈系统,将图像识别输出与机器控制直接联动,实现损伤的实时预测与设备参数的自动自适应调节。此外,本研究仅在绿色果穗收集仓中进行验证,未来需评估模型在黄色或红色仓体等不同背景下的适用性与鲁棒性。总之,这项研究如同为智能收割机装上了敏锐的“眼睛”和“大脑”,让收获过程从“粗放”走向“精细”,为减少粮食损失、提升农业智能化水平迈出了坚实的一步。