《Smart Agricultural Technology》:BTDM-DETR: A Robust Real-Time RT-DETR Framework for Cotton Maturity Detection in Complex Field Environments
编辑推荐:
为应对棉花成熟度检测中的关键挑战——例如小目标识别困难、复杂背景干扰、光照条件多变以及由叶片和枝条导致的严重遮挡所引发的漏检和误检——本研究提出了BTDM-DETR,一种基于RT-DETR增强的实时检测模型。为缓解卷积操作造成的细粒度特征损失并显著降低计算和内
为应对棉花成熟度检测中的关键挑战——例如小目标识别困难、复杂背景干扰、光照条件多变以及由叶片和枝条导致的严重遮挡所引发的漏检和误检——本研究提出了BTDM-DETR,一种基于RT-DETR增强的实时检测模型。为缓解卷积操作造成的细粒度特征损失并显著降低计算和内存访问需求,研究人员在骨干网络中引入了FBRG-Block。关键地,在Transformer编码器中,标准的AIFI网络结构被替换为所提出的局部增强令牌统计自注意力(Local-Enhanced Token Statistics Self-Attention,LE-TSSA)模块。通过整合局部空间先验和动态通道重校准,LE-TSSA在实现线性计算效率的同时,保留了对小目标至关重要的高频局部细节。此外,研究人员设计了多尺度自适应门控融合(Multi-Scale Adaptive Gated Fusion,MSAGF)模块,以自适应地结合局部和全局表示,并设计了动态池化协同注意力(Dynamic Pooling Cooperative Attention,DPSA)模块,以增强特征对复杂背景干扰的判别能力。所提出框架的有效性和实际可行性通过在研究人员自行采集的新疆真实棉田私有数据集(该数据集捕获了真实环境的复杂性)上的全面训练和验证得到了严格确认。在自建“cotton_maturity”数据集上的实验结果表明,BTDM-DETR在复杂田间环境中显著优于原始RT-DETR-R18,在精确率(Precision,P)、召回率(Recall,R)、mAP@0.5和mAP@0.5:0.95上分别实现了3.68%、3.14%、3.73%和6.05%的绝对提升。此外,为验证其实际工程适用性,研究人员使用TensorRT优化将该模型部署于NVIDIA Jetson Nano边缘设备,实现了23.5 FPS的实时推理速度。还开发了基于PyQt5的可视化系统,用于实时监控现场视频流。在额外公共数据集上的泛化实验进一步验证了该模型的鲁棒性。这一进展不仅推动了非结构化环境中目标检测的边界,也为自动化农业收获系统提供了一种高效、可部署的解决方案。
**论文解读:BTDM-DETR——面向复杂田间环境棉花成熟度检测的鲁棒实时RT-DETR框架**
**研究背景与问题**
随着棉花种植现代化和精准农业理念的深入,基于计算机视觉的自动化棉花成熟度检测技术在提升棉花品质和收获效率方面展现出显著应用潜力。然而,自然田间环境下的棉花成熟度检测面临多重严峻挑战:棉花目标尺度较小,尤其是在田间图像中,未成熟棉铃往往像素面积不足32×32像素,且与背景颜色相似;田间背景复杂,包括叶片、枝条、土壤等干扰;光照条件多变,如阴天、晨昏或树荫导致对比度降低,强光则引起高光反射和深阴影;棉花植株内棉铃分布密集,相互遮挡严重,导致现有模型漏检和误检问题突出。此外,农业机械对模型的轻量化和实时性提出高要求,需在有限计算资源下平衡检测精度与推理速度。尽管RT-DETR等实时端到端检测模型已取得进展,但在棉花成熟度分类任务中,其对小目标细粒度特征、局部判别区域以及复杂背景干扰的表示能力仍显不足。
**研究开展与结论**
为此,研究人员基于RT-DETR-R18基线提出了BTDM-DETR(Block-level Transformer Dynamic Mechanism-DETR)框架。该框架通过设计FBRG-Block骨干网络替换原始BasicBlock,引入局部增强令牌统计自注意力(LE-TSSA)模块替换标准AIFI编码器,开发多尺度自适应门控融合(MSAGF)模块和动态池化协同注意力(DPSA)模块,分别从特征提取、注意力建模、多尺度融合和判别性增强角度提升模型在复杂田间环境下的表现。研究团队自建了“cotton_maturity”数据集(采集自新疆图木舒克市,包含2167幅原始图像,涵盖开花、吐絮、成熟期,标注了病/虫害棉铃、棉花、完全开放棉铃、部分开放棉铃四类),并通过针对性数据增强扩充至5405幅图像。实验表明,BTDM-DETR在自建数据集上较RT-DETR-R18在精确率(P)提升3.68%、召回率(R)提升3.14%、mAP@0.5提升3.73%、mAP@0.5:0.95提升6.05%。在NVIDIA Jetson Nano B01边缘设备上借助TensorRT优化实现23.5 FPS实时推理,并开发了PyQt5可视化系统。泛化实验在额外公共数据集上验证了模型鲁棒性。该研究为自动化农业收获系统提供了一种高效、可部署的解决方案,论文发表在《Smart Agricultural Technology》。
**关键技术方法概述(不超过250字)**
为开展研究,作者采用了以下关键技术方法:1)构建了自建棉花田数据集(cotton_maturity),来源为中国新疆图木舒克市泰和二期地区,采集时间为2025年5月至9月,使用iPhone 14和尼康相机,涵盖不同距离、角度和天气条件。2)在骨干网络中引入FBRG-Block(基于FasterNet的PConv和RepConv,结合GCAM门控卷积注意力模块),以轻量化方式增强特征提取并抑制背景噪声。3)在Transformer编码器中用LE-TSSA模块替代标准AIFI,通过全局统计自注意力结合局部空间先验(深度可分离卷积)和动态通道重校准(ECA-like 1D卷积),实现线性计算复杂度并保留小目标高频细节。4)设计MSAGF模块(融合GLFA局部-全局特征提取与PixelAttention自适应门控)和DPSA模块(结合混合池化、多尺度空洞卷积MSDC与空间注意力),增强多尺度特征融合和判别能力。5)在NVIDIA Jetson Nano B01边缘设备上使用TensorRT进行FP16精度量化部署,并开发PyQt5可视化系统实现实时视频流检测。
**研究结果(保留每个小标题)**
**4.1.1. 不同注意力机制在FBRG-Block中的对比实验**:通过将GCAM与SimAM、SE、ECA、CBAM、EA、EMA、CA等7种主流注意力机制在相同设置下对比,在验证集上GCAM取得最优结果(P=91.6%, R=85.3%, mAP@0.5=91.4%, mAP@0.5:0.95=75.1%),且推理速度仅略低于最快的ECA模块,表明其门控融合策略能有效平衡通道与空间特征,抑制复杂田间背景干扰。
**4.1.2. 不同注意力机制在FBRG-Block中的有效感受野大小比较**:利用感受野热图可视化,定量比较各模块的有效感受野(ERF)占比。GCAM在高贡献区域占比(t=20%时面积比为10.5%,t=99%时为97.2%)显著大于其他注意力机制,说明其能有效扩大感受野,使更多像素对最终预测有贡献。
**4.1.3. 不同模型间的对比实验**:在相同实验设置下与YOLOv5n~YOLOv12n、SSD、Faster R-CNN、DETR、LEHP-DETR等模型对比,BTDM-DETR在P、R、mAP@0.5、mAP@0.5:0.95上均取得最佳值(分别为92.9%、85.4%、92.5%、76.9%),尤其在mAP@0.5:0.95上显著领先。定性可视化显示,对于不完整目标、枝条遮挡、高光干扰、多目标部分遮挡和重叠目标等挑战场景,BTDM-DETR检测更完整准确。
**4.2. 消融实验**:通过逐步添加FBRG-Block、LE-TSSA、DPSA、MSAGF四个模块(共15组实验),验证了每个模块对基线模型的增益。完整模型(实验N)相对于基线在P提升3.7%、R提升3.1%、mAP@0.5提升4.1%、mAP@0.5:0.95提升6.1%。同时,对LE-TSSA模块内部组件(全局TSSA、局部空间先验、通道门控)进行消融,证实三者组合实现最佳性能(mAP@0.5=90.4%, mAP@0.5:0.95=72.9%),且计算开销增加极小。
**4.3. 可视化分析**:在cotton_maturity数据集上对比真实标注、基线RT-DETR和BTDM-DETR的检测结果。基线模型易将病/虫害棉铃误检为枯叶,且在强光或部分遮挡下漏检;BTDM-DETR能有效抑制背景噪声,捕捉细微形态差异。Grad-CAM热图显示BTDM-DETR的激活区域更精确地聚焦于目标关键区域,背景干扰显著减少。
**4.4. 泛化实验**:在两个公共数据集(Cotton Boll Detection-a和Cotton Boll Detection-b)上进行跨数据集验证。BTDM-DETR在mAP@0.5和mAP@0.5:0.95上均优于基线,提升幅度为0.2%~1.7%,证明了模型在不同采集条件、品种分布和缺陷场景下的良好泛化能力。
**4.5. 模型部署与实时检测**:在NVIDIA Jetson Nano B01上使用TensorRT FP16量化部署,BTDM-DETR达到mAP@0.5=92.5%、FPS=16.8、延迟59.5ms,显著优于YOLOv11n和RT-DETR-R18。部署实验在不同天气和光照条件下验证了鲁棒性。
**4.6. 基于PyQt5的检测系统设计与实现**:开发了包含UI交互层、逻辑控制层、算法推理层的可视化检测系统,支持图像、视频、USB摄像头输入。在室内模拟环境中验证了实时视频流检测的稳定性和准确度。
**总结讨论与结论翻译**
**讨论部分总结**:在棉花生长过程中,严重的枝条叶片遮挡、复杂的田间背景以及目标尺度的巨大变异对准确检测棉花成熟度构成重大挑战。为此,本研究提出了BTDM-DETR,一种用于非结构田间图像中识别棉花成熟阶段的高效检测框架。基于RT-DETR-R18,研究人员设计了Faster-Block-Rep-GCAM-BasicBlock以增强骨干特征提取并缓解小目标信息丢失;提出LE-TSSA模块替代标准AIFI以降低计算复杂度同时保留局部空间信息;在检测头前引入MSAGF模块以改进全局上下文与局部细节的融合;DPSA模块进一步增强了模型对尺度变化和背景干扰的适应性。在NVIDIA Jetson Nano B01上使用TensorRT优化的实验部署证明了所提出方法的实用价值。BTDM-DETR实现了92.5%的mAP@0.5和23.5 FPS,显示出精度与效率之间的良好平衡。此外,基于PyQt5的可视化系统实现了对实时视频流的监控,支持该模型在智能棉花收获设备中的潜在应用。尽管如此,在极端密集冠层条件、严重动态遮挡、运动模糊或剧烈光照变化下仍可能发生漏检。未来工作将聚焦于提高复杂田间环境下的鲁棒性,通过INT8量化等先进压缩技术降低推理延迟,并整合多模态感知信息(如深度或多光谱成像)以实现自动化摘棉机器人更可靠的感知。
**结论部分翻译**:本研究针对棉花成熟度检测中枝条叶片严重遮挡、复杂田间背景及目标尺度大幅变异带来的挑战,提出了BTDM-DETR,一种用于非结构田间图像中识别棉花成熟阶段的高效检测框架。基于RT-DETR-R18引入多项改进:设计Faster-Block-Rep-GCAM-BasicBlock增强骨干特征提取并缓解小目标信息丢失;提出LE-TSSA模块替代标准AIFI以降低计算复杂度同时保留局部空间信息;在检测头前引入MSAGF模块改进全局上下文与局部细节融合;DPSA模块进一步增强模型对尺度变化和背景干扰的适应性。在NVIDIA Jetson Nano B01上使用TensorRT优化的实验部署表明,BTDM-DETR实现了92.5%的mAP@0.5和23.5 FPS,展示了精度与效率的良好平衡。此外,基于PyQt5的可视化系统实现了对实时视频流的监控,支持该模型在智能棉花收获设备中的潜在应用。未来工作将聚焦于提高复杂田间环境下的鲁棒性,通过INT8量化等先进压缩技术降低推理延迟,并整合深度或多光谱成像等多模态感知信息,以实现自动化摘棉机器人更可靠的感知。