YOLO26-USW:面向高分辨率农业灯诱图像小昆虫的切片辅助语义—细节融合检测器

《Agronomy》:YOLO26-USW: A Slice-Aided Semantic–Detail Fusion Detector for Small Insects in High-Resolution Agricultural Light-Trap Images

【字体: 大 中 小 】 时间:2026年10月22日 来源:Agronomy 4.1

编辑推荐:

  在高分辨率农业灯诱图像中检测小昆虫较为困难,因为图像缩放会掩盖精细形态,且密集分布昆虫常表现相似。研究人员开发了YOLO26-USW,采用基于PVTv2-B1的UNet-PVT特征增强、语义–细节融合模块(Semantic–Detail Fusion Modu

  
在高分辨率农业灯诱图像中检测小昆虫较为困难,因为图像缩放会掩盖精细形态,且密集分布昆虫常表现相似。研究人员开发了YOLO26-USW,采用基于PVTv2-B1的UNet-PVT特征增强、语义–细节融合模块(Semantic–Detail Fusion Module,SDFM)和Wise-IoU v3(WIoU v3)。切片辅助超推理(Slicing Aided Hyper Inference,SAHI)在全分辨率图像上单独评估。数据集包含2505幅原始图像(2004幅训练、250幅验证、251幅测试),含9887个标注昆虫实例。切片产生8939、979和1128幅含目标的640 × 640图块,共13162个切片级标注。在预生成切片图像基准上,YOLO26-USW达到90.8%精确率(precision)、91.1%召回率(recall)、94.5%的mAP@0.5(IoU=0.5时的平均精度均值)和91.0%的F1-score(F1分数),分别超过YOLO26 6.4、5.4、5.5和6.0个百分点,原生吞吐量为140.38 FPS(frames per second,每秒帧数)。在251幅全分辨率测试图像上,直接推理在IoU(Intersection over Union,交并比)=0.5时未产生真阳性匹配,而SAHI达到66.90%精确率、96.15%召回率、78.90% F1-score和77.69% mAP@0.5。处理时间由0.0573 s/图像(直接推理)增加至3.9366 s/图像(SAHI)。在选定的稀疏、密集、聚集和部分遮挡场景中,所提方法在某些情况下表现出更清晰的定位,尽管紧密相邻或视觉相似昆虫仍具挑战。结果说明了小昆虫检测的增益以及全分辨率切片推理的额外成本。
研究背景方面,及时监测作物相关昆虫对保护农业生产、减少经济损失和支持可持续植物保护具有重要意义。实际田间自动灯诱设备可吸引并成像来自周围农业生态系统的多种趋光昆虫,捕获 assemblage 可能包括与不同寄主作物和生态角色相关的物种,而非单一作物专性害虫群,因此该研究将任务定义为农业灯诱昆虫检测。传统灯诱监测常依赖大量人工识别,费时且易受人为误差影响;自动成像系统虽可标准化采集和长期追溯,但高分辨率图像视野宽、背景复杂、尺度变化大且微小目标多,可靠自动检测困难。现有深度学习检测器虽在农业昆虫图像分析中显示潜力,但高分辨率农业灯诱图像仍存在三方面问题:全图缩放会强烈压缩触角、翅脉、足和体表纹理等精细线索;密集、重叠或粘连昆虫需要低层空间细节与高层语义有效交互以减少漏检和误检;小边界框、模糊边界和标注不确定性可 destabilize 边界框回归。YOLO26虽为近期实时检测框架,支持端到端无NMS推理并引入Progressive Loss、Small-Target-Aware Label Assignment和MuSGD训练配方,但其通用设计未明确针对高分辨率灯诱图像中的严重尺度压缩和密集细粒度外观。SAHI可将大图划分为重叠子图分别检测再重映射合并,且检测器无关,可用于推理阶段增强而不修改训练网络;但切片推理带来额外计算成本。基于此,研究人员构建七类农业灯诱昆虫数据集并开发YOLO26-USW,以提升细粒度表征、多尺度融合和定位鲁棒性,同时独立评估SAHI在原始高分辨率图像上的可检测性增益与计算代价。研究意义在于揭示模型级改进与推理级切片策略的分离作用,并量化全场景小昆虫检测性能与延迟权衡。

研究人员开展的研究包括:构建包含斜纹夜蛾?原文为diamondback moth(DBM,小菜蛾)、rove beetle(RB,隐翅虫)、brown planthopper(BPH,褐飞虱)、white-backed planthopper(WBPH,白背飞虱)、tea green leafhopper(TGLH,茶小绿叶蝉)、black-tailed leafhopper(BTLH,黑尾叶蝉)和zigzag leafhopper(ZLH,电光叶蝉)的七类数据集;图像采集于中国江西省赣州市信丰县农业实验基地,使用Hebi Jiaduo Weinong Agriculture and Forestry Technology Co., Ltd.(Hebi, China)的自动昆虫监测与图像采集系统,图像分辨率5472 × 3648像素(约20兆像素),具体设备型号和相机设置未记录;Bowen Wei完成图像筛选、按预定义七类方案赋类并使用LabelImg人工标注,每只可见昆虫赋予类别标签和拟合可见范围的边界框,标注导出为YOLO格式;因由单一标注者完成,未评估标注者间一致性。原始2505幅图像在切片前按约8:1:1划分为2004幅训练、250幅验证和251幅测试,排除最终七类任务之外的遗留类后分别含7930、841和1116个原始图像标注(共9887个)。切片预处理采用640 × 640滑动窗口,水平和垂直步长均为512像素,相邻切片重叠比0.20,边界区域背景填充;仅保留坐标变换和裁剪后至少含一个有效昆虫标注的切片,纯背景切片丢弃;训练、验证和测试分别得到8939、979和1128幅切片图像,含10562、1232和1368个有效切片级标注(共13162个),切片级标注数不等同于不同昆虫数。模型层面,YOLO26-USW以YOLO26为基线,整合三项可训练修改:基于PVTv2-B1的UNet-PVT特征增强、SDFM和WIoU v3;SAHI作为全分辨率图像推理策略单独评估,不进入可训练网络。实验在预生成640 × 640含目标切片基准上开展消融和检测器比较,不使用SAHI以隔离模型级效应;随后用相同YOLO26-USW权重在251幅完整高分辨率测试图像上评估直接全图推理与SAHI推理;并在相同SAHI配置下比较RT-DETR与YOLO26-USW,开展受控光照变化和合成目标区域遮挡鲁棒性测试,结合混淆矩阵、检测可视化和热图分析。结论显示,YOLO26-USW在切片基准上取得最高mAP@0.5、召回率和F1-score,较YOLO26显著提升,但模型参数、GFLOPs和原生吞吐成本增加;在原始全分辨率图像上,直接推理在IoU=0.5无真阳性匹配,SAHI显著提高全场景可检测性但处理时间大幅增加。其重要意义在于表明UNet-PVT、SDFM和WIoU v3在切片基准上具有互补的模型级效应,而SAHI提供将训练后检测器应用于完整高分辨率灯诱图像的独立机制,同时明确全场景可检测性与延迟之间的权衡。

关键技术方法概括(不超过250字):数据来源于中国江西省赣州市信丰县农业实验基地的自动昆虫监测与图像采集系统(Hebi Jiaduo Weinong Agriculture and Forestry Technology Co., Ltd., Hebi, China),图像为5472 × 3648像素、约20兆像素,设备型号和相机设置未记录;Bowen Wei筛选并标注七类昆虫,数据集含2505幅原图并按8:1:1划分2004/250/251,共9887个实例;切片采用640 × 640窗口、步长512、重叠0.20,仅保留含目标切片;在预生成切片基准上训练比较YOLO26-USW,其采用PVTv2-B1分层编码与U-Net式跨层传递构成的UNet-PVT、SDFM和WIoU v3,并在原始全分辨率图像上独立评估SAHI。

研究结果如下。3.1 消融实验:在无SAHI的预生成640 × 640含目标切片测试集上比较UNet-PVT、SDFM和WIoU v3单独及组合。YOLO26基线为84.4%精确率、85.7%召回率、89.0% mAP@0.5和85.0% F1-score;UNet-PVT单独使指标升至92.7%、89.3%、93.9%和91.0%,mAP@0.5提高4.9个百分点、F1-score提高6.0个百分点;SDFM单独将精确率由84.4%提高至88.6%、F1-score由85.0%提高至85.9%,但mAP@0.5保持89.0%、召回率由85.7%降至83.3%,使工作点偏向高精确率;WIoU v3单独使精确率、召回率、mAP@0.5和F1-score分别达87.9%、90.3%、92.9%和89.1%,且不改变参数数和GFLOPs(十亿浮点运算次数)。两模块组合呈不同但互补响应:UNet-PVT + SDFM为92.6%、90.3%、94.1%和91.4%;UNet-PVT + WIoU v3为90.8%、90.2%、93.6%和90.5%;SDFM + WIoU v3为88.1%、86.4%、91.0%和87.2%。三模块集成的YOLO26-USW取得最高mAP@0.5(94.5%)和召回率(91.1%),相对YOLO26的mAP@0.5、召回率和F1-score分别提高5.5、5.4和6.0个百分点;相对UNet-PVT + SDFM,加入WIoU v3使召回率由90.3%升至91.1%、mAP@0.5由94.1%升至94.5%,但精确率由92.6%降至90.8%、F1-score由91.4%降至91.0%,表明选定工作点存在温和精确率—召回率权衡。完整模型参数由2.38 M增至16.08 M、GFLOPs由5.20增至39.44,原生吞吐由519.32 FPS降至140.38 FPS,大部分复杂度来自UNet-PVT,SDFM附加参数成本较小,WIoU v3不增加推理时参数或GFLOPs;所报告FPS不含切片、重复图块推理、坐标重映射和全局NMS(非极大值抑制)。

3.2 对比实验:在相同无SAHI预生成640 × 640切片测试集上比较YOLOv5、YOLOv8、YOLOv10、YOLO11、YOLOv12、YOLO26、RT-DETR(Real-Time Detection Transformer,实时检测Transformer)和YOLO26-USW。YOLO26-USW取得最高召回率、mAP@0.5和F1-score,分别为91.1%、94.5%和91.0%;较YOLO26的精确率、召回率、mAP@0.5和F1-score分别提高6.4、5.4、5.5和6.0个百分点。较YOLOv5,精确率低0.6个百分点,但召回率、mAP@0.5和F1-score分别高1.7、2.3和0.6个百分点;较YOLOv12,召回率和mAP@0.5分别高3.6和3.3个百分点。YOLOv10最快(616.05 FPS),但mAP@0.5为90.4%,较YOLO26-USW的94.5%低4.1个百分点;RT-DETR为160.74 FPS和87.9% mAP@0.5,YOLO26-USW为140.38 FPS和94.5% mAP@0.5。YOLO26-USW较大参数数和较高GFLOPs反映其精度增益的计算成本;吞吐测量不含SAHI。

3.3 基于SAHI的原始高分辨率图像推理效果:3.3.1 直接全图与SAHI推理比较:用相同训练权重和标称640 × 640网络输入,在251幅原始高分辨率测试图像上,直接推理采用保持宽高比的letterbox预处理、imgsz=640,产生25个预测但无一个在IoU=0.5匹配真值框,故精确率、召回率、F1-score和mAP@0.5均为0;该结果反映严重目标尺度压缩而非模型执行失败。SAHI将每幅原图划分为640 × 640图块,重叠0.20、标称步长512像素,图块预测重映射至原坐标并以类别感知全局NMS合并,精确率、召回率、F1-score和mAP@0.5分别达66.90%、96.15%、78.90%和77.69%;SAHI从251幅原图生成19327个图块,平均每图77.00个;直接推理需0.0573 s/图像,完整SAHI流程需3.9366 s/图像,后者含切片生成、所有图块级前向、坐标重映射和全局NMS,不含图像加载、可视化和写盘。模型级94.5% mAP@0.5与原始图像SAHI 77.69% mAP@0.5不可直接比较,因切片基准仅含含目标局部图块,而全场景SAHI处理覆盖每幅原图的全部图块(包括背景主导区域)并需重映射和跨切片聚合。3.3.2 同SAHI协议与RT-DETR比较:在相同251幅原图、640 × 640图块、0.20重叠和512步长下,RT-DETR + SAHI为44.10%精确率、96.51%召回率、60.54% F1-score和74.44% mAP@0.5,YOLO26-USW + SAHI为66.90%、96.15%、78.90%和77.69%;二者召回率相近,YOLO26-USW精确率、F1-score和mAP@0.5更高,表明原始图像测试集差异不能仅归因于切片策略,但比较限于两种检测器架构。3.3.3 光照变化与受控遮挡鲁棒性:原条件为66.90%精确率、96.15%召回率、78.90% F1-score和77.69% mAP@0.5;低照度(γ = 1.8)下召回率降至64.43%、精确率略升至68.87%、mAP@0.5为53.01%,与局部对比度和精细线索减弱导致漏检增加一致;高照度(γ = 0.6)下召回率保持88.62%,但精确率降至58.01%、mAP@0.5降至68.85%,假阳性由原条件531增至716,表明过亮主要增加虚假响应而非广泛目标消失。受控合成遮挡在标注目标框内施加约5%和10%边界框面积遮挡,位置确定性固定、遮挡区域以周围局部背景中位色填充;5%遮挡使召回率、F1-score和mAP@0.5降至61.65%、59.52%和33.42%,10%遮挡进一步降至34.95%、38.73%和13.98%;假阴性由原条件43增至428和726,对应假阳性为531、508和508,表明目标区域信息损失主要降低真实昆虫可检测性。遮挡比指合成图块面积相对标注边界框面积,非昆虫体素像素精确比例;这些扰动隔离光照和目标区域信息损失敏感性,但不复现自然田间全多样性。

3.4 可视化分析:3.4.1 类别检测性能与混淆矩阵分析:在切片基准上比较YOLO26与YOLO26-USW的原始计数和归一化混淆矩阵,并比较七类逐类精确率、召回率和AP@0.5。YOLO26-USW在全部七类取得更高AP@0.5,提升最明显为DBM(79.39%至98.76%)和WBPH(85.78%至92.57%);精确率在六类提高,但ZLH略降(86.48%至85.56%);召回率在五类提高,RB(95.45%至93.18%)和BPH(95.14%至93.35%)略降,表明总体提升未均匀延伸至每一类别和指标。混淆矩阵进一步显示背景相关错误和视觉相似叶蝉间混淆仍可见,尤其在拥挤或部分遮挡区域。3.4.2 检测结果对比分析:在稀疏目标、密集目标、小目标聚集和遮挡/粘连四个代表性灯诱场景中,以SAHI 640 × 640图块和0.20重叠可视化各模型。稀疏场景中多数模型可检测可见身体较完整、边界清楚昆虫,但框对齐和置信度有差异;YOLOv5和YOLOv12检测视觉显著目标,YOLOv8、YOLO11和YOLO26对部分小或弱边界目标显示可见定位偏差;所选例子中YOLO26-USW框更贴近可见昆虫轮廓。密集和聚集场景中相邻昆虫靠近且轮廓常重叠,YOLO26、RT-DETR和YOLO26-USW在框放置和分离上不同;所选例子中YOLO26-USW更清晰分离部分相邻目标,但其他局部预测仍模糊。遮挡/粘连例子中不完整轮廓、模糊边界和局部重叠使相邻目标更难分离,若干比较模型出现框偏移或漏检,而YOLO26-USW在所选例子中框放置更一致。可见错误包括对昆虫样碎屑的可能响应、低对比目标漏检以及昆虫接触或重叠处框错位;硬负采样、相似类更好表征和跨切片重复预测更有效处理可能有助但未在本研究测试。3.4.3 热图可视化结果分析:对相同四场景生成SAHI推理下各检测器响应热图,热图仅解释模型在图像中的响应位置,作为空间可视化而非检测精度直接度量。稀疏例子中多数模型响应于可见昆虫区域,YOLOv8、YOLO11和原始YOLO26响应更空间分散;所选例子中YOLO26-USW响应更集中于可见虫体,属描述性观察。密集和聚集区域热图在相邻昆虫周围响应大小和分离上不同,部分响应限于单个昆虫,部分延伸跨相邻虫体;因响应尺度未跨检测器校准,这些视觉差异不应解读为精确率或召回率差异。所选遮挡和粘连例子中,原始YOLO26和若干比较模型显示更分散响应并延伸至背景区域,YOLO26-USW相对更局限于可见昆虫区域,该解释仍为定性。

3.5 直接推理与鲁棒性结果的定性分析:使用同一代表性高分辨率灯诱图像在六种条件下展示:直接全图推理、原条件SAHI推理、低照度(γ = 1.8)、高照度(γ = 0.6)、5%受控目标区域遮挡和10%受控目标区域遮挡;全程使用相同YOLO26-USW权重且不重训。结果与数据集级结果一致:SAHI较直接推理识别更多可见小昆虫;低照度下检测目标更少且召回率下降;高照度下保留较多检测但精确率低于原条件;受控遮挡由5%增至10%使可见检测减少,与假阴性计数升高和mAP@0.5降低一致。误差案例展示定位误差、类别混淆、漏检和昆虫样碎屑假阳性,所选图像说明错误类型而非全测试集频率,并提示改进背景采样和小目标定位方向,但其对错误率的影响尚未测试。

讨论部分总结:该框架将可训练模型改进与推理策略分离。YOLO26-USW整合UNet-PVT、SDFM和WIoU v3,分别改善分层表征、浅层—深层交互和边界框回归;PVTv2-B1与U-Net式信息传递为语义—细节交互提供基础,WIoU v3按相对质量重加权回归样本;SAHI在原始图像推理时独立应用,以减少全图降采样造成的小目标信息损失。在预生成含目标切片基准上,YOLO26-USW达到90.8%精确率、91.1%召回率、94.5% mAP@0.5和91.0% F1-score,原生吞吐140.38 FPS,在该协议下取得比较检测器中最高的mAP@0.5、召回率和F1-score;消融显示UNet-PVT贡献最大单独增益,SDFM改变精确率—召回率平衡,WIoU v3在不增加推理时参数下改善基线指标,完整配置以显著更高模型复杂度换取检测性能。原始图像实验说明切片基准不能解释为完整场景部署结果:直接全图推理在251幅图像上产生25个预测但IoU=0.5无真阳性匹配,SAHI取得66.90%精确率、96.15%召回率、78.90% F1-score和77.69% mAP@0.5,处理时间由0.0573增至3.9366 s/图像;该趋势与SAHI及农业图像切片方法动机一致,即保留局部目标尺度可改善小目标可检测性,但重复图块推理和结果聚合带来显著计算开销。跨检测器SAHI实验中,RT-DETR + SAHI召回率96.51%但精确率44.10%、F1-score 60.54%,YOLO26-USW + SAHI召回率96.15%、精确率66.90%、F1-score 78.90%,二者mAP@0.5分别为74.44%和77.69%,说明两种架构切片后均保持高检测完整性,而YOLO26-USW在所评估协议下取得更有利精确率—召回率平衡;因仅比较两种架构,结果不应推广至评估模型之外。SAHI每幅完整图像处理更久,但对周期性或离线灯诱监测可能可接受,可减少人工图像复核量;研究未测量人员时间、财务成本、电力使用、维护需求或每图像能耗,任何潜在运行节省仍需田间部署确定。鲁棒性实验揭示不同失效模式:低照度主要降低召回率,高照度主要降低精确率并增加假阳性,受控遮挡造成最强退化,mAP@0.5由原条件77.69%降至5%和10%遮挡下33.42%和13.98%,假阴性由43增至428和726,表明方法仍对可见目标信息大幅损失敏感,是田间部署的重要考虑。所选视觉例子与定量发现一致但仅代表少量场景;YOLO26-USW在某些区域更清晰定位相邻目标,热图更集中于可见昆虫,但这些观察描述所示例子,检测器基准在无SAHI下进行,热图模式本身不能确定性能增益来源。未来监测系统中,灯诱设备可采集并存储或传输RGB图像用于自动处理,图像经质量筛选和重叠640 × 640切片后进入YOLO26-USW推理,预测框映射回原图、抑制重复并按类聚合计虫数,不确定检测可在生成监测报告、趋势或阈值警报前复核;本研究评估检测器,但下游计数准确性、警报性能和多站点运行仍待验证。局限性包括:所有图像来自单一研究区域并覆盖七类,未考察向新季节、设备、捕获条件或区域迁移;预生成图块基准排除纯背景图块,其性能指标可能高估完整场景检测器可靠性;标注由单一标注者完成且无标注者间可靠性研究;全分辨率SAHI提高可检测性但推理延迟高且仍对光照变化和遮挡敏感。未来工作应优先扩展数据覆盖和更高效高分辨率推理,跨区域和多季节数据集评估泛化,域适应、半监督学习和靶向增强可能降低对密集标注数据依赖;部署方面,图块批处理、自适应区域选择、并行推理、知识蒸馏、结构重参数化和轻量注意力是降低计算成本的潜在途径;与昆虫丰度估计和预警模块集成应在检测器于更多样田间条件验证后评估。总体上,结果说明UNet-PVT、SDFM和WIoU v3在切片基准上提供互补模型级效应,而SAHI提供将训练后检测器应用于完整高分辨率灯诱图像的独立机制。研究结论部分译为:本研究开发了YOLO26-USW,用于高分辨率农业灯诱图像中的小昆虫检测。该可训练检测器整合UNet-PVT、SDFM和WIoU v3,而SAHI独立用于原始高分辨率推理。在含目标640 × 640切片图像基准上,YOLO26-USW达到90.8%精确率、91.1%召回率、94.5% mAP@0.5和91.0% F1-score,较YOLO26基线分别提高6.4、5.4、5.5和6.0个百分点;原生检测器吞吐为140.38 FPS,参数16.08 M,GFLOPs 39.44。在251幅原始高分辨率图像上,基于SAHI的推理达到66.90%精确率、96.15%召回率、78.90% F1-score和77.69% mAP@0.5,而相同检测器权重下直接全图推理在IoU=0.5时未产生真阳性匹配。完整SAHI流程需3.9366 s/图像,直接推理需0.0573 s/图像,说明明显的全场景可检测性—延迟权衡。相同SAHI协议下与RT-DETR的比较以及受控光照/遮挡实验进一步表征了模型在全场景和扰动条件下的行为。未来工作应在实际边缘部署前聚焦跨域验证、显式负背景评估和计算优化。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号