《International Journal of Intelligent Networks》:Intelligent Network Image Analysis-Driven Diffusion Model and Improved YOLOv12 Wire Rope Damage Detection
编辑推荐:
研究人员提出一种类别感知潜在扩散修复(class-aware latent diffusion repair, LDI)方法,将训练集扩展6倍,以缓解数据稀缺和类别不平衡;将特征细化前馈网络(Feature Refinement Feedforward Net
研究人员提出一种类别感知潜在扩散修复(class-aware latent diffusion repair, LDI)方法,将训练集扩展6倍,以缓解数据稀缺和类别不平衡;将特征细化前馈网络(Feature Refinement Feedforward Network, FRFN)嵌入A2C2f,实现空间-通道双重优化并有效抑制复杂背景干扰;设计动态分组卷积与通道混洗(Dynamic Grouped Convolution with Channel Shuffling, DGCS)模块替换C3K2,以自适应提取多尺度特征并提升对毫米级微小损伤的检测;所提出的LGD-YOLOv12达到92.7%的平均精度均值(mean Average Precision, mAP)@50,并保持面向现场部署的高实时性能。
论文作者为Pingfang Wen、Maqbool Khan、Xiangben Hu和Yiyuan Zhang,论文发表在《International Journal of Intelligent Networks》。研究背景方面,卷扬式启闭机是水利工程中控制闸门升降的核心设备,广泛应用于水库、大坝和水电站等关键水利枢纽,其安全稳定运行直接关系流域防洪安全、水资源调度效率和人民生命财产安全。钢丝绳作为启闭机主要承载部件,长期承受交变载荷、摩擦磨损和环境腐蚀,易产生断丝、表面磨损和局部锈蚀等损伤。传统人工目视检测和磁粉检测存在效率低、主观性强、漏检率高和难以在线监测等缺陷,难以满足现代水利工程智能运维需求。随着工业物联网(Industrial Internet of Things, IIoT)技术渗透,水利工程设备运维正从离线人工巡检转向全区域物联网在线智能监测;视觉检测算法作为感知层核心功能载体,需适应终端算力与功耗约束、满足现场实时检测,并输出标准化结构化数据以契合物联网平台数据接入规范。YOLO系列单阶段目标检测算法因端到端架构及精度与速度平衡成为工业视觉主流方案,但将YOLOv12直接用于启闭机钢丝绳损伤检测仍存在三方面问题:断丝等典型损伤多为毫米级小目标,原YOLOv12的A2C2f模块仅关注空间域冗余抑制,缺乏有效通道级特征筛选机制,小损伤特征易被背景噪声淹没;C3K2模块采用固定卷积结构,难以在不同拍摄距离和角度下自适应提取多尺度损伤特征;工业现场高质量标注钢丝绳损伤样本稀缺且类别分布不均,传统基于几何变换和颜色变换的数据增强无法生成新的损伤形态,限制模型泛化能力。因此,研究人员开展结合潜在扩散修复数据增强与改进YOLOv12的钢丝绳损伤检测研究,提出LGD-YOLOv12算法:设计类别感知潜在扩散修复(LDI)数据增强策略,基于真实工业背景和损伤类别条件生成高保真损伤样本,将训练集规模扩展6倍并平衡各类样本分布;在YOLOv12的A2C2f模块中引入特征细化前馈网络(FRFN),通过双分支结构实现空间-通道双特征优化,抑制背景冗余信息并强化损伤特征表达;设计动态分组卷积与通道混洗(DGCS)模块替换骨干网络C3K2组件,采用分组数随骨干网络不同层级特征图分辨率动态调整的分层分组策略,提高多尺度小目标损伤特征提取能力;在检测头前加入动态范围补偿层以缓解INT8量化过程中激活值截断误差。研究构建包含断丝、磨损和锈蚀三类典型损伤的启闭机钢丝绳数据集,并通过系统实验验证算法有效性和工程实用性。研究结论表明,LGD-YOLOv12在原始未增强测试集上mAP@50达到91.8%,较原模型提高2.9个百分点;推理速度达到98.6 FPS,断丝召回率提高5.2个百分点;评估结果客观反映模型真实检测能力,为水利工程智能安全监测提供可靠技术支持,具有重要工程意义。
为开展研究,研究人员采用的主要关键技术方法包括:类别感知潜在扩散修复(LDI)数据增强,在真实钢丝绳背景和损伤类别条件下仅于掩膜区域生成高保真损伤样本,并利用Sobel梯度边缘损失和自动标签细化校正标注;在YOLOv12n上将特征细化前馈网络(FRFN)嵌入A2C2f替代多层感知机(MLP),构建空间-通道双优化;设计动态分组卷积与通道混洗(DGCS)替换C3K2,按特征图分辨率动态调整分组数;检测头前加入动态范围补偿层以适配INT8量化;损失函数采用加权交叉熵、完全交并比(Complete IoU, CIoU)和分布焦点损失(Distribution Focal Loss, DFL)。样本队列来源为大型水利工程现场5台不同服役年限的QPQ型卷扬式启闭机,采集时间为2024年7月至2025年6月,采用Basler acA2040-180km工业相机并配环形LED补光,拍摄距离30~50 cm,筛选后获得2100幅有效原始图像,按7:2:1划分为1470幅训练图像、420幅验证图像和210幅测试图像;另采用GDUT-WireRope、NEU-CLS和KolektorSDD三个公开工业缺陷数据集进行泛化验证。
研究结果如下。4.4.1 跨数据集泛化实验:研究人员在自建钢丝绳数据集及GDUT-WireRope、NEU-CLS、KolektorSDD上与YOLOv12n对比,LGD-YOLOv12在四个数据集上的mAP@50均优于原模型,提升稳定在3.8~4.3个百分点,说明FRFN和DGCS的特征优化能力具有场景通用性,未过拟合自建数据集。4.4.2 数据增强有效性实验:以YOLOv12为基线,比较无增强、传统几何增强、Mosaic、CutMix、CycleGAN和LDI增强,LDI在各指标上最优,mAP@50达到88.0%,较传统增强高2.5个百分点、较CycleGAN生成增强高0.8个百分点,mAP@50:95达到50.3%,表明基于真实背景和类别条件生成样本可提升小目标定位精度和模型泛化能力。4.4.3 消融实验:以LDI增强YOLOv12为基线,单独引入FRFN后mAP@50由88.9%升至90.3%,单独替换DGCS后升至90.5%且召回率提高2.1个百分点;二者同时引入后mAP@50达到91.8%,较基线提高2.9个百分点,增益高于单独模块增益之和,表明DGCS提供多尺度特征基础、FRFN进行特征细化与背景抑制,二者存在正协同效应。4.4.4 对比实验:与Faster R-CNN、YOLOv8n、YOLOv10n、YOLOv11n和YOLOv12n比较,LGD-YOLOv12精度最优,mAP@50为91.8%,较YOLOv12n高2.9个百分点、较YOLOv11n高4.0个百分点;mAP@50:95为53.5%,较YOLOv12n高2.5个百分点;FPS为98.6,略高于YOLOv12n且远高于Faster R-CNN,满足现场实时检测需求。4.4.5 损伤类型检测实验:对断丝、磨损和锈蚀进行专项测试,断丝提升最显著,AP@50由85.3%升至91.5%,提高6.2个百分点,召回率由81.2%升至86.4%,提高5.2个百分点;磨损和锈蚀AP@50分别提高3.1和4.7个百分点,说明方法对小、中、大尺度损伤均具适应性。4.4.6 实时性能实验:比较模型计算复杂度和推理速度及INT8量化损失,LGD-YOLOv12的GFLOPs为6.8,仅较YOLOv12高0.5,参数量为2.61M,仅高1.9%;FP32推理速度98.6 FPS,INT8量化后187.2 FPS,量化后mAP@50仅损失0.8个百分点,低于其他对比模型,动态范围补偿层有效缓解激活值截断误差并保证边缘部署精度。
讨论与结论部分总结:研究人员将LDI数据增强与FRFN、DGCS模块结合,在保持轻量化和实时性的同时提升钢丝绳多类损伤检测精度;消融和对比实验验证了模块协同及INT8量化部署有效性。研究结论翻译如下:针对卷扬式启闭机钢丝绳损伤检测中样本稀缺、小目标难检测和背景干扰强等问题,本文提出结合类别感知潜在扩散修复(LDI)与改进YOLOv12的LGD-YOLOv12算法。LDI方法基于真实背景生成高保真损伤样本并将训练集扩展6倍;FRFN模块实现空间-通道双特征优化;DGCS模块替换C3K2组件以自适应提取多尺度特征。实验表明,在原始未增强测试集上,LGD-YOLOv12的mAP@50达到91.8%,较原模型提高2.9个百分点;推理速度达到98.6 FPS,断丝召回率提高5.2个百分点。评估结果客观反映模型真实检测能力,为水利工程智能安全监测提供可靠技术支持。未来研究可从三方面开展:引入多光谱成像技术融合多模态特征以识别钢丝绳内部早期损伤;结合视频时间序列分析实现损伤演化趋势预测和预防性维护;采用模型剪枝和知识蒸馏进一步压缩模型,优化嵌入式边缘设备部署性能,构建全生命周期钢丝绳健康管理系统。