原型对齐多尺度注意力网络用于小样本工业表面缺陷检测

《PLOS One》:A prototype-aligned multi-scale attention network for few-shot industrial surface defect detection

【字体: 大 中 小 】 时间:2026年09月29日 来源:PLOS One 2.8

编辑推荐:

  小样本工业表面缺陷检测仍然具有挑战性,因为标注的缺陷图像稀缺、缺陷尺度变化显著以及纹理背景可能导致误响应。本研究提出了一种原型对齐多尺度注意力网络(Prototype-Aligned Multi-Scale Attention Network,PA-MSAN)

  
小样本工业表面缺陷检测仍然具有挑战性,因为标注的缺陷图像稀缺、缺陷尺度变化显著以及纹理背景可能导致误响应。本研究提出了一种原型对齐多尺度注意力网络(Prototype-Aligned Multi-Scale Attention Network,PA-MSAN),该网络在两阶段检测器内集成了多感受野特征提取、空间-通道注意力以及感兴趣区域(Region of Interest,RoI)级别的原型匹配。实验在NEU-DET数据集上采用1-shot、3-shot和5-shot的情节设置进行,并使用目标域支持原型在GC10-DET数据集上进行5-shot跨域评估。多尺度特征金字塔融合表征局部纹理和更广泛的缺陷形态,而注意力加权则在区域提议网络(Region Proposal Network,RPN)提议生成和RoI Align之前增强缺陷敏感的区域和通道。小样本分类通过RoI特征与类别原型之间的余弦相似度实现,训练过程联合优化检测分类、边界框回归、区域提议和原型对齐损失(Prototype Alignment Loss,PAL)。在5-shot NEU-DET设置下,PA-MSAN实现了92.2±0.4%的平均精度均值(mean Average Precision,mAP)@0.5、88.7±0.4%的小物体平均精度(Average Precision for small objects,APsmall)、0.89±0.01的平均交并比(Intersection over Union,IoU)以及4.1±0.2%的背景误响应率,检测时间为23.4毫秒,参数量为18.7×106。与Faster R-CNN相比,PA-MSAN将mAP@0.5提升了2.9个百分点,APsmall提升了3.9个百分点,同时将背景误响应率降低了1.7个百分点。在5-shot目标域支持设置下,PA-MSAN在GC10-DET上实现了86.4±0.4%的mAP@0.5,比相应的NEU-DET结果低5.8个百分点(6.3%)。研究结果支持在所评估的数据集和两阶段配置下,区域级原型对齐方法可用于有限标签的金属表面检测。
一、研究背景与研究问题
工业表面缺陷检测是保障产品质量和生产效率的关键环节。随着智能制造和自动化水平的提高,对高精度实时缺陷检测的需求日益增长。然而,现有研究面临三个紧密相关的挑战:一是标注的缺陷样本极度匮乏,限制了深度网络学习稳定类别表征的能力;二是缺陷尺度差异巨大,需要多尺度感知才能同时捕获细微线性缺陷和大面积缺陷区域;三是复杂的纹理背景容易引发误响应,降低定位精度。这些因素共同构成了小样本工业表面缺陷检测的核心难题。为此,研究人员提出了一种名为原型对齐多尺度注意力网络(PA-MSAN)的方法,将小样本工业表面缺陷检测形式化为区域级的原型对齐任务,旨在解决上述挑战。
二、关键技术方法
研究人员采用了以下几个关键技术方法:
  1. 1.
    数据预处理与增强:对所有输入图像进行灰度化、统一缩放至416×416并归一化。训练阶段应用旋转、翻转、光照扰动、缩放和高斯噪声等几何与光度增强,验证和测试阶段仅做确定性处理。
  2. 2.
    多尺度特征提取模块(MSFE):结合多感受野卷积(3×3、5×5、7×7核)与包含自上而下融合和侧向连接的特征金字塔路径,生成保留细粒度纹理、中等结构和大范围语义的分层特征图。
  3. 3.
    注意力机制与特征增强:对融合后的金字塔特征依次应用通道注意力(基于全局平均池化和最大池化的两层全连接网络)和空间注意力(基于通道维度池化和7×7卷积),以增强缺陷敏感区域和通道,抑制背景纹理响应。
  4. 4.
    原型学习与小样本分类:通过RoI Align提取固定大小的区域特征,对每个类别的支持区域特征取算术平均构建类别原型。采用余弦相似度度量RoI特征与各原型之间的匹配程度,并通过Softmax函数转换为分类概率。
  5. 5.
    联合优化与训练策略:设计联合损失函数,同时优化检测分类损失、边界框回归损失、RPN区域提议损失和原型对齐损失(PAL)。PAL通过最大化RoI嵌入与其真实类别原型的相似度、抑制与其他原型的相似度来增强特征判别力。使用Adam优化器,初始学习率为0.001,每10个epoch乘以0.95衰减。
三、研究结果
4.1 多尺度和注意力机制下的检测性能
  • •
    4.1.1 多尺度缺陷检测性能评估:在NEU-DET数据集的6类缺陷上,PA-MSAN在5-shot设置下达到92.2±0.4%的mAP@0.5。其中,Scratch和Rolled-in Scale分别达到94.3%和93.7%的AP50。多尺度特征提取模块在不同尺度缺陷上表现出互补的响应特性:Inclusion在细尺度表征中响应集中,Pitted Surface在中尺度表征中更连续,Rolled-in Scale在大感受野分支中获得更广泛响应。
  • •
    4.1.2 注意力聚焦检测效果:通过对比无注意力、仅空间注意力、仅通道注意力和双注意力四种变体,发现双注意力配置在各类缺陷上的平均IoU更高,背景误响应率更低。具体地,双注意力机制使背景误响应率降至4.1%,而单通道或单空间注意力均无法达到同等抑制效果。
4.2 小样本和跨域适应性能
  • •
    4.2.1 小样本检测性能:在1-shot、3-shot和5-shot设置下评估PA-MSAN的性能。随着支持样本数增加,mAP@0.5显著提升。在5-shot设置下,PA-MSAN的mAP@0.5(92.2%)优于所有对比方法,包括Faster R-CNN(89.3%)、TFA(86.5%)、Meta R-CNN(87.8%)和FSRW(88.1%)。原型判别性分析表明,引入原型学习后,类内特征标准差降低,类间距离增大,特征分布更加紧凑可分。
  • •
    4.2.2 跨域适应性能:在5-shot目标域支持设置下,PA-MSAN在GC10-DET数据集上达到86.4%的mAP@0.5,比相应的NEU-DET结果低5.8个百分点,但仍显著优于其他对比方法(如Faster R-CNN为78.1%,Meta R-CNN为79.3%),展示了其在复杂工业场景下利用有限目标域监督进行跨域适应的潜力。
四、总结与结论
本研究提出了PA-MSAN,将小样本工业表面缺陷检测形式化为RoI级别的原型对齐任务。支持集的原型由经注意力增强的区域特征构建,并直接指导RoI分类。通过共享的RoI表征,结合RPN和边界框回归目标优化定位,从而将区域级度量学习与两阶段检测耦合。层级特征表征模块通过特征金字塔融合和多感受野卷积,即使在少量支持样本下也能描述局部纹理、中等缺陷结构和高级语义信息。缺陷敏感的原型匹配策略在RoI级别引入空间-通道注意力和RoI Align,有效滤除背景纹理干扰。联合训练目标通过同时优化检测分类、边界框回归、RPN和PAL,使模型学习到更准确的区域定位和更具判别力的特征分布,同类样本更聚集,异类样本更分离,从而提高了小样本检测的稳定性并支持了有限目标域监督下的跨域适应。
实验结果表明,PA-MSAN在NEU-DET数据集的5-shot设置下达到了92.2%的mAP@0.5和88.7%的APsmall,背景误响应率仅为4.1%。与Faster R-CNN相比,mAP@0.5提升2.9个百分点,APsmall提升3.9个百分点,背景误响应率降低1.7个百分点。在GC10-DET上的5-shot跨域评估中,PA-MSAN仍能达到86.4%的mAP@0.5。研究结果证实,在所评估的数据集和两阶段配置下,区域级原型对齐方法对于有限标签的金属表面检测是有效的。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号