工业目标检测任务的图像数据集质量评估系统

《Sensors》:An Image Dataset Quality Evaluation System for Industrial Object Detection Tasks

【字体: 大 中 小 】 时间:2026年07月15日 来源:Sensors 4.0

编辑推荐:

  在工业应用中,视觉检测模型的性能受到训练数据集质量的强烈影响。尽管成像方案设计和算法优化常被强调,但系统性的数据集质量评估仍不充分。为填补这一空白,本研究提出了一种用于工业目标检测的数据集质量评估框架。该框架包含四个维度和十三个可量化指标:三个用于采集环境,两

  
在工业应用中,视觉检测模型的性能受到训练数据集质量的强烈影响。尽管成像方案设计和算法优化常被强调,但系统性的数据集质量评估仍不充分。为填补这一空白,本研究提出了一种用于工业目标检测的数据集质量评估框架。该框架包含四个维度和十三个可量化指标:三个用于采集环境,两个用于图像质量,三个用于数据集规模,五个用于标注质量。基于理论最大分数的归一化方法被用于减少不同评分范围引起的偏差,维度权重通过田口正交实验(Taguchi orthogonal experiments)分配。使用YOLOv12n和RT-DETR-R18在五个公共数据集和三个自构建数据集上进行验证。研究发现,所提出的分数与检测精度之间存在正相关趋势,对于YOLOv12n,PLCC/SRCC/Kendall's tau值分别为0.685/0.850/0.764;对于RT-DETR-R18,分别为0.656/0.826/0.691。经过二级权重优化后,相关性分别提升至0.775/0.922/0.837和0.748/0.898/0.764。相应的p值和95%置信区间被报告以量化统计不确定性。敏感性分析和消融比较进一步验证了所提出的多维框架的鲁棒性和必要性。该框架为提升工业图像数据集质量提供了可量化方法和实用采集指南。
**论文解读:面向工业目标检测任务的图像数据集质量评估系统**

**一、研究背景与问题**

随着工业技术的发展和自动化需求的增长,数据驱动方法,尤其是计算机视觉技术,已成为工业检测与质量控制的关键手段。然而,视觉检测模型的性能高度依赖于训练数据集的质量。在实际工业场景中,采集环境变化、图像质量不稳定、数据分布不均以及标注错误等问题会显著影响模型检测精度和预测可靠性,甚至可能导致误检和漏检,危及工业系统的安全运行。现有研究多聚焦于成像方案设计、算法优化或性能指标改进,例如基于YOLO的改进模型在缺陷检测数据集上的应用,但针对数据集本身的系统性、可量化的质量评估方法仍十分缺乏。已有工作多从单一维度(如数据规模、图像失真或标注噪声)进行定性分析,导致评估不全面、缺乏直观性且系统性不足。例如,Mohanty等发现受控环境下训练的模型在真实场景中精度下降显著;Oksuz等指出正负样本不平衡影响模型性能;B?r和Murrugarra-Llerena等验证了标注噪声对检测精度的负面影响。因此,建立一个科学、客观、可量化的工业目标检测图像数据集质量评估体系,对于提升模型训练性能、增强系统鲁棒性以及推动工业智能化发展具有重要意义。本研究正是针对这一空白,构建了一个多维度的数据集质量评估框架。

**二、研究内容与结论**

研究人员提出了一套包含四个一级维度(采集环境、图像质量、数据集规模、图像标注)和十三个可量化二级指标的评估系统。所有指标经理论最大分数归一化后,通过田口正交实验(Taguchi orthogonal experiments)确定各维度权重。验证实验使用了五个公共工业数据集(覆盖线缆损伤、铁路部件缺失、金属表面缺陷、PCB缺陷等)和三个自构建数据集(共包含41个类别,20811张图像),并以YOLOv12n和RT-DETR-R18作为下游检测模型。结果表明,所提出的综合评分与检测精度(mAP50)之间存在正相关趋势。一级指标权重优化后,YOLOv12n的PLCC/SRCC/Kendall's tau分别为0.685/0.850/0.764,RT-DETR-R18分别为0.656/0.826/0.691。进一步对十三个二级指标进行权重优化后,相关性提升至0.775/0.922/0.837和0.748/0.898/0.764,且PLCC和SRCC的p值均小于0.05。敏感性分析表明,在±20%权重扰动下相关性保持稳定;消融分析证实,仅依赖单一维度或部分维度无法充分解释检测性能差异,而完整的多维框架表现最优。该论文发表在《Sensors》,为工业图像数据集质量评估提供了可量化方法和实用采集指南。

**三、主要关键技术方法**

研究人员采用了以下关键技术方法:(1)**归一化方法**:基于理论最大分数对每个指标进行[0,1]区间归一化,消除不同指标满分范围差异。(2)**田口正交实验(Taguchi orthogonal experiments)**:用于确定一级和二级指标的权重,以综合评分与下游检测模型mAP50之间的PLCC、SRCC和Kendall's tau作为响应变量。(3)**相关性分析**:计算皮尔逊线性相关系数(PLCC)、斯皮尔曼等级相关系数(SRCC)和肯德尔tau系数(Kendall's tau),并采用非参数自助法(bootstrap)计算95%置信区间量化不确定性。(4)**敏感性分析与消融比较**:通过±10%和±20%的权重扰动评估稳定性,并通过逐一移除一级维度的消融实验验证多维框架的必要性。样本来源包括五个公共工业数据集(如NEU-DET、GC10-DET、PCB-DET等)和三个自构建数据集,均面向特定工业场景。

**四、研究结果**

**4.1 归一化数据集得分计算**
研究人员在统一硬件和软件环境下计算各数据集的归一化得分。通过基于理论最大分数的归一化方法,将采集环境(满分3)、图像质量(满分2)、数据集规模(满分3)和图像标注(满分5)映射至[0,1]区间,并绘制雷达图直观展示各数据集的一级维度评分分布。

**4.2 相关性分析**
以YOLOv12n和RT-DETR-R18的mAP50为基准,采用田口正交实验优化四个一级维度的权重。选择权重组合(第一级权重:图像标注0.375,数据集规模和采集环境各0.250,图像质量0.125)作为推荐组合。此时,YOLOv12n的PLCC/SRCC/Kendall's tau为0.685/0.850/0.764(p值分别为0.061、0.007、0.009),RT-DETR-R18为0.656/0.826/0.691(p值分别为0.078、0.011、0.018)。散点图与线性拟合显示综合评分与mAP50呈正相关趋势。但研究人员指出,检测性能还受内在任务难度(如目标类别特性、类间相似性等)影响,因此相关性反映的是关联而非因果。

**4.3 数据集采集指南**
**4.3.1 二级指标与检测性能的相关性**
各二级指标与两个检测模型mAP50的PLCC和SRCC计算结果显示:光照稳定性、标注完整性、标注精度、MOS主观图像质量和标注一致性分数与检测精度表现出强相关性。其中光照稳定性与YOLOv12n的PLCC达到0.856,SRCC达0.898(p<0.01)。数据完整性与标准化分数呈现负相关,研究人员解释这可能是由于部分公共数据集文件结构标准但内在质量不优所致,该指标应作为基本约束而非主要判别依据。

**4.3.2 基于正交表的田口实验结果**
将13个二级指标作为控制因子,每个因子设低、中、高三个水平,采用L27(313)正交表设计27组权重组合。综合响应值R(四个相关系数的平均值)最高的为第18组实验(R=0.820),该组合下YOLOv12n的PLCC为0.736、SRCC为0.922,RT-DETR-R18的PLCC为0.724、SRCC为0.898。

**4.3.3 二级指标的主效应与显著性分析**
主效应分析表明,标注完整性的极差最大(Δ=0.054,p=0.031),是13个二级指标中最显著的关键因子。PIQE客观图像质量、背景复杂度、光照稳定性和标注精度的极差也较大。推荐权重组合经归一化后,重新计算综合评分。在该推荐二级权重下,YOLOv12n的PLCC/SRCC/Kendall's tau提升至0.775/0.922/0.837,RT-DETR-R18提升至0.748/0.898/0.764,且p值均小于0.05。95%自助法置信区间进一步提供了不确定性范围。

**4.3.4 权重系数敏感性分析**
在推荐权重基础上进行±10%和±20%扰动,重新计算相关性。结果表明,一级权重下YOLOv12n的PLCC在0.672~0.696之间波动,SRCC和Kendall's tau基本稳定;二级权重下YOLOv12n的PLCC在0.769~0.780之间波动,SRCC和Kendall's tau同样保持稳定。说明综合评分与检测性能的正向关联不因适度权重扰动而显著改变,二级权重方案比一级权重方案具有更好的鲁棒性。

**4.3.5 与更简单评估方案的比较**
通过消融分析,将四个一级维度单独或组合计算综合评分并与mAP50比较。单一维度(如仅采集环境或仅图像质量)的PLCC、SRCC、Kendall's tau均较低(例如仅采集环境时YOLOv12n的PLCC为0.501,SRCC为0.539);两维度或三维度组合后相关性有所提升,但仍低于完整四维度框架。这表明工业数据集质量受采集环境、图像质量、数据集规模和标注质量共同影响,所提出的多维评估框架相比单维度或部分维度方案更全面和稳定。

**五、讨论与结论**

**讨论总结**:研究人员指出,本研究的创新点在于将现有及任务适配的指标整合、归一化、权重分配并经过下游验证,形成一个统一的数据集质量评估框架。该框架基于数据集内在属性(而非检测结果)计算评分,因此可在模型训练前应用于其他工业数据集进行质量评估和比较。然而,当前验证仍存在局限性:相关性分析在数据集层面进行,有效样本量仅为8个;p值应视为名义参考;虽然PLCC、SRCC、Kendall's tau、敏感性分析和两个检测模型共同支持评分与下游性能的正向关联,但评分对未见数据集的定量预测能力仍需外部验证。未来工作将包含更多来自不同工业领域的数据集、更多检测模型以及不同随机种子的重复实验,以检验框架的鲁棒性、泛化能力和实际可用性。

**结论翻译**:现有研究主要从单一数据集维度进行定性评估,导致偏颇、直观性差和系统性分析不足等问题。系统且可量化的数据集质量评估仍不充分。为此,本研究构建了一个面向工业目标检测图像数据集的多维质量评估系统。具体结果如下:(1)八个数据集共包含41个类别和20811张图像,覆盖多个代表性工业场景,为评估方法可行性提供了初步基础;但由于相关性分析在数据集层面进行,有效样本量有限,未来需用更多工业数据集进一步验证。(2)该系统建立了四个一级维度(采集环境、图像质量、数据集规模、图像标注),并引入十三个可计算的二级指标,将工业图像数据集质量评估从定性分析转化为综合定量评估。(3)通过田口正交实验优化四个一级维度的权重,结果显示图像标注质量对目标检测性能影响最大(权重0.375),数据集采集环境和数据集规模均分配权重0.250,图像质量权重0.125。以YOLOv12n和RT-DETR-R18作为下游检测模型,一级指标优化后综合评分与mAP50的PLCC/SRCC/Kendall's tau分别为0.685/0.850/0.764和0.656/0.826/0.691。(4)进一步通过田口正交实验优化十三个二级指标后,推荐权重下YOLOv12n的PLCC/SRCC/Kendall's tau提升至0.775/0.922/0.837,RT-DETR-R18达到0.748/0.898/0.764,且PLCC和SRCC的名义p值均小于0.05。这些结果表明,本研究所构建的数据集评估系统有效反映了工业图像数据集质量对检测模型性能的影响。在二级指标中,标注完整性、光照稳定性、标注精度和类别样本充分性被识别为影响检测性能的关键因素,这一发现与一级指标的权重分布一致。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号