综述:为制造零件检测中的模型优化设计合成式主动学习方法
《JOURNAL OF MANUFACTURING SYSTEMS》:Designing Synthetic Active Learning for model refinement in manufacturing parts detection
【字体:
大
中
小
】
时间:2025年12月06日
来源:JOURNAL OF MANUFACTURING SYSTEMS 14.2
编辑推荐:
朱小萌|雅各布·亨宁松|帕尔·莫滕松|拉尔斯·汉森|莫滕·比约克曼|牧人雅人
斯堪尼亚CV AB,瑞典索德特尔耶
**摘要**
本文介绍了合成主动学习(Synthetic Active Learning,简称SAL),这是一种完全自动的模型优化策略,用于仅使用通过领
朱小萌|雅各布·亨宁松|帕尔·莫滕松|拉尔斯·汉森|莫滕·比约克曼|牧人雅人
斯堪尼亚CV AB,瑞典索德特尔耶
**摘要**
本文介绍了合成主动学习(Synthetic Active Learning,简称SAL),这是一种完全自动的模型优化策略,用于仅使用通过领域随机化主动生成的合成数据进行制造零件检测。SAL通过识别模型的弱点(如特定类别、材料或物体尺寸方面的问题)来迭代更新检测模型,并利用自定义评估器生成针对性的合成数据来解决这些问题;它选择性地合成新的有用数据以支持主动学习过程,而在传统方法中,这些数据是由人类来选择的。在每次迭代过程中,模型训练和数据生成同时进行,以提高效率。在两个工业数据集的四个用例上进行评估时,SAL的mAP@50指标比静态学习(即在固定的、预先生成的数据集上进行训练)提高了2%到6%。此外,SAL在表现不佳的类别中也显示出显著的提升,从而实现了类别间性能的平衡。另一个优点是它在多个用例中采用了一致的配置,避免了先前领域随机化研究中常见的繁琐超参数调整工作。鉴于其在多种场景下的出色表现,我们认为SAL可以扩展到更广泛的工业应用中,在这些应用中,训练可以完全或主要基于合成数据。
**1. 引言**
在先进制造中,准确的物体检测对于提高运营效率和确保产品质量至关重要。诸如质量检测和机器人拣选等应用依赖于强大的检测系统[1]、[2]、[3]。然而,由于真实世界标注数据的稀缺,将基于深度学习的物体检测模型应用于制造领域仍然具有挑战性。工业物体的多样性和生产环境的变化使得手动数据收集和标注成本高昂且资源消耗大。
一种可能的解决方案是从计算机辅助设计(CAD)模型生成合成数据[4],这些模型在工业环境中很容易获得。由于制造零件需要严格的几何精度,基于CAD的合成数据能够保持几何精度,提供准确的标注,并能够模拟罕见或有缺陷的情况。为了提高模型对真实世界的泛化能力,这些数据通常会加入领域随机化(Domain Randomization,简称DR)处理。DR通过在渲染过程中引入可控的随机性(例如纹理、光照、物体姿态、相机视角或背景的变化)来增加多样性,并防止模型过度适应合成数据的外观[5]。通过让模型接触各种变化,DR促进了模型的泛化能力,帮助其将真实世界数据视为另一种变化形式。这种方法在多个制造应用中取得了成功[1]、[4]、[5]、[6]、[7]、[8]、[9]、[10]、[11]、[12]。
尽管效果显著,但大多数DR方法都是以静态方式生成数据,产生一个固定的训练数据集。这需要大量的超参数调整来优化每个任务的渲染参数,并且在多物体检测中常常导致某些类别的表现不佳[7]、[10]、[12]。为了解决这些问题,最近的研究探索了主动数据生成方法,通过迭代创建新的合成样本来最大化模型改进[13]、[14]、[15]、[16]。虽然这些方法很有启发性,但它们仍然依赖于真实数据进行评估或专家指导来调整生成过程,限制了它们的自动化程度和可扩展性。
为此,我们提出了合成主动学习(SAL),据我们所知,这是第一个完全自动的模型优化策略,它仅依赖于通过DR主动生成的合成数据进行工业物体检测。如图1所示,SAL评估模型性能,识别出表现不佳的类别、易混淆的物体对或具有挑战性的尺寸和材料,并生成针对性的合成数据以进行持续重新训练和性能提升。通过这种方式,SAL为有效的合成数据生成提供了解决方案,而不是标准主动学习中追求的有效标注。
**下载:**
下载高分辨率图像(322KB)
下载全尺寸图像
**图1. 合成主动学习(SAL)流程概述。**
模型在合成数据上进行训练和评估。根据评估结果,数据生成会更新以关注薄弱环节,包括表现不佳的类别、分类错误的物体对、具有挑战性的尺寸和材料。这个生成、训练和评估的循环会一直进行,直到性能稳定或达到最大训练周期数。在执行循环过程中,数据块移位方案确保了高效的并行训练和生成。数据集被划分为n个块,每次迭代使用一个块(条纹状)进行生成,其他块(实心)用于训练。生成完成后,新数据(蓝色)会替换旧数据(绿色)。所有块更新后,循环会重复进行。(关于图中颜色参考的解释,请参阅本文的网络版本。)
我们在两个工业数据集上评估了SAL:一个是Horvath等人[10]提供的包含10个工业物体的机器人数据集,另一个是Zhu等人[12]提供的SIP15-OD数据集,包含15个工业物体,涵盖了三种制造用例和场景。实验结果表明,与在静态合成数据集上训练相比,SAL的mAP@50分数提高了2%到6%;在之前表现不佳的物体类别中,准确率提升尤为明显。所有用例的mAP值都达到了90%以上,且无需进行超参数调整或使用真实数据。这些结果表明SAL实现了两个目标:(a)自动生成适用于多种工业检测任务的有效合成数据;(b)通过提高在静态训练中表现不佳的类别的准确性来增强模型从仿真到真实世界的性能。这种鲁棒性和适应性表明SAL是先进制造中工业物体检测的可扩展解决方案。
**本文的主要贡献如下:**
• 我们提出了合成主动学习(SAL)的概念,这是一种完全自动的模型优化策略,仅依赖于合成数据进行制造零件检测。SAL通过主动生成带有领域随机化的合成数据来迭代改进模型性能,以解决模型中的弱点。它结合了四个自定义评估器来识别问题(如表现不佳的类别),以及四个更新器来相应地调整数据生成。
• 我们设计了一种数据块移位方案来管理SAL中的数据流。它能够在保持固定数据集大小的同时实现训练和数据生成,确保计算效率和资源平衡。
• SAL在涉及25个物体的四个工业物体检测用例中表现出强大的性能,一致地提高了整体准确率,并改善了之前表现不佳的类别的检测效果。
**2. 相关工作**
**2.1. 从仿真到真实的迁移**
领域适应(Domain Adaptation,简称DA)和领域随机化(Domain Randomization,简称DR)是两种常用的方法,用于弥合仿真与真实世界之间的差距。DA旨在使合成数据和真实数据的分布对齐,以提高模型的泛化能力[4]、[5]。在合成数据生成的背景下,它通常涉及生成模仿真实世界条件的照片级真实图像,这需要高保真的模拟和大量的计算资源[5]。
相比之下,DR在合成数据中引入随机变化(如背景、物体纹理、光照和相机位置),以鼓励模型在多样化条件下进行泛化,而无需依赖真实的模拟[5]、[7]、[10]。结构化领域随机化(Structured Domain Randomization,简称SDR)[17]通过将物体放置在合理的空间环境中(例如,道路上的车辆)来扩展这一理念,帮助模型学习更有意义的空间关系。虽然标准DR通常使用均匀采样,但引导式领域随机化(Guided Domain Randomization,简称GDR)利用任务性能或真实世界信号来指导随机化过程,从而减少生成不现实或无信息的数据[11]。然而,GDR通常需要大量的超参数调整来识别特定于任务的配置。相比之下,我们的SAL可以自动识别模型弱点,并自适应地生成针对性的合成数据,而无需依赖真实世界反馈或手动调整。
**2.2. 工业应用中的领域随机化**
DR已被应用于各种工业领域。Tobin等人[5]在机器人技术中率先采用了这一概念,引入了随机物体定位、干扰物、颜色、相机角度和光照来生成合成训练图像。Eversberg和Lambrecht[7]将DR应用于基于物理的涡轮叶片检测,发现结合SDR可以提高性能,特别是在捕捉物体特定特征(如材料和纹理)方面。Mayershofer等人[11]探索了DR在工业物流应用中的用途,涉及载体检测。他们使用引导式领域随机化来指导生成过程,并强调了物体关系、干扰物和照明条件的重要性。Horvath等人[10]将DR扩展到机器人技术中的物体检测,强调了物体纹理、姿态、重力模拟和后处理的影响。他们的数据集包含10个工业物体,用于机器人拣选任务,并已公开发布。基于这些工作,Zhu等人[12]开发了一个用于工业物体检测的合成数据生成流程,涵盖了五个组成部分:物体特征、场景、相机、照明和后处理。他们使用Blender中的光线追踪[18]渲染图像,强调了材料属性、渲染方法和真实纹理在生成高质量合成图像中的重要性。他们还引入了SIP15-OD数据集,包含15个物体,涵盖了三种制造用例。
所有上述研究都生成了静态合成数据集,并进行了广泛的消融研究以找到最佳的DR设置。例如,一个重要的DR参数是合成图像的数量。虽然增加数据集大小通常会最初带来更好的性能,但超过某个点后,收益会趋于平稳[5]、[7]、[10]、[12]。这个最佳数据集大小因用例而异,通常通过消融研究来确定。其他参数(如物体纹理)也需要类似的调整。一些任务受益于高纹理变异性,而其他任务则需要更真实和一致的纹理[12]。
此外,多物体检测经常面临之前研究中报告的持续失败情况[10]、[12]。某些类别经常被错误地分类为背景,尤其是那些具有简单几何形状的类别。其他类别则容易与视觉上相似的物体混淆,这在制造领域很常见,因为许多零件具有相似的视觉特征。因此,无论生成多少合成数据,某些类别的表现始终不如其他类别。
本文通过引入SAL来解决这两个挑战,SAL是一种针对模型弱点并自动生成不同任务所需DR合成数据的策略。
**2.3. 物体检测**
物体检测在工业自动化中至关重要,支持质量检测、零件定位和机器人操作等任务。EfficientDet、YOLOv8和DETR[19]、[20]、[21]等流行模型在速度和准确性之间取得了良好的平衡,非常适合实时应用。YOLOv8[20]是YOLO系列中最新的模型之一,在性能和适应性方面表现优异。它在多种基准测试中都取得了高准确率,并能够在边缘和云平台上实现高效推理[20]。
全面的调查[2]、[22]、[23]提供了关于物体检测最新进展及其在工业应用中相关性的详细概述。基于其性能、可扩展性和部署灵活性,我们选择YOLOv8[20]作为本工作中所有物体检测实验的基础模型。
**2.4. 主动学习和迭代合成数据生成**
主动学习是一种通过有效选择最具信息量的样本进行标注来最大化模型性能的方法[24]。常见的查询策略包括不确定性采样(Uncertainty Sampling),模型选择它最不确信的样本;委员会查询(Query-By-Committee),选择模型间意见最不一致的样本;以及预期模型变化(Expected Model Change),优先选择预期会对模型产生最大更新的样本[24]、[25]、[26]。在物体检测中,主动学习专注于识别最具挑战性的图像或区域,以减少对标注的需求。
受这些原理的启发,一些研究探索了主动生成对模型性能影响更大的合成数据的方法。Ruiz等人[13]使用强化学习与策略梯度来调整模拟参数,生成与真实数据分布密切匹配的合成数据。Kar等人[14]开发了Meta-Sim,这是一种生成模型,用于修改场景图以使合成数据与真实世界分布对齐。Kishore等人[15]提出了一种循环模仿训练过程,其中生成合成数据以模拟在真实数据评估中识别的失败情况,并迭代重新训练模型直到性能稳定。Perri等人[16]提出了一种工作流程,用于生成合成图像并评估模型性能。如果结果令人满意,就用真实图像对模型进行微调;否则,手动调整合成数据生成设置。Eversberg和Lambrecht[27]在合成数据上训练模型,使用混合查询策略选择真实图像进行标注,并使用标注的真实数据迭代微调模型以持续改进。
然而,所有这些方法在训练和进化过程中都依赖于真实图像来指导数据生成。这些模型并非完全自动化,需要人工干预来调整数据生成过程或标记选定的样本。在本文中,我们提出了一种完全自动的模型优化方法,该方法完全基于合成数据操作,无需真实图像或手动调整。
3. 方法
受主动学习的启发,我们设计了合成主动学习(SAL)策略,该策略主动生成专注于模型薄弱环节的合成数据,并持续提升其性能。可以将其视为从无限的变化集合中选择有用的数据来进行合成,而不是让人类参与选择标记数据的过程。完整的SAL过程如图1所示。它首先使用DR生成合成数据,然后用这些数据训练对象检测模型。接下来,使用四个自定义评估器对模型进行评估:类别性能评估器、误分类评估器、挑战性尺寸评估器和整体性能评估器,以识别特定的性能弱点。这些发现指导了四个自定义更新器:类别分布更新器、对象成对更新器、对象尺寸更新器和对象材质更新器,它们调整数据生成设置以产生新的合成数据,以解决已识别的弱点。这种生成、训练和评估的迭代循环自动进行,无需真实数据或人工干预,并持续进行,直到模型性能稳定且进一步改进的空间很小。为了支持高效的同时训练和数据生成,我们引入了一种数据块移位方案来管理数据流。以下部分将更详细地描述SAL的每个组成部分。
3.1. 合成数据生成
合成数据是使用[12]中介绍的流程生成的。它从3D CAD模型创建RGB图像,并在五个组件上应用DR:对象特征、场景、相机、照明和后处理。每个组件都由可配置参数控制,这些参数定义了随机化的范围。例如,对象特征由max_objects(对象的最大数量)、object_weights(类别采样权重)、object_pair_matrix(共同出现权重)、object_distance_scale(对象距离)和objects_texture_type等参数控制。相机设置通过camera_zoom、camera_phi和theta(相机旋转)等参数进行随机化。照明通过light_energy和color进行变化。场景随机化背景和干扰物,而后处理应用模糊和噪声等增强效果。这些参数共同定义了每个合成场景,对于实现数据集的多样性和真实性至关重要。主要参数在表1中总结,更多细节在附录A中提供。该流程使用Blender的Python API(bpy)[28]实现,并利用基于物理的渲染和光线追踪引擎来模拟真实的光线传播。这使得能够生成具有准确阴影、反射和材质效果的真实图像。最终输出包括渲染图像及其相关注释,如边界框。
表1. 合成数据流程[12]中的关键领域随机化(DR)组件和参数。这些参数控制生成数据的变化,并在训练期间由SAL更新器选择性地修改。
3.2. 评估标准
生成的合成数据随后被划分为训练集和验证集。在SAL训练过程中,我们应用四个评估器来分析训练模型并识别其性能较低的区域。这些评估器包括:
(1) 类别性能评估器:先前关于从模拟到真实的多对象检测的研究[10]、[12]经常显示某些类别的性能不足。为了识别这些薄弱类别,我们计算每个类别c的不正确性得分Ic,定义为错误预测(假阳性FP和假阴性FN)与该类别总预测数量的比率:(1)Ic=FPc+FNc/(TPc+TNc+FPc+FNc)。然后我们应用四分位数范围(IQR)方法[29]来检测不正确性得分集{Ic1,Ic2,…,IcK}中的统计异常值,其中K是对象类别的总数,值按升序排列。第一和第三四分位数计算为:Q1=Ic0.25?K,Q3=Ic0.75?K。异常值(表现不佳)类别c的集合由以下公式给出:(2)cout=c|Ic>Q3+α(Q3?Q1),其中α=0.2是控制异常值检测敏感度的阈值乘数。
(2) 误分类评估器:在从模拟到真实的学习中[10]、[12],视觉上相似的工业对象之间的误分类是一个常见挑战。为了评估这一点,我们使用混淆矩阵M∈RK×K来识别频繁被错误分类的类别对。每个条目Mi,j记录了真实类别i被错误预测为类别j的次数。对角线条目Mi,i(表示正确预测)被排除在外,以专注于误分类模式。表2(1)展示了一个混淆矩阵的示例。
(3) 挑战性尺寸评估器:
表2. 误分类评估器和对象成对更新器中使用的混淆矩阵样本。
(1) 混淆矩阵
GT \PTABCA12B31C03
(2) 更新后的对象成对矩阵
GT \PTABCA1/32/3B3/41/4C01
为了评估模型是在处理小对象还是大对象时遇到更多困难,我们计算尺寸比率Sr:(3)Sr=μGT/μI,其中μGT和μI分别是真实训练集和错误预测集的平均边界框面积。具有N个边界框的数据集的平均面积定义为:(4)μ=1/N∑i=1N(wihi),wi和hi分别表示第i个边界框的宽度和高度。如果Sr>1,则表示模型在处理小对象时遇到更多困难;而Sr<1则表明模型在处理大对象时遇到困难。
(4) 整体性能评估器:为了监控模型的整体性能并确定何时改进达到饱和,从而停止迭代循环,我们使用标准指标:平均精度(mAP)、精确度和召回率。
3.3. 更新合成数据生成
根据评估结果,设计了四个更新器来更新表1中描述的DR参数配置文件,以生成包含评估器识别出的更具挑战性的新数据。这些更新器包括:
(1) 类别分布更新器:对象类别采样参数object_weights是一个列表,定义了每个类别的采样概率。在默认设置中,所有类别都均匀采样。使用类别性能评估器检测到表现不佳的类别cout后,对象权重更新为仅从这些异常值中采样,概率相等:(5)object_weightsc=1|cout|, if i∈cout; otherwise
(2) 对象成对更新器:参数object_pair_matrix控制不同对象类别在同一场景中共同采样的可能性。默认情况下,类别对均匀采样。为了强调频繁混淆的类别对,通过归一化误分类评估器中的混淆矩阵M的每一行(排除对角线)来更新此参数:(6)object_pair_matrixi,j=Mi,j∑j′≠i if ∑j′≠i; Mi,j′≠0; otherwise,其中j′是代表除i之外的所有类别的虚拟索引。这种归一化增加了经常与类别i混淆的类别在同一场景中出现的概率。表2(2)展示了更新后的对象成对矩阵的一个示例。
(3) 对象尺寸更新器:为了生成对模型更具挑战性的对象尺寸,根据挑战性尺寸评估器中的尺寸比率Sr调整五个参数。它们是camera_zoom_min和camera_zoom_max,控制相机的缩放级别(增加缩放会放大对象);object_distance_scale_min和object_distance_scale_max,控制对象之间的距离(减小对象距离会增大它们的外观尺寸);以及max_objects,确定场景中放置的对象数量(对象较少会导致单个实例变大)。所有参数都在基于合理渲染约束[a,b]的预定义范围内。由于减小这些参数会增加对象尺寸,每个参数p都按比例更新为Sr,值被裁剪以保持在有效范围内。更新规则为:(7)p←min(b, max(a,Srp))
(4) 对象材质更新器:先前的工作[12]表明,与使用完全随机的纹理相比,具有独特材质(如金属)的对象在生成合成数据时受益于结构化和真实的纹理。因此,由于金属对象在制造业中很常见,在生成新的表现不佳的类别时,修改object_texture_type参数以应用多样的金属纹理,而不是默认的完全随机纹理(例如,随机RGB值、图像或程序化纹理)。
3.4. SAL训练循环
完整的SAL训练循环在算法1中描述。我们引入了一种数据块移位方案来同时管理训练和生成,并处理数据移位。数据被划分为n个块,每个块包含相同数量的数据,如图1的执行流程所示。在每次迭代中,一个块Bgen被保留用于数据生成,而其他块用于训练。保留的块在所有块之间循环,以确保所有块都定期更新。例如,在第一次迭代中,模型在块B1、B2、…、Bn?1上进行训练,而Bgen=Bn用于生成新数据。在下一次迭代中,Bgen=B1被保留用于生成,模型在B2、B3、…、Bn上进行训练,其中Bn包含上一次迭代生成的新数据。这种方案使模型不断接触新数据,使其能够适应不断变化的真实世界环境。同时,训练集的大小保持不变,以防止由于数据集持续扩展而导致更新稀释和计算开销。块的数量n根据可用计算能力确定,以平衡训练和生成时间。如果n太大,训练占主导地位,减少了新生成的数据量并减缓了更新对性能的影响。如果n太小,生成占主导地位,导致每个周期的训练数据不足,可能导致欠拟合。在这两种情况下,训练和生成时间之间的不平衡可能会导致效率低下,因为一个过程需要等待另一个过程。此外,由于更新器专注于为表现不佳的类别生成数据,一旦所有数据块都更新完毕,数据集可能会被这些类别所主导。为了防止逐渐或灾难性地忘记其他类别,我们让每个块生成混合的新数据,包括表现不佳的类别和原始配置的数据,涵盖所有类别。
有了评估器、更新器和数据块移位机制,循环自动运行,并在整体性能评估器显示没有或很少改进时或达到最大迭代次数时结束。然后在验证集上保存最佳模型,并在真实数据上对其进行评估以确认其有效性。
4. 实验
4.1. 数据集
SAL在两个工业部件检测数据集上进行评估。第一个是机器人数据集[10],包含10个工业CAD模型和190张带注释的真实图像,共有920个对象实例。第二个是SIP15-OD数据集[12],包含15个工业对象,涵盖三种制造用例:U1(来自卡车驾驶室的五个对象)、U2(来自卡车车顶的三个对象)和U3(来自卡车变速器的七个对象)。它提供了321张真实图像,包含877个对象实例,这些图像是在各种物流场景中捕获的。这两个数据集[10]、[12]都包括具有挑战性的制造对象:(1) 简单的几何形状对象(例如,electricity12v、hook、plug),这些对象经常被误认为是背景;(2) 视觉上相似的对象(例如,seat vs. body、pin1 vs. pin2、gear1 vs. gear2)。这些对象的示例如图2所示。
表2. 误分类评估器和对象成对更新器中使用的混淆矩阵样本。
(1) 混淆矩阵
GT \PTABCA12B31C03
(2) 更新后的对象成对矩阵
GT \PTABCA1/32/3B3/41/4C01
为了评估模型是在处理小对象还是大对象时遇到更多困难,我们计算尺寸比率Sr:(3)Sr=μGT/μI,其中μGT和μI分别是真实训练集和错误预测集的平均边界框面积。具有N个边界框的数据集的平均面积定义为:(4)μ=1/N∑i=1N(wihi),wi和hi分别表示第i个边界框的宽度和高度。如果Sr>1,则表示模型在处理小对象时遇到更多困难;而Sr<1则表明模型在处理大对象时遇到困难。
(4) 整体性能评估器:为了监控模型的整体性能并确定何时改进达到饱和,从而停止迭代循环,我们使用标准指标:平均精度(mAP)、精确度和召回率。
4.2.实验设置
我们在三种训练设置下比较了模型性能:(1)静态训练:仅在最初的4000张静态合成图像上训练的基线模型,不进行连续数据生成。(2)不更新的SAL训练:使用原始配置连续生成新的合成数据,不进行更新,作为评估四种更新器效果的基准。(3)带有更新的SAL训练:在应用四种更新器的同时连续生成新的合成数据,以适应模型中的弱点。
4.3. 实施细节
本工作中使用了Yolov8模型[20]作为对象检测器,因为它具有鲁棒性和高效性,并已在COCO数据集上进行了预训练。为了确保高效的并行处理,训练和合成数据生成分别在两个独立的A100 Tensor Core GPU上执行。合成图像的分辨率为720 × 720,使用Blender[31]中的Cycles引擎[30]和光线追踪渲染技术生成。总图像数量设置为5333张,分为四个数据块(n=4)。三个块(4000张图像)用于训练,一个块(1333张图像)用于每次SAL迭代中生成新数据。为了防止模型遗忘,70%的新图像使用更新后的配置生成,30%使用原始配置生成。
我们在PyTorch中实现了自己的YOLOv8训练循环,确保所有实验中的架构和训练超参数一致。对于所有实验,使用AdamW优化器、LambdaLR调度器、批量大小为70以及学习率为1e?5来训练YOLOv8m变体。每个SAL循环至少运行100个周期,然后应用评估器和更新器。训练持续进行,直到模型性能稳定或达到2000个周期的最大值。在验证集上表现最好的模型被保存下来。每次SAL训练在两个GPU上需要28到32小时。所有实验重复三次,并报告平均结果。评估使用0.6的IoU阈值和0.5的置信度阈值进行。生成和训练参数的详细列表可以在附录A中找到。
由于本工作专注于评估SAL与静态学习的对比,我们没有包括与其他实现(例如,使用Ultralytics实现的YOLOv8)或其他对象检测器(例如,YOLOv4、DETR)的比较,以避免由于架构和训练实现细节不同而导致的不一致性。
5. 结果与讨论
5.1. 总体结果
三个实验的结果总结在表3中。与静态学习相比,带有四种更新器的SAL在四个用例中分别提高了2.60%、3.60%、6.64%和2.04%的百分比,显示出一致的收益。它在所有情况和场景中的mAP@50得分都在90%以上,表明在各种制造环境中具有强大的整体性能。这些结果在不同置信度阈值下保持了鲁棒性,如附录B中的精确度-召回率曲线所示。不带更新器的SAL也显示出改进,尽管不如带更新器的显著。
为了进一步分析,图4绘制了机器人用例中每个周期的训练损失和mAP得分,将SAL(带更新器和不带更新器)与静态模型进行了比较。子图(a)、(d)和(g)显示,由于每次循环引入新数据,SAL的训练损失波动较大,导致损失最初上升后再次下降。
表3. 所有实验和用例的数据描述及mAP@50得分(%)比较。
空单元格
类别
真实图像
结果
空单元格
空单元格
静态
SAL 无更新器
SAL 全部更新器
机器人
101
90
94.93
96.63
97.53
U1
57
85.63
85.53
89.23
U2
39
191.03
95.83
97.67
U3
71
60
89.23
90.13
91.27
每个用例的最高得分用粗体标出。
下载:下载高分辨率图像(619KB)
下载:下载全尺寸图像
图4. 机器人用例中带有全部更新器的SAL模型(SAL)、不带更新器的SAL模型(SAL w/o)和静态模型之间的性能比较。(a)、(d)和(g)显示了结合分类和边界框损失的训练损失,而(b)、(c)、(e)、(f)、(h)和(i)显示了mAP@50得分,包括总mAP和类别mAP。mAP@50使用20的窗口大小进行移动平均处理以清晰显示。mAP@50的图例包括:整体mAP@50、L形支架、U形支架、角支架、座椅、管夹、把手、引擎盖、车身、球体、电缆鞋。(关于此图例中颜色的解释,请参阅本文的网络版本。)
子图(b)、(e)和(h)显示了合成验证集上的mAP@50,而(c)、(f)和(i)显示了真实测试集上的mAP@50。每个都包括总mAP和类别mAP,并使用20的窗口大小进行平滑处理以清晰显示。请注意,模型在训练期间没有遇到真实数据,此分析仅用于训练后评估。
带有更新器的SAL模型在所有指标上始终表现出最佳性能,并且优于静态基线,特别是在改善表现不佳的类别(如用红色突出显示的角支架)方面,从而实现了更平衡的整体性能。不带更新器的SAL也提高了整体准确性,但未能增强较弱的类别,这表明仅依靠均匀随机化连续生成合成数据可能不够。这些结果突显了SAL的价值,并验证了评估器和更新器在针对模型弱点方面的有效性。
此外,在(h)中,静态模型在验证集上的mAP随时间下降,表明过拟合,因此在第384周期时保存了最佳模型。然而,在(i)中,真实测试集的性能在第500周期后仍然有所提高,这突显了使用合成验证集选择最佳模型用于真实数据的挑战性。相比之下,(b)和(e)中的SAL模型从新数据中受益,显示出验证mAP的稳步上升,并在接近第1800周期时趋于饱和,此时保存了最佳模型。相应的真实测试性能在(c)和(f)中也趋于稳定,表明SAL延长了有效学习时间并延迟了过拟合。因此,当验证基于合成数据时,SAL可能实现更可靠的模型选择。
5.2. 类别结果
为了进一步评估类别性能,我们在图5中比较了带有全部更新器的SAL与静态模型的精确度、召回率和mAP@50得分。较深的颜色表示SAL,而较浅的颜色表示静态模型。SAL显著改善了大多数表现不佳的类别,包括机器人数据集中的座椅和把手、U1中的electricity12V、U2中的fork1和fork2以及U3中的pin1。除了U1中的electricity12V和U3中的gear1和pin1外,所有类别的mAP@50得分都超过了90%,证实了其鲁棒性。与静态模型相比,球体(机器人)和gear1(U3)的性能略有下降。这可能是由于评估器和更新器依赖于合成验证,这并不能完全反映真实世界的分布。尽管如此,总体改进表明,即使不完美的合成验证也能有效揭示模型弱点,生成有针对性的合成数据可以提高合成和真实世界的性能。
下载:下载高分辨率图像(277KB)
下载:下载全尺寸图像
图5. 所有用例中带有全部更新器的SAL模型与静态模型之间的类别结果(%)比较。P代表精确度,R代表召回率。
为了说明这些改进,附录C提供了静态模型和SAL预测之间的定性比较。这些可视化显示,SAL减少了常见的错误分类,包括对象与背景、对象与干扰物以及视觉上相似的对象之间的混淆。
5.3. 评估器和更新器的分析
为了更好地理解SAL如何实现其改进,我们检查了评估器输出以及更新器在整个训练过程中的相应效果。在全部2000个周期中,根据每个循环的收敛条件,SAL每个用例大约运行了9到11个循环。表4总结了每个用例中观察到的评估器结果趋势,而图6显示了SAL循环中每个类别的详细不正确性得分Ic。这些评估器输出直接指导更新器决策,从而指导新数据的生成。图7显示了更新前后的合成图像示例。
表4. SAL训练期间各用例中评估器结果趋势的总结。
用例
最错误的类别
最混淆的类别
大小比例 Sr
机器人
L形支架、角支架、管夹
管夹 ? 座椅、角支架 → 电缆鞋
→0.89
→ 1.02
U1
electricity12v、钩子、插头
electricity12 ? 钩子、钩子 → 插头
→1.79
→ 1.02
U2
fork1、fork2
fork1 ? fork2
→1.21
→ 0.96
U3
联轴器
半、gear1、gear2、pin1、pin2
pin1 → pin2、gear1 ? gear2
→0.99
→ 0.93
下载:下载高分辨率图像(530KB)
下载:下载全尺寸图像
图6. SAL中类别性能评估器的结果。图表显示了所有用例中每个周期(x轴)的每个类别的不正确性得分Ic(y轴),说明了SAL如何随着时间的推移改善表现不佳的类别。
下载:下载高分辨率图像(2MB)
下载:下载全尺寸图像
图7. 更新前后合成图像的样本。每个用例显示两张静态图像和两张SAL生成的图像。SAL场景是根据评估器输出进行调整后生成的,通常包含更多表现不佳的对象、共存的混淆对、具有挑战性的对象比例以及更真实的纹理。总体而言,这些结果显示了更新器如何引导数据生成以解决评估器识别的模型弱点。例如,如表4所示,在U2中,fork1和fork2始终是最错误的类别。混淆矩阵表明它们经常被错误分类,而大小比例的减少表明当对象较小时这种混淆最为频繁。作为响应,更新器生成了更多fork1和fork2同时以小比例出现的图像(图7(f))。在这些目标样本上的训练随着时间的推移降低了fork1和fork2的不正确性得分(图6(c)),从而提高了整体模型性能。
在其他用例中也观察到了类似的评估器引导的响应。在机器人用例中,如pipe_clamp和angle_bracket等部件经常与形状相似的物体混淆。在U1中,大小偏差尤为明显,electricity12v作为一个小圆形物体,早期显示出较高的不正确性。在U3中,视觉上相似的部件如gear1/gear2和pin1/pin2经常被混淆。这些结果促使更新器生成更多包含这些挑战性元素的区分性场景。在所有情况下,这种有针对性的生成导致表现不佳类别的不正确性得分一致减少,如图6所示。
5.4. 消融研究
我们通过消融研究评估了每个更新器在SAL中的贡献,结果总结在表5中。保留了类别分布更新器,因为它对于改善表现不佳的物体至关重要。移除材料更新器导致所有用例的性能下降了大约2个百分点,突显了对于工业物体来说,像金属这样的真实纹理比随机纹理更有价值。移除成对更新器导致U1和U2的性能下降,而在其他用例中保持相似。有趣的是,移除大小更新器仅对U1的性能产生了负面影响,而在其他用例中显示出相似或略有改进的结果。这可能是由于在大小评估器中使用平均大小指标来计算错误预测。未来的工作可以改进大小评估器和更新器,以更有效地解决这一限制。
我们进一步通过消融研究评估了SAL对其初始配置的敏感性,针对四个关键超参数进行了研究:训练数据大小、随机种子、后处理和评估耐心。对于前三个设置,同样的变化也应用于不带更新器的SAL(SAL w/o)和静态训练,作为一致比较的基准。在每个实验中,改变一个参数,而其他参数保持在其默认值,并在机器人和U3用例上测量性能。结果总结在表6中。
表5. 不同更新器设置下SAL的所有用例的mAP@50得分(%)比较。
类别
所有更新器
无成对更新器
无大小更新器
无材料更新器
机器人
97.53
97.13
97.47
96.80
U1
89.23
85.67
84.80
87.23
U2
97.67
95.63
98.53
95.83
U3
91.27
91.03
91.33
89.23
每个用例的最高得分用粗体标出。
表6. 机器人用例和U3的关键超参数消融(mAP@50%)。
超参数
值
机器人
U3
空单元格
空单元格
静态
SAL 无更新器
SAL 静态
SAL 无更新器
SAL 数据大小
4k
94.93
96.63
89.23
90.13
91.27
空单元格
8k
96.30
95.50
95.30
90.10
90.80
92.10
空单元格
12k
96.50
96.20
96.70
91.70
90.80
训练种子
0
93.50
96.40
89.00
90.60
90.40
空单元格
195.70
96.70
97.50
89.40
89.90
91.30
空单元格
295.60
96.80
97.30
89.30
89.90
后处理
0.07
4.10
76.20
75.20
79.80
83.20
87.20
概率
0.29
4.93
96.63
89.23
90.13
91.27
空单元格
0.59
5.60
96.90
95.90
84.30
87.50
评估耐心
10
96.90
90.80
(仅SAL)
50
97.23
89.60
空单元格
100
空单元格
200
93.10
90.13
实验包括静态模型、不带更新器的SAL模型(SAL w/o)和带有全部更新器的SAL模型(SAL)。默认设置为:数据大小 = 4k,训练种子 = 随机,后处理概率 = 0.2,评估耐心 = 100。每行中的最高分数(静态、无SAL、有SAL)以粗体标出,每个超参数块中的最高分数还会额外高亮显示。总体而言,SAL相对稳定,不同设置下的变化主要集中在2%的mAP范围内。这些变化出现在所有方法中,但性能排名(SAL > 无SAL > 静态)在两种使用情况下都保持一致。SAL在每个超参数设置中都取得了最佳分数(在表6中用蓝色标出)。对于训练数据量,SAL仅使用4k样本就能达到高准确率。静态模型从增加的数据量中受益更多,但它们的提升在某些限制下会趋于平稳,这些限制因使用情况而异,需要手动调整超参数来优化。相比之下,SAL更早地达到更高性能,并且无需手动调整即可保持可扩展性,并且始终优于无SAL的情况。对于随机种子,三种独立运行之间的变化小于2%,SAL始终优于两个基线。对于后处理概率(包括垂直翻转、水平翻转、模糊、灰度化、CLAHE、亮度/对比度、伽马校正、图像压缩、裁剪和填充以及乘性噪声等增强操作),增强处理被证明是必不可少的:移除这些处理会导致所有方法的性能急剧下降。适度的增强(0.2)会产生最佳结果,而更强的增强(0.5)会略微降低准确率,这表明过度的增强会引入噪声,从而影响泛化能力。对于评估耐心度,即决定在调用四个评估器之前训练多少个周期,过于频繁(10)和过于延迟(200)的更新都会降低准确率。最佳结果是在50-100个周期内获得的,表明平衡的更新频率可以让SAL稳步改进,而不会过早或延迟反馈。总之,这些结果表明SAL对超参数选择具有鲁棒性,并且始终优于两个基线。
5.5. 局限性和未来工作
根据图5,U3中的gear1和pin1的mAP@50约为80%,而U1中的electricity12v低于70%。为了更好地理解这些表现较差的类别,我们分析了真实测试集(附录B中提供)的混淆矩阵以及定性结果。图8展示了每种使用情况的代表性失败案例。这项分析揭示了当前SAL中使用的评估器和更新器未能完全捕捉到某些现实世界中的挑战。我们确定了三种常见的失败模式:
a. 带有附加组件的对象。一些对象经常带有CAD模型中未包含的配件。例如,electricity12V开关通常安装在一个黑色底板上,而气枪则与一根粗大的黑色软管缠绕在一起。这些额外的组件引入了视觉杂乱,这在合成训练数据中没有反映出来,导致与背景或附近的干扰物混淆。一种解决方案是扩展CAD模型以包括这些配件。或者,可以引入一个背景更新器来模拟带有附近干扰物的杂乱场景,帮助模型更好地学习对象边界。
下载:下载高分辨率图像(892KB)
下载:下载全尺寸图像
图8. 不同使用情况下的代表性失败案例。顶部行显示真实标注(GT);底部行显示相应的SAL预测。图像为了布局进行了裁剪,同时保持了原始的纵横比。
b. 简单形状的挑战性视图。当从上方观察时,如球、pin1和pin2等对象经常被错误分类,尤其是当它们直立时(图8(a)和(d))。它们圆形的自上而下的外观使它们容易被忽略,难以与背景区分开来。未来的工作可以引入一个姿态评估器来跟踪模型在不同物体方向上的表现,并引入一个姿态更新器来生成更多最具挑战性的姿态样本。
c. 在近距离内视觉上相似的对象。看起来相似的对象,如fork1和fork2、pin1和pin2或gear1和gear2,在放置得非常接近或从某些相似的姿态观察时很难区分(图8(c)和(d))。为了解决这个问题,未来的工作可能会结合姿态更新器、成对更新器以及对object_distance_scale的调整,来生成相似对象在近距离内以具有挑战性姿态出现的场景。
表A.7. 合成数据生成参数。用于生成实验中合成图像的领域随机化设置,涵盖了场景、对象特征、相机、照明和后处理组件及其描述和值。
参数 | 描述 | 默认值
--- | --- |
scene | background_texture_type | 纹理类型:1:无纹理;2:来自BG-20L数据集的随机图像 |
total_distracting_objects | 场景中干扰物的最大数量 | 10 |
object_characteristics | max_objects | 对象的最大数量;设置为-1包括所有对象和空背景图像 | -1 |
multiple_of_same_object | 允许在一个场景中出现多个相同对象 | TRUE |
object_weights | 对象类别的权重;[]表示均匀分布 | [] |
nr_objects_weights | 对象数量的权重;[]表示均匀分布 | [] |
object_rotation_x | 对象的x轴旋转角度最小-最大值 | 0–360 |
object_rotation_y | 对象的y轴旋转角度最小-最大值 | 0–360 |
object_distance_scale | 对象之间的距离比率最小-最大值;0.53防止重叠 | 0.53–1 |
objects_texture_type | 纹理类型:1:RGB;2:图像;3:PBR材料;0:随机 | 3 |
camera | camera_zoom | 相机的最小-最大缩放级别 | 0.1–0.7 |
camera_theta | 相机的最小-最大方位角 | 0–360 |
camera_phi | 相机的最小-最大极角(最大:90度) | 0–60 |
camera_focus_point_x | 相机焦点的x轴最小-最大偏移量 | 0–0.5 |
camera_focus_point_y | 相机焦点的y轴最小-最大偏移量 | 0–0.5 |
camera_focus_point_z | 相机焦点的z轴最小-最大偏移量 | 0–0.5 |
illumination | light_count_auto | 根据场景大小自动设置的光线数量 | 1 |
light_energy | 光线的最小-最大能量级别 | 5–150 |
light_color_red | 光线的最小-最大红色值 | 0–255 |
light_color_green | 光线的最小-最大绿色值 | 0–255 |
light_color_blue | 光线的最小-最大蓝色值 | 0–255 |
post_processing | vertical_flip | 应用垂直翻转增强的概率 | 0.2 |
horizontal_flip | 应用水平翻转增强的概率 | 0.2 |
blur | 应用模糊增强的概率 | 0.2 |
to_gray | 将图像转换为灰度的概率 | 0.2 |
clahe | 应用CLAHE的概率 | 0.2 |
randombrightness_contrast | 应用亮度/对比度调整的概率 | 0.2 |
random_gamma | 应用随机伽马校正的概率 | 0.2 |
image_compression | 应用图像压缩增强的概率 | 0.2 |
crop_and_pad | 应用裁剪和填充增强的概率 | 0.2 |
multiplicative_noise | 应用乘性噪声的概率 | 0.2 |
6. 结论
在本文中,我们介绍了合成主动学习(SAL),这是一种完全自动化的模型优化策略,它通过使用领域随机化主动生成合成数据来提高工业对象检测性能。SAL通过识别模型的弱点(如表现不佳的类别、对象大小、材料和令人困惑的对象对)来迭代优化模型,并生成新的合成数据来持续训练模型。在四个工业用例中进行评估时,SAL始终优于静态学习,mAP@50的改进幅度在2到6个百分点之间。它实现了两个主要目标:(a) 在不需要大量超参数调整的情况下提高模型在多样化工业用例中的性能;(b) 提高静态训练未能解决的性能不佳类别的准确率。这些结果表明,SAL提供了一种可扩展的、完全自动化的替代方案,可以替代手动数据收集和注释,用于制造零件检测。通过减少对真实数据和领域特定工程的依赖,它加速了基于视觉的系统(如质量检查、分拣和机器人拣选)的部署。SAL在早期站点设计中特别有用,可以在物理零件可用之前进行模型开发,并允许快速适应新的站点或产品变体,而无需收集新的真实世界数据。这使得它非常适合灵活、高混合度的制造,并支持向模拟驱动、数据高效的人工智能的转变。展望未来,SAL可以扩展到更多应用,如分割、姿态估计和AR/VR引导,这些在工业4.0的背景下代表了从模拟到现实的有希望的机会。
CRediT作者贡献声明
Xiaomeng Zhu:写作——审阅与编辑、撰写原始草稿、可视化、验证、软件、资源、项目管理、方法论、调查、形式分析、数据整理、概念化。
Jacob Henningsson:验证、软件、方法论、概念化。
P?r M?rtensson:监督。
Lars Hanson:监督。
M?rten Bj?rkman:写作——审阅与编辑、监督。
Atsuto Maki:写作——审阅与编辑、监督。
关于写作过程中生成式AI和AI辅助技术的声明
在准备这项工作时,作者使用了Chat-GPT来润色语言。使用该工具后,作者根据需要审查和编辑了内容,并对出版物的内容负全责。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号