《Sensors》:Novel Robotic Test Rig for Camshaft Geometry Measurement with a Collaborative Robot
Agnieszka S?kala,
Jacek Królicki,
Tomasz Blaszczyk,
Piotr Ociepka,
Krzysztof Foit,
Gabriel Kost,
Maciej Ka?mierczak,
Grzegorz Go?da and
Wojciech Jamrozik
编辑推荐:
在资源受限的物联网(IoT)设备上部署轻量级卷积神经网络(CNNs)以提供视觉服务,已成为解决计算与能耗约束的主流方案。然而,这些IoT设备常运行于复杂的户外环境(如雾、雨、雪),所采集的数据质量易发生退化,导致标准轻量级CNNs在数据损坏下性能显著下降。为此
在资源受限的物联网(IoT)设备上部署轻量级卷积神经网络(CNNs)以提供视觉服务,已成为解决计算与能耗约束的主流方案。然而,这些IoT设备常运行于复杂的户外环境(如雾、雨、雪),所采集的数据质量易发生退化,导致标准轻量级CNNs在数据损坏下性能显著下降。为此,本研究提出一种生成式非线性变换滤波器(Generative Nonlinear Transformation Filter, GNTF)方法,旨在提升轻量级CNNs在损坏数据上的泛化性能。GNTF的核心思想在于,仅使用部分滤波器作为可学习参数(称为种子滤波器),而其余滤波器则通过对种子滤波器应用非线性变换来生成,这些变换在训练过程中被随机初始化并固定。该设计使模型参数对训练数据分布的依赖性降低,从而正则化模型、缓解过拟合,并增强其对数据退化的鲁棒性。GNTF进一步分析了轻量级CNNs的结构特性,表明仅通过替换深度卷积(Depthwise Convolution)模块即可实现显著的性能提升。此外,本研究考察了各种非线性变换函数的特性,发现通过简单的平移操作即可提升模型鲁棒性。为验证GNTF的有效性,研究人员在CIFAR-10/-100、CIFAR-10-C/-100-C和ICONS-50数据集上,使用MobileNetV2、ShuffleNetV2、EfficientNet和GhostNet模型进行了大量实验。结果表明,所提出的GNTF能够在大多数情况下,在提升模型在损坏数据上的准确率的同时,减少可训练参数的数量。例如,在CIFAR-10-C数据集上,应用GNTF的ShuffleNetV2模型在略微减少可训练参数的同时,准确率比原始模型提高了约3.3%。
随着物联网(IoT)与边缘计算技术的快速发展,在资源受限的IoT设备(如智能摄像头和传感器)上部署轻量级卷积神经网络(CNNs)以提供实时视觉服务,已成为推动人工智能普及的关键路径。这些设备广泛部署于户外,其采集的数据常受雾、雨、雪等复杂环境因素影响,导致在标准数据上训练的标准轻量级CNNs性能急剧下降。因此,研究在不增加IoT设备计算负担的前提下,增强CNN模型对损坏数据的鲁棒性,对于确保边缘智能服务的可靠性至关重要。
现有的相关工作,如MonoCNN,通过将部分卷积层滤波器固定为种子滤波器,并通过不可学习的非线性变换函数生成其余配置,来提升模型鲁棒性。SineFM在生成特征图时,也应用具有不可学习超参数的非线性变换从CNN中生成额外的特征图。SeFA通过引入包含不可学习参数的微调分支,改善了模型微调的鲁棒性。然而,上述方法仍存在以下两方面的局限:(i)它们主要集中于提升标准CNNs的鲁棒性,而对包含1×1卷积和深度卷积的轻量级CNNs的鲁棒性研究尚不充分;(ii)它们直接将非线性变换函数应用于滤波器或特征图,缺乏对非线性变换函数本身特性的分析和比较。
为此,本研究旨在探索一种增强轻量级CNN模型鲁棒性的方法。其核心目标是在保持甚至降低模型复杂度的前提下,通过引入结构化的参数生成约束,赋予轻量级CNNs强大的泛化能力。为实现这一目标,研究人员提出了生成式非线性变换滤波器(Generative Nonlinear Transformation Filter, GNTF)方法。
首先,确立了方法的核心原理:打破传统卷积层中完全独立学习所有滤波器参数的做法。研究仅使用网络中部分滤波器作为可学习的种子滤波器,而大多数其他滤波器的参数则通过对这些种子滤波器应用非线性变换函数生成,该变换具有随机初始化的超参数,并在训练过程中保持固定。这种设计减少了模型参数对训练数据统计分布的依赖,从而引入了一种与数据无关的“先验”结构,提供了强大的正则化,抑制了过拟合并增强了对分布外扰动的稳定性。
其次,揭示了高效应用所提GNTF的两个关键前提:第一个是层类型的可选择性:实验表明,将生成规则应用于轻量级模型中负责空间特征提取的3×3深度卷积时效果显著,而应用于1×1逐点卷积时效果甚微。这表明了所提GNTF有效的特定结构边界。第二个是对非线性变换函数特性的分析。通过比较各种函数后发现,过原点的函数能带来最大的性能提升。通过简单地平移不过原点的非线性变换函数,即可提升模型的鲁棒性。
最后,在多个基准数据集(包括CIFAR-10-C、CIFAR-100-C和ICONS-50)上验证了研究发现。使用MobileNetV2、ShuffleNetV2、EfficientNet和GhostNet作为骨干网络的实验结果表明,GNTF在遵循上述原则的情况下,能够同时实现减负增效的目标。例如,在CIFAR-10-C数据集上,GNTF-ShuffleNetV2在提升约3.3%准确率的同时,将可训练参数数量减少了约11%。
总结而言,研究人员的主要贡献如下:
本研究提出了一种轻量级CNN鲁棒性增强方法GNTF,该方法通过固定的非线性变换函数生成滤波器,从而注入独立于训练数据的结构化先验,在不增加推理开销的情况下提升鲁棒性。
本研究发现,在同时包含深度卷积和逐点卷积的轻量级CNN架构中,仅将生成式非线性变换滤波器(GNTF)应用于深度卷积部分,能最有效地提升模型的鲁棒性。
本研究发现,通过对各种非线性变换函数进行深入分析,仅通过执行平移操作即可进一步增强模型对数据退化的鲁棒性。
本研究通过实验证明,所提出的基于MobileNetV2、ShuffleNetV2、EfficientNet和GhostNet架构的GNTF,在分布式数据集CIFAR-10-C、CIFAR-100-C和ICONS-50上实现了高鲁棒性。
论文主体内容如下。研究背景在于,轻量级卷积神经网络因其低资源消耗,将被广泛部署于户外IoT设备。然而,标准轻量级CNN模型在处理受复杂环境因素(如噪声、模糊)影响的损坏数据时性能显著下降,因此增强其对环境数据处理效应的鲁棒性至关重要。现有如MonoCNN等方法通过非线性变换函数生成滤波器来提升标准CNN模型的鲁棒性,但其依赖计算成本较高的标准3×3卷积,不适用于资源受限的轻量级架构。
研究人员提出的方法是生成式非线性变换滤波器(GNTF)。其核心思想是改变传统卷积层完全依赖数据驱动学习所有参数的方式,设计了一种结构化的参数生成机制:仅使用网络中一部分滤波器作为可学习的种子滤波器,其余滤波器通过对种子滤波器应用具有固定超参数的非线性变换来生成。该过程在训练期间固定不变,从而在模型中嵌入了独立于数据分布的先验结构,以此来正则化模型,抑制过拟合,增强对外部扰动的泛化能力。
通过实验分析,研究明确并验证了该方法高效应用的两个关键前提。第一,生成机制应主要应用于轻量级模型中执行核心空间特征提取的3×3深度卷积层。约束此层能获得最大的鲁棒性收益,而对1×1逐点卷积层的影响有限。第二,非线性变换函数本身的数学性质至关重要,特别是当函数过原点(或可平移至过原点)时,能够提升性能。
研究结果通过多个鲁棒性基准数据集(CIFAR-10-C、CIFAR-100-C和ICONS-50)进行了验证。结果表明,在MobileNetV2、ShuffleNetV2、EfficientNet和GhostNet等主流轻量级架构上,GNTF方法均能在提升模型在损坏数据上的准确率的同时,减少可训练参数的数量,从而实现了减负增效的平衡。例如,在CIFAR-10-C数据集上,GNTF-ShuffleNetV2在略微减少参数的情况下,准确率提升约3.3%。进一步的详细分析显示,在模型EfficientNet上的实验表明,GNTF在面对不同严重等级和类型的损坏(尤其是噪声相关干扰)时,均展现出比标准方法更强的鲁棒性,特别是在严重损坏下优势更为明显。在设备端推理资源评估中,GNTF保留了原始推理效率,未引入额外的计算负担或延迟。消融研究表明,GNTF方法不影响模型的训练收敛速度;同时,生成滤波器的缩减比r和非线性变换函数的超参数范围β对模型性能有影响,需要进行权衡选择以获得最佳鲁棒性。
讨论部分指出,GNTF与MonoCNN存在三点关键区别:首先,GNTF基于对轻量级CNN结构的分析,发现生成约束的有效性具有架构依赖性,其“甜点”在于仅应用于深度卷积层;其次,GNTF对非线性变换函数本身进行了更深入的分析,明确了过原点和对称性是提升性能的关键条件,并通过对标准函数的简单平移实现了性能超越;第三,研究目标不同,GNTF旨在注入结构化先验以正则化本地IoT模型,缓解未知的环境退化,从而实现参数减少和效率提升。
研究结论部分指出,本研究解决了轻量级卷积神经网络在物联网和边缘计算场景中易受环境退化影响的关键问题,提出了基于生成式非线性变换滤波器(GNTF)的鲁棒性增强方法。该方法突破传统,仅使用部分滤波器作为可学习种子,其余通过固定超参数的非线性变换生成,从而嵌入了与数据分布无关的先验结构,提升了对噪声、天气变化等外部扰动的泛化能力。研究明确了该方法高效应用的两个关键前提:生成机制应主要应用于执行核心空间特征提取的3×3深度卷积层;非线性变换函数过原点的数学特性至关重要。在CIFAR-10-C、CIFAR-100-C和ICONS-50等多个鲁棒性基准数据集上的实验证明,该方法在提升主流轻量级架构(如MobileNetV2和ShuffleNetV2)在损坏数据上准确率的同时,减少了可训练参数数量,实现了减负增效的平衡。然而,本研究存在不足:非线性变换函数的有效性验证主要基于实验观察,缺乏系统理论支持;考察的函数类型有限;针对特定任务的函数适用性分析尚不充分。未来工作将扩展函数类型并从理论上验证过原点和对称函数的有效性,同时深入分析不同函数特性对特定任务的适用性,以建立更完整的面向任务的选择机制。