《Sensors》:GNTF: A Lightweight CNN Robustness Enhancement Method for IoT Devices
Xuan Liu,
Benkui Zhang,
Jinxiao Wang,
Huanyu Bian and
Yunping Ge
编辑推荐:
研究人员提出了一种面向轻量级卷积神经网络(Lightweight CNN)的特征提取优化方法,通过在3×3深度卷积层中引入基于非线性变换函数(Nonlinear Transformation Functions, NLFs)的滤波器生成机制,仅对深度卷积层施加
研究人员提出了一种面向轻量级卷积神经网络(Lightweight CNN)的特征提取优化方法,通过在3×3深度卷积层中引入基于非线性变换函数(Nonlinear Transformation Functions, NLFs)的滤波器生成机制,仅对深度卷积层施加非线性变换,以生成大量非可学习滤波器,从而在降低可训练参数量的同时提升模型对噪声图像的鲁棒性。该方法首先利用1×1逐点卷积调整特征维度并融合跨通道信息,随后在深度卷积阶段通过一组可学习的种子滤波器(Seed Filters, Ws)与多个具有不同超参数的非线性变换函数生成其余滤波器,并将生成的滤波器与种子滤波器拼接形成完整的深度卷积滤波器组。实验结果表明,经过原点校正并具有对称性的非线性变换函数(如正弦函数、Sigmoid函数和Gaussian函数)能够显著提高滤波器的特征提取质量,并在CIFAR-10-C数据集上验证了其在多种轻量级模型中的有效性。该研究为低计算开销、高可靠性的边缘部署场景提供了一种可解释性强且参数效率高的滤波器生成方案。
研究背景方面,当前轻量级卷积神经网络在资源受限的边缘设备上应用广泛,但在噪声环境下的特征提取鲁棒性仍不足。传统方法依赖可学习滤波器的大量训练,导致参数量大且易引入系统性偏移。MonoCNN中使用的单项式函数在轻量级网络中难以直接迁移,因此研究人员探索了一种基于非线性变换函数的滤波器生成机制,旨在通过固定函数生成非可学习滤波器,减少训练负担并提高特征提取的稳定性。
关键技术方法上,研究人员采用深度可分离卷积结构,将1×1逐点卷积用于通道信息融合,3×3深度卷积用于空间特征提取。在深度卷积阶段,设定可学习种子滤波器数量为co/r,其中r为滤波器缩减比,并通过r?1个不同超参数的非线性变换函数生成非可学习滤波器。所有生成的滤波器与种子滤波器拼接后应用于中间特征图,最终通过另一层1×1逐点卷积输出结果。实验在CIFAR-10-C数据集上进行,使用四种轻量级模型验证性能。
研究结果部分,研究人员首先分析了非线性变换函数通过原点的必要性,指出其可消除常数背景干扰并保证零偏置,从而提高信噪比。其次,对称性赋予滤波器生成过程可控的数学行为,使得滤波器族的光谱覆盖与几何形状可被精确调控。在可视化实验中,研究人员将Sine、Sigmoid和Gaussian函数进行原点校正与对称化处理,结果显示校正后的函数在特征提取任务中表现更优。消融实验进一步表明,具有零偏置与对称性的非线性变换函数在噪声数据上的特征提取精度显著高于未校正的版本。
讨论与结论部分,研究人员强调,通过固定超参数的非线性变换函数生成滤波器的方法,能够在保证特征提取质量的同时显著减少可训练参数量,提升模型的部署可靠性。该方法的优势在于无需额外训练即可获得互补性强的滤波器族,适用于低功耗、高可靠性的应用场景。论文发表于《Sensors》,为轻量级卷积神经网络的滤波器设计提供了新的思路与实证支持。