使用连接整流池化单元的深度特征学习

《Big Data Mining and Analytics》:Deep Feature Learning with Concatenated Rectified Pooling Units

【字体: 大 中 小 】 时间:2026年07月09日 来源:Big Data Mining and Analytics 6.1

编辑推荐:

  这项工作介绍了一种多输出激活函数,它将众所周知的单输出整流线性单元(Rectified Linear Unit,ReLU)与最大池化操作相结合,形成一种称为连接整流池化单元(Concatenated Rectified Pooling Unit,CRPU)的四

  
这项工作介绍了一种多输出激活函数,它将众所周知的单输出整流线性单元(Rectified Linear Unit,ReLU)与最大池化操作相结合,形成一种称为连接整流池化单元(Concatenated Rectified Pooling Unit,CRPU)的四输出激活函数。研究人员还引入了CRPU激活的一个变体,具有十二个输出,关于原点对称,称为对称整流池化单元(Symmetric Rectified Pooling Unit,SRPU)。这些激活函数的灵感来自于在射频(Radio Frequency,RF)环境中构建用于硬件受限平台的浅层神经网络的需求。研究人员通过将这两种激活函数应用于五个分类数据集(四个通用图像数据集和一个射频数据集)来实证验证其有效性。具体而言,两种激活函数均在经典的MNIST、CIFAR-10、CIFAR-100和FashionMNIST数据集以及一个自定义构建的RF发射器识别数据集(RF-Emitter)上进行了测试。实验结果表明,与使用四种标准激活函数(其中三个是单输出,一个是多输出,即ReLU、TanH、ELU和CReLU)的一组基线卷积网络相比,CRPU和SRPU激活函数在所有数据集上均导致更快的收敛和相似或更高的准确率。此外,与相应的基线架构相比,底层网络不会过拟合,并且在多种配置中具有更少的参数。
近年来,深度神经网络(Deep Neural Network,DNN)在图像分类、语言翻译、语音识别等众多任务中取得了显著成功,但这一成功伴随着网络深度的不断增加,导致训练时间、计算资源和能耗急剧上升。同时,在射频(Radio Frequency,RF)环境等硬件受限平台上,动辄数百万甚至数十亿参数的深度网络难以部署,亟需设计浅层但高效的神经网络。然而,现有的单输出激活函数如整流线性单元(Rectified Linear Unit,ReLU)虽然非饱和且能加速训练,但其非线性不足,通常需要增加网络深度来补偿,这又引入了参数过多和梯度消失问题。多输出激活函数如连接整流线性单元(Concatenated ReLU,CReLU)虽能增加宽度,但如何进一步在保持非饱和特性的同时提升非线性并实现数据驱动下的稀疏正则化仍是挑战。基于此,研究人员提出了两种基于ReLU的多输出激活函数——连接整流池化单元(Concatenated Rectified Pooling Unit,CRPU)和对称整流池化单元(Symmetric Rectified Pooling Unit,SRPU),旨在通过增加激活深度来设计更浅、更宽且参数更少的网络,从而在保证精度的同时适应资源受限平台。该研究在五个数据集上验证了这两种激活函数的有效性,包括四个通用图像数据集(MNIST、CIFAR-10、CIFAR-100、FashionMNIST)和一个自定义射频发射器识别数据集(RF-Emitter)。实验结果表明,CRPU和SRPU不仅加快了收敛速度,还在多个配置下实现了与基线网络相当或更高的准确率,同时减少了过拟合和参数数量。该论文发表在《Big Data Mining and Analytics》上。

研究人员为开展研究采用了以下几个主要关键技术方法:首先,基于ReLU和最大池化操作设计了CRPU(四输出)和SRPU(十二输出,关于原点对称)两种多输出激活函数,它们均为分段线性非饱和函数,能自动增加网络宽度并引入数据驱动的非线性。其次,提出了一个迭代网络设计启发式策略,通过在初始层使用多输出激活并移除下游隐藏层来平衡宽度与深度,从而实现参数减少。样本队列来源包括:MNIST(6万张手写数字灰度图像)、CIFAR-10(5万张32×32彩色图像,10类)、CIFAR-100(5万张32×32彩色图像,100类)、FashionMNIST(6万张28×28灰度时尚物品图像)以及自定义RF-Emitter数据集(基于8个USRP B210软件无线电发射器,采用16QAM调制,I/Q信号经预处理生成64×64×50的3D体积数据)。

研究结果如下:

**4.3 Experiment Set 1 Result**:在第一组实验中,研究人员将CRPU和SRPU替换基线网络所有卷积层后的ReLU激活,并在MNIST、CIFAR-10和RF-Emitter数据集上训练。结果表明,在较少epoch下,CRPU和SRPU即可达到与基线相似或更高的准确率,且具有正则化效果,减少过拟合。

**4.3.1 MNIST Dataset Result**:在MNIST上,CRPU(20 epoch)测试准确率99.45%,高于基线ReLU(30 epoch)的99.35%;SRPU(20 epoch)为99.29%,但正则化效应明显,训练准确率低于验证准确率。增加epoch至30后,SRPU准确率提升至99.39%。

**4.3.2 CIFAR-10 Dataset Result**:在CIFAR-10上,CRPU(50 epoch)测试准确率65.11%,较基线ReLU(60 epoch)的58.17%提升6.94%;SRPU(50 epoch)为64.06%,提升5.82%。增加epoch至60后,CRPU准确率进一步提升至65.67%。

**4.3.3 RF-Emitter Dataset Result**:在RF-Emitter上,通过三个子实验(A:低批量高丢弃率;B:高批量;C:低丢弃率)验证。CRPU(30 epoch)在实验A中达到95.09%准确率,略高于基线ReLU(40 epoch)的93.31%;SRPU(30 epoch)为92.43%。在实验C中,CRPU以96.16%准确率最高,且所有CRPU和SRPU网络均表现出更好的泛化能力。

**4.4 Experiment Set 2 Result**:在第二组实验中,研究人员将CRPU或SRPU仅替换基线网络第一层ReLU,同时移除下游层,以评估参数-准确率权衡。在每个数据集上,对比了多种基线(ReLU、ELU、Tanh、CReLU)的宽网络和深网络。

**4.4.1 MNIST Dataset Result**:MNIST上,CRPU-Narrow(3.55×10^5参数)准确率99.32%,SRPU-Narrow(3.92×10^5参数)准确率99.34%,与最佳基线CReLU-Deep(99.42%)接近,参数减少显著。

**4.4.2 FashionMNIST Dataset Result**:FashionMNIST上,CRPU-Narrow准确率91.15%,SRPU-Narrow准确率91.36%,与最佳基线ReLU-Wide(92.28%)相比略有下降,但参数减少约55%-57%。

**4.4.3 CIFAR-10 Dataset Result**:CIFAR-10上,CRPU和SRPU网络的测试准确率在79.34%-80.87%之间,优于Tanh基线,与ReLU基线相比参数减少约51%-64%,准确率下降在1%以内。

**4.4.4 CIFAR-100 Dataset Result**:CIFAR-100上,CRPU(60.05%)和SRPU(60.24%)准确率接近最佳基线CReLU-Deep(60.75%),参数减少约65%-70%,且优于所有宽基线网络。

**4.4.5 RF-Emitter Dataset Result**:在RF-Emitter上,通过四个子实验(低批量高丢弃率、低批量低丢弃率、高批量高丢弃率、高批量低丢弃率)验证。CRPU和SRPU网络在多种配置下均表现出较好的泛化能力,参数减少比例高达94.7%,准确率与最佳基线(CReLU-Deep)的差距在1.5%-2.7%以内。

**4.5 Feature Space for CRPU and SRPU**:通过可视化FashionMNIST第一卷积层的特征图,研究人员发现CRPU和SRPU生成了更多样化的潜在特征,体现了特征空间数据增强效果。

总结讨论部分:研究人员在结论中总结,提出的CRPU和SRPU激活函数通过结合最大池化和ReLU,实现了多输出非饱和分段线性非线性,能自动增加网络宽度并引入正则化,在五个数据集上验证了其加速收敛、提高或保持准确率、减少参数和过拟合的效果。该研究为资源受限平台(尤其是RF域)提供了有效的浅层网络设计方法。研究结论部分翻译如下:本文介绍了两种激活函数:(1)CRPU,一种基于最大池化和ReLU的四输出激活;(2)SRPU,一种基于偏置的十二输出CRPU变体。通过两组实验(四个通用数据集和一个自定义RF数据集)验证了其有效性。第一组实验结果表明,在神经网络所有卷积层后使用CRPU和SRPU,在特定epoch下能提升准确率。第二组实验结果表明,在初始层使用这些多输出激活并同时移除下游层时,能实现参数-准确率的良好权衡。未来,研究人员计划在PyTorch和TensorFlow库中发布这两种激活的实现,并应用于RF领域的信号生成和信道表征等更复杂问题,以及实际多模态异构自主传感器网络中以提升服务质量(Quality of Service,QoS)。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号