前向-前向学习仅需随机性

《Pattern Recognition》:Nothing Beyond Randomness is Required for Forward-Forward Learning

【字体: 大 中 小 】 时间:2026年10月21日 来源:Pattern Recognition 9.1

编辑推荐:

   •提出了一种新颖的随机激活前向-前向(RAFF)算法,以规避反向传播和原始前向-前向学习的固有缺陷。•RAFF采用预定义的每个类别的随机目标激活来进行学习,简化了监督损失计算,计算开销可忽略不计,并且无需修改网络结构即可与MLP、CNN、Transformer和SNN完全兼容

  
  • •
    提出了一种新颖的随机激活前向-前向(RAFF)算法,以规避反向传播和原始前向-前向学习的固有缺陷。
  • •
    RAFF采用预定义的每个类别的随机目标激活来进行学习,简化了监督损失计算,计算开销可忽略不计,并且无需修改网络结构即可与MLP、CNN、Transformer和SNN完全兼容。
  • •
    大量实验验证了在MNIST、FashionMNIST、CIFAR-10、CIFAR-100和Tiny-ImageNet数据集上的SOTA分类准确率,证实了所提出RAFF方法的有效性和优越性。

引言

作为深度学习的基石,反向传播(BP)算法[1]在推动人工智能(AI)在计算机视觉、自然语言处理和多模态学习等领域广泛应用方面发挥了关键作用[2,3]。尽管BP算法具有强大的实证性能,但它受到固有理论和工程限制的约束,阻碍了其在下一代AI系统中的发展[4]。从生物学角度看,生物大脑中的学习高度局部化,通常通过自组织进行,而不依赖于全局误差反馈。相比之下,BP固有的全局梯度传播机制缺乏生物学合理性[5]。从计算角度看,BP算法需要缓存中间计算结果以进行梯度计算,随着网络深度的增加,内存消耗急剧上升,从而限制了在固定硬件资源上可训练模型的最大规模[6]。此外,BP本质上是顺序的,因为反向传播必须等待整个正向传播完成后才能进行。这种串行特性限制了并行计算能力,并阻碍了在分布式环境中高效地重叠正向和反向操作[7]。
为了应对这些挑战,研究人员探索了避免全局反向传播的训练方法,包括预测编码[8]、赫布学习[9]、前向梯度[10]、进化策略[11]和零阶优化[12]。这些研究旨在推进更高效、低内存消耗且高度可解释的AI系统。其中,Hinton在2022年提出的前向-前向(FF)算法[5]引起了广泛关注。FF用两个独立的前向传播替代了正向-反向循环,一个用于正样本,一个用于负样本,并通过最大化局部"好坏"分数来更新每一层。由于每层的更新仅依赖于局部信号,FF无需为反向传播缓存激活值;各层可以并行更新,并且该方法更符合生物神经元响应模式。
此后,研究人员基于FF算法进行了有价值的探索。通过优化负样本生成策略、增强监督信号提取的有效性以及创新好坏度量计算范式,研究人员在基于FF的模型的计算效率和整体性能方面取得了显著改进。然而,现有FF方法的表现始终不及BP,尤其是在复杂数据集上,而且大多数FF方法仅针对单一架构(如CNN或MLP)设计,而非像BP那样适用于多种骨干网络。
为了解决这些问题,我们首先对BP训练模型中的激活分布进行深入分析,重构了激活位置和权重之间的内在关系。受这些发现的启发,我们提出了随机激活前向-前向(RAFF),这是一种极为简单但高效的方法,在多种网络架构中表现出强大的兼容性。具体而言,我们的方法通过为每个类别随机采样一组目标激活位置来构建逐层的局部损失进行训练。这种引入的随机性进一步增强了在网络层前向传播过程中对高层语义特征的提取。本工作的主要贡献总结如下。
  • •
    我们重新审视了训练模型中权重与激活位置之间的关系。通常认为特征激活发生的位置由学习到的权重决定。然而,我们发现训练前分配的随机目标激活位置仍然可以支持有效学习。
  • •
    基于这一观察,我们提出了RAFF,该方法无需辅助网络或对骨干网络的修改。由于它与架构无关,RAFF可以应用于广泛的网络。据我们所知,这是第一种在MLP、CNN、Transformer和SNN上统一适用的方法。
  • •
    RAFF显著改进了深度网络中的前向-前向算法。它在多个数据集和网络架构上优于现有的最先进方法,甚至在MNIST和Fashion-MNIST等小型数据集上超过了反向传播。

章节摘录

范式优化

为了克服原生FF算法的固有局限,现有研究从多个角度系统地提出了FF变体,主要涵盖负样本构建、好坏度量公式化和标签引导监督等方面。
遵循FF的负样本范式,SymBa[13]用固定的随机内在类模式替换one-hot标签叠加,从而对称地平衡正负好坏损失。SCFF[14]生成

动机

在神经网络的输出中,激活通常被认为与输入样本的固有特征模式相关[35]。如果一组固定的神经元表现出持续激活,则可以合理推断模型已学习到相应的模式。在我们先前的工作[36]中,我们观察到,对于通过BP训练的神经网络,每个类别在每一层上都呈现出相对固定的一组分布,如图1所示。
具体而言,图1展示了

实验设置

在实验中,我们采用四个广泛使用的基准数据集:MNIST[38]、FashionMNIST[37]和CIFAR-10/CIFAR-100[39]。在模型设置方面,构建四种神经网络架构(MLP、CNN、ViT和SNN),如图4所示。Adam[40]作为所有网络的优化器,权重衰减设为0,批量大小固定为128。MLP和CNN采用ReLU激活和批归一化,而ViT则采用GELU激活和层归一化。遵循文献[中的设置

结论

在本文中,我们提出了一种新颖的前向-前向学习算法。通过为每个类别随机设置目标激活,RAFF提供了一种构建局部损失的极为简单高效的新方法,而这是FF算法中的一个关键挑战。此外,RAFF不需要额外的辅助网络或架构修改。因此,它可以应用于各种类型的神经网络,显著增强了其泛化能力。实验结果表明

CRediT作者贡献声明

周悦:写作——审阅与编辑、写作——原创草稿、可视化、验证、软件、方法论、概念化。胡晓芳:写作——审阅与编辑、监督、资源、项目管理、资金获取、概念化。段书凯:写作——审阅与编辑、监督、项目管理。

利益冲突声明

作者声明,他们没有已知的竞争财务利益或个人关系,这些可能会影响本文报告的工作。

致谢

本研究得到国家自然科学基金(项目编号:62476230)、重庆市青年创新人才项目(项目编号:CSTB2024NSCQ-QCXMX0070)和中央高校基本科研业务费专项资金(项目编号:SWU-KR22046)的支持。
周悦 | 胡晓芳 | 段书凯
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号