前向-前向算法驱动的无反向传播脉冲神经网络:一种高效的类脑学习框架

《Scientific Reports》:Backpropagation-free spiking neural networks with the forward–forward algorithm

【字体: 大 中 小 】 时间:2026年03月21日 来源:Scientific Reports 3.9

编辑推荐:

  为应对传统反向传播(BP)训练脉冲神经网络(SNN)时存在的计算效率低下与生物合理性不足等问题,研究人员探索了前向-前向(FF)算法作为替代性学习框架。该研究提出的FF-SNN模型在多个数据集上实现了高精度,性能可比肩先进的BP-SNN,为推进SNN训练方法提供了新思路。

  
在追求更智能、更高效计算的道路上,科学家们一直希望从大脑的运作机制中获得灵感。脉冲神经网络(Spiking Neural Networks, SNNs)正是这样一种尝试,它模拟生物神经元通过离散的脉冲信号进行通信和处理信息,被认为是实现下一代类脑智能(Brain-inspired Intelligence)和神经形态计算(Neuromorphic Computing)的基石。但通往未来的道路往往布满荆棘,为SNN寻找一个既高效又“像样”的训练方法就成了一个关键挑战。目前的主流方法是反向传播(Backpropagation, BP)算法,它虽然在其他人工神经网络中取得了巨大成功,但在SNN的国度里却显得有些“水土不服”。这主要体现在两个方面:一是计算开销大,效率不高;二是其全局误差反向传递的机制与生物大脑中局部、在线学习的特点相去甚远,缺乏生物合理性(Biological Plausibility)。有没有一种方法,既能避开反向传播的这些“坑”,又能让SNN学得好、学得快呢?
近期发表在《Scientific Reports》上的一项研究,为我们带来了一种颇具前景的新思路。研究者们将目光投向了“前向-前向”(Forward–Forward, FF)算法。顾名思义,这个算法摒弃了传统的“前向传递-反向传递”模式,转而使用两次前向传递来进行学习。这种设计带来了诸多好处:它实现了层间局部化学习,大幅提升了计算效率,并且与专为脉冲计算设计的神经形态硬件有着更好的兼容性。为了验证这一设想,研究团队构建了一套基于FF算法的SNN训练框架,并在一系列数据集上进行了全面测试。结果表明,这种新方法不仅绕开了反向传播的固有缺陷,而且在性能上也毫不逊色。
为了开展这项研究,研究人员主要运用了基于前向-前向算法的脉冲神经网络训练框架。他们在多个公开基准数据集上评估了模型性能,这些数据集包括用于静态模式识别的非脉冲数据集(MNIST, Fashion-MNIST, Kuzushiji-MNIST)以及更具挑战性的脉冲模式数据集(Neuro-MNIST, Spiking Heidelberg Digits, SHD)。通过模型架构设计和性能对比实验,研究人员系统评估了所提FF-SNN方法的有效性与先进性。
研究结果
模型在静态数据集上表现优异
研究首先在MNIST、Fashion-MNIST和Kuzushiji-MNIST这三个经典的静态图像数据集上评估了模型。实验结果显示,本研究提出的模型在所有这些数据集上都取得了出色的分类准确率。特别值得一提的是,与之前已有的基于FF算法的SNN模型相比,本研究模型在取得更高准确率的同时,所使用的网络架构却要轻量得多。这表明该方法在效率和性能之间取得了良好的平衡。
模型在脉冲数据集上具备竞争力
为了测试模型处理时序脉冲信号的能力,研究在Neuro-MNIST和SHD这两个更具生物真实性的脉冲数据集上进行了实验。在Neuro-MNIST上,模型表现稳健。在更为复杂的SHD(一个包含语音数字的脉冲音频数据集)任务上,本研究提出的方法显著超越了其他同类型的SNN模型。更重要的是,与当前最先进的、采用反向传播算法训练的SNN模型相比,本研究的FF-SNN模型在性能上仍然保持了竞争力,展现了其在处理复杂时空脉冲模式方面的强大潜力。
研究凸显了FF算法的优势
综合所有实验结果,本研究清晰地展示了前向-前向算法应用于脉冲神经网络训练的多重优势。与传统的反向传播相比,FF算法能够实现层间的局部学习,这更贴近生物神经系统的学习特性。同时,由于避免了耗时的反向传播过程,计算效率得到了显著提升。此外,这种纯粹基于前向传递的学习方式,使其能够更自然地映射到依赖脉冲事件驱动的神经形态硬件上,为未来开发低功耗的类脑芯片奠定了算法基础。
结论与讨论
本研究成功地将前向-前向算法确立为一种有效的脉冲神经网络训练框架。通过系统的实验验证,该研究得出核心结论:FF算法能够克服传统反向传播在训练SNN时面临的部分关键限制,包括计算效率问题和生物合理性问题。在静态和动态脉冲数据集上,基于FF算法的SNN模型实现了与顶尖BP-SNN相媲美甚至更优的性能,同时其局部学习和高效计算的特点为实际应用带来了额外好处。
这项工作的意义重大。它不仅仅是为脉冲神经网络提供了一种新的训练工具,更重要的是,它探索了一条不同于主流反向传播范式的学习路径。这条路径更强调局部性、效率和硬件友好性,与构建真正类脑、低功耗智能系统的长远目标更为契合。该研究证明了抛弃反向传播,仅通过前向过程也能训练出高性能的SNN,这极大地拓宽了SNN学习算法的设计思路。未来,此研究方向有望进一步与神经科学发现相结合,开发出更加生物可解释、计算更高效、与神经形态硬件融合更紧密的新一代人工智能学习算法,推动类脑计算从概念走向现实。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号