PC-SNN:基于预测编码的局部赫布式可塑性学习在脉冲神经网络中的应用
《Neurocomputing》:PC-SNN: Predictive coding-based local hebbian plasticity learning in spiking neural networks
【字体:
大
中
小
】
时间:2026年03月26日
来源:Neurocomputing 6.5
编辑推荐:
脉冲神经网络(SNNs)的第三代神经网络具有更高生物真实性,但其非线性、事件驱动特性带来训练挑战。本文提出基于预测编码的PC-SNN学习框架,结合局部赫布塑性实现无需反向传播的端到端训练,在Caltech、MNIST、CIFAR-10等分类任务及事件相机数据回归任务中均达到与现有方法竞争的性能。该方法突破全局误差传播的生物不兼容性,符合分布式神经处理和局部突触可塑性原理。
王海东|熊晓刚|兰梦婷|储英豪|江子轩|KC Santosh|王世民|钟仁新
中国广东省深圳市中山大学智能系统工程学院
摘要
脉冲神经网络(SNNs)作为第三代神经网络,通过比传统神经网络更高的生物真实性来模拟大脑的信息处理过程。然而,它们非线性的、事件驱动的动态特性给训练带来了显著挑战,现有方法往往偏离了大脑皮层学习的神经科学原理。受到预测编码理论(一种领先的大脑信息处理模型)的启发,我们提出了PC-SNN这一新颖的学习框架,该框架将预测编码与SNNs相结合,实现了无需依赖反向传播的生物上合理的局部赫布可塑性。与传统SNN训练方法不同,PC-SNN仅利用局部计算,这与大脑的分布式处理方式一致,并克服了全局误差传播的生物学不合理性。我们的分类模型在Caltech Face/Motorbike、MNIST、NMNIST和CIFAR-10等基准数据集上取得了有竞争力的性能。此外,基于预测编码的回归模型在遵循局部可塑性约束的同时,性能优于基于反向传播的方法,为SNN训练提供了一种可扩展且基于生物学的替代方案。PC-SNN通过验证脉冲神经架构中受生物启发的算法的适应性,推动了神经形态计算的发展,同时也揭示了对神经认知学习过程的新理解,其概念框架以其理论原创性和功能有效性而著称。
引言
脉冲神经网络(SNNs)作为第三代神经网络,采用受生物启发的神经元,通过传输离散的二元脉冲进行通信,紧密模仿了人类生物神经系统的事件驱动处理方式[31]。SNNs以其能源效率和生物学合理性而闻名,在各种任务中展现了出色的性能,尤其是在处理事件驱动的数据时。这些特性使SNNs成为神经形态计算和受神经科学启发的人工智能的一个有前景的范式。然而,尽管具有潜力,当前的SNN训练方法通常依赖于从人工神经网络(ANNs)借鉴的技术,这些技术忽略了大脑皮层学习的神经科学原理[6]、[26]、[27]、[43]。这种依赖性引入了一个重大差距,因为这些方法未能充分利用SNNs的生物学特性,限制了它们的可扩展性和与神经机制的一致性。
SNNs的非可微性质使得使用流行的梯度下降方法进行训练变得具有挑战性。以下是三种主要的SNN训练方法:首先,基于脉冲时序依赖性可塑性(STDP)的学习算法通过根据突触前和突触后脉冲的时间关系来调整突触权重,提供了一种生物学上合理的训练机制。然而,当应用于大规模和计算复杂的任务时,STDP方法的有效性可能会受到限制[20]、[36]。其次,ANN-SNN转换方法旨在将成熟的ANN架构转换为SNNs,利用ANNs的高性能和SNNs的能源效率[17]、[19]、[46]。然而,这种方法存在一些缺点,包括信息丢失和性能下降。第三,基于替代梯度的直接学习方法通过使用替代梯度在训练过程中近似梯度,解决了ANN-SNN转换方法的一些局限性[16]、[64]。与其他方法相比,这种方法实现了有竞争力的准确性,并且能够训练多种网络架构。然而,上述所有关于SNN训练的研究都基于反向传播范式。先前的研究表明,大脑皮层中的反馈连接并不表现出反向传播的形式[26]、[27]、[43],而SNNs通过使用离散事件来模拟脉冲信号的传播,模仿了人类大脑的信息编码和处理方式。因此,研究SNNs中的生物学合理性和类脑学习机制具有重要意义[1]、[6]。
要推进SNNs的发展,需要超越反向传播,因为反向传播的全局误差传播和层间通信与神经形态硬件的分布式特性[8]、[15]、[41]以及生物神经系统中观察到的局部突触修改[7]、[69]相冲突。这些考虑激发了开发仅依赖于单个突触可访问信息的局部学习规则,从而为节能的神经形态实现提供了一条途径,同时可能揭示大脑学习背后的生化机制。预测编码理论是神经科学中一个有影响力的理论框架,在大脑的学习和感知过程中展现出宝贵的特性[12]、[13]、[39]、[43]、[47]。已经制定了多种方法在非脉冲多层感知器(MLP)网络中近似反向传播算法,利用生物学上合理的连接架构和赫布学习原理[2]。根据Whittington和Bogacz的观点,预测编码框架是一种分层的、生物学上合理的过程,源自概率模型,能够产生与ANNs中反向传播算法相当的结果[12]、[13]、[43]、[57]。预测编码框架利用辅助节点来量化局部预测误差,这些误差被定义为特定层次上的随机变量状态与下层生成的预测之间的差异。此外,在感知决策任务的背景下,已经实证记录了类似于这种预测误差传播的神经过程[52]、[53]。
我们开发了一种用于图像分类的预测编码脉冲神经网络(PC-SNN),该网络利用了局部赫布可塑性。其次,我们在自适应脉冲循环神经网络(ASRNN)中实现了预测编码随时间(PCTT)学习算法,用于从事件相机数据中预测角速度。我们的结果在这些任务上表现出色。与传统SNN训练方法相比,我们基于赫布理论的预测编码方法不仅在生物学上合理,还结合了人工系统中通常被忽视的神经生物学约束:
•我们提出了PC-SNN和带有PCTT的ASRNN,在传统图像和事件相机数据集上的分类和回归任务中取得了有竞争力的性能。
•SNNs中的预测编码机制为实现类脑的局部计算和局部可塑性奠定了基础,其中神经元仅根据其输入神经元的活动以及与这些输入相关的突触权重来执行计算,而不依赖于神经网络其他地方编码的信息。此外,突触可塑性完全由突触前和突触后神经元的活动决定。
本文的其余部分组织如下:第2节回顾了SNN训练方法和生物学合理性的相关研究,以激发后续章节中采用预测编码和局部赫布学习的必要性。第3节介绍了包括SNN的时间编码和神经元模型在内的初步知识。第4节介绍了我们提出的方法:用于分类任务的PC-SNN(第4.1节);以及用于回归任务的PC-SNN(第4.2节),其中包括ASRNN模型(第4.2.1节)、作为基线的ASRNN-BPTT算法(第4.2.2节),以及通过用预测编码替代反向传播来实现局部可塑性的ASRNN-PCTT算法(第4.2.3节)。第5节展示了PC-SNN和ASRNN-PCTT的全面实验结果,第6节进行了讨论。
章节片段
脉冲神经网络训练方法
与人工神经网络(ANNs)的快速发展相比,由于SNNs本质上的非可微性质,其训练算法仍然是一个活跃的研究领域。一般来说,SNN训练算法分为三类:基于STDP的局部学习规则[3]、[20]、[29]、[36]、ANN-SNN转换方法[17]、[19]、[46],以及基于替代梯度的直接学习方法[16]、[64]。基于STDP的无监督和半监督学习算法仅适用于浅层SNNs。
初步知识
在本节中,我们介绍了脉冲神经网络框架的基本概念,包括首次脉冲的时间编码、脉冲神经元模型、动态目标发射时间以及基于反向传播的训练。这些概念构成了我们提出的预测编码框架的理论基础。
方法
在本节中,我们介绍了我们的新型SNN学习框架,该框架结合了预测编码和局部赫布突触可塑性机制,用于分类和回归任务。
数据集
我们选择了四个数据集用于实验:Caltech 101、MNIST、N-MNIST和CIFAR-10用于对象分类任务,以及一个基于事件相机的数据集用于角速度回归。Caltech101 Face/Motorbike数据集是一个公开可用的分类数据集,包含各种面部和摩托车的图像。MNIST数据集是图像分类任务的常见基准,包含60,000张训练图像和10,000张测试图像。每张图像显示一个手写数字
结论与讨论
我们的工作将预测编码学习框架应用于脉冲神经网络,用于图像和事件相机旋转数据集,仅使用局部信息和端到端训练。结果与最先进的SNN学习方法相当,展示了该框架在SNN训练中的能力。所提出的网络在三个图像数据集和一个事件相机数据集上进行了评估:Caltech Face/Motorbike、MNIST、CIFAR10和事件相机角速度数据集。
CRediT作者贡献声明
王海东:撰写 – 审稿与编辑、撰写 – 原稿、可视化、验证、方法论、调查、正式分析、数据整理、概念化。熊晓刚:撰写 – 审稿与编辑、撰写 – 原稿、方法论、正式分析、概念化。兰梦婷:撰写 – 原稿、方法论、调查、概念化。储英豪:撰写 – 审稿与编辑、
利益冲突声明
作者声明他们没有已知的竞争性财务利益或个人关系可能影响本文所述的工作。
王海东于2017年和2019年在美国南达科他大学获得计算机科学学士学位和硕士学位。2023年至2024年,他在中国深圳的哈尔滨工业大学担任研究助理。他目前正在深圳中山大学智能系统工程学院攻读控制科学与工程博士学位。他的研究兴趣包括计算机视觉、机器人技术和受大脑启发的计算AI。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号