脉冲神经网络(SNNs)作为第三代人工神经网络(ANNs)出现,为时空信息处理提供了一种受生物学启发的神经计算模型[1]。通过离散的脉冲事件而不是连续的激活来编码信息,SNNs利用神经元脉冲发射的精确时间来实现高效的时空信息表示和节能计算。这种事件驱动的计算范式在神经形态视觉和时间模式识别领域引发了广泛的研究,在这些领域中,SNNs展示了在低功耗、类脑计算方面的巨大潜力[2]、[3]。
深度学习的最新发展显著提高了大规模SNN模型的可训练性[4]。诸如替代梯度学习、ANN到SNN转换以及生物学上合理的脉冲时序依赖性可塑性(STDP)等代表性学习范式显著提升了SNNs的可训练性和性能。特别是基于替代梯度的算法通过用平滑的替代函数近似不可微分的脉冲激活函数,使得通过时间反向传播(BPTT)或类似的基于梯度的方法得以有效应用[5],从而大大缩小了深度SNNs与传统深度神经网络(DNNs)在各种静态和动态基准测试中的性能差距。
然而,大多数现有的SNN学习算法都是直接从离散的脉冲时序派生出来的,制定的学习规则依赖于明确的脉冲事件和离散的膜电位更新[7]。虽然这种公式化对于建模事件驱动的动态是有效的,但它们本质上限制了学习过程的分析可行性和可微分性。相比之下,使用核函数对脉冲列进行连续函数表示可以将离散的脉冲事件映射到连续的时间域中。这不仅允许基于梯度的优化,还提供了理论优势,如更平滑的误差表面和更稳定的收敛性[8]。然而,利用这种连续脉冲表示来推导学习规则的方法仍然很少。基于核化脉冲表示的开发学习框架可以提供一种理论上有根据的方法,将时间动态建模和连续优化统一起来。
从神经生物学的角度来看,学习和记忆形成受到突触可塑性的控制,其中包括调整突触连接强度的突触权重可塑性和调节信号传输时序的突触延迟可塑性[9]。在生物神经回路中,突触延迟在控制脉冲同步、时间编码精度和整体网络动态方面起着关键作用[10]。突触前和突触后脉冲之间的精确时间关系决定了神经元是否能够有效检测和响应时空输入模式。然而,大多数现有的SNN学习算法仅专注于优化突触权重,而忽略或将其视为固定参数。这种简化降低了SNNs利用神经信息时间维度的能力,导致在时间敏感任务中的时间适应性和性能不佳。
一些研究尝试将可训练的突触延迟引入SNN学习框架[11]。一些研究将延迟视为通过梯度下降更新的可微分参数[12],而其他研究则设计了受STDP或时间赫布学习启发的启发式规则[13]。尽管这些方法在模式识别任务中显示出有效性,但它们通常针对单层或浅层前馈SNNs,而深度SNNs的可扩展延迟学习机制仍然尚未得到充分探索。此外,许多这些方法依赖于明确的分析神经元模型,如脉冲响应模型(SRM),这限制了它们在多样化神经元动态中的适用性[14]、[15]。相比之下,使用脉冲列的核函数表示派生的学习框架仅依赖于与脉冲列相对应的连续函数,不依赖于任何特定的神经元模型的分析形式[16]。这样的设计增强了通用性,使该方法广泛适用于各种SNN架构。
为了解决这些限制,本文提出了一种针对深度SNNs的突触权重-延迟协同学习(SWDSL)算法,该算法可以在统一框架内同时优化突触权重和延迟。通过引入脉冲列的核函数表示,离散的脉冲事件被映射到连续的时间函数中,从而实现对时间依赖性的分析表征,并促进基于梯度的优化。SWDSL允许通过标准的梯度下降优化技术同时调整突触强度(权重)和脉冲时序(延迟)。因此,所提出的SWDSL框架将传统的权重可塑性扩展为一种全面的时空协同可塑性机制,增强了深度SNNs的表示能力和生物学可解释性。
为了系统地研究不同训练条件下延迟可塑性的影响,开发了四种算法变体:
- (1)
SWDSL-OffSD:离线静态延迟学习算法,在离线学习模式下调整突触权重,同时保持突触延迟不变;
- (2)
SWDSL-OffDD:离线动态延迟学习算法,在离线学习模式下同时调整突触权重和延迟;
- (3)
SWDSL-OnSD:在线静态延迟学习算法,在在线学习模式下调整突触权重,同时保持突触延迟不变;
- (4)
SWDSL-OnDD:在线动态延迟学习算法,在在线学习模式下同时调整突触权重和延迟;
这些配置允许全面分析延迟可塑性在不同学习模式下对网络动态和学习性能的影响。脉冲列学习、UCI数据集上的非线性模式分类以及MNIST和Fashion-MNIST数据集上的图像分类实验结果表明,SWDSL相比一些代表性的学习框架具有更高的分类准确性和更好的时间泛化能力。
本文的主要贡献总结如下:
- (1)
提出了一种针对深度SNNs的新型协同学习框架,该框架在统一的基于梯度的公式化中同时优化突触权重和延迟。
- (2)
提出了一种基于核的时间表示方法,该方法能够对脉冲列交互进行可微分建模,并弥合了离散脉冲动态和连续优化之间的差距。
- (3)
开发了四种学习变体(SWDSL-OffSD、SWDSL-OffDD、SWDSL-OnSD、SWDSL-OnDD),系统地评估了延迟可塑性在离线和在线学习场景中的影响。
- (4)
在多个基准任务上进行了全面验证,证明了所提方法的优越性能和适应性。
本文的其余部分组织如下。第2节回顾了SNNs的突触权重和延迟学习算法的相关工作。第3节介绍了初步内容,包括脉冲列核表示、SRM神经元模型、深度SNN架构以及在线和离线学习之间的比较。第4节介绍了所提出的SWDSL算法的学习规则推导。还提供了SWDSL算法的伪代码和复杂性分析。第5节报告了实验结果和分析。最后,第6节总结了本文并概述了未来的研究方向。