编辑推荐:
本文提出一种基于I_Na,p+I_K模型的可扩展硬件spiking神经元设计方法,通过类型-N负微分电阻(NNDR)器件或电路模拟钠通道,构建包含11种新型最小化神经元电路(分共振器和积分器两类),在保持生物合理性的同时优化器件数量和计算效率,并比较了与传统模型(HH、LIF)的性能差异。
阿姆尔·纳比尔(Amr Nabil)|T·南达·库马尔(T. Nandha Kumar)|海德尔·阿巴斯·F·阿尔穆里布(Haider Abbas F. Almurib)
马来西亚诺丁汉大学,Jalan Broga,Semenyih,Selangor 43500,马来西亚
摘要
近年来,由于脉冲神经网络(Spiking Neural Networks, SNNs)在生物学上的合理性和基于事件的计算方式,它们获得了越来越多的关注。脉冲神经元是脉冲神经网络的基本构成单元,这些神经元作为计算单元决定是否发射动作电位。本文提出了一种方法,用于在硬件中实现生物学上合理且可扩展的脉冲神经元。我们证明了设计模仿INa,p+IK模型的神经元比设计更复杂的霍奇金-赫胥黎(Hodgkin-Huxley)模型更高效。通过本文的第一部分和第二部分,我们展示了十一种新型的最小脉冲神经元电路。我们将所展示的神经元电路分为两类:共振器(Resonators)和积分器(Integrators)。在第一部分中,我们讨论了设计共振器类型神经元的方法;在第二部分中,我们讨论了积分器类型神经元的方法。在第一部分中,我们假设钠通道表现出N型负微分电阻(type-N negative differential resistance)。因此,我们提出了三种使用N型负微分电阻电路或设备作为钠通道的新型最小神经元电路。然而,本文的目的并不是展示一组最小神经元电路,而是展示构建这些电路的方法。
引言
近年来,脉冲神经网络(SNNs)因其基于事件的特性和高度并行性而受到了广泛关注[1]。这些特性使得SNNs成为传统人工神经网络(Artificial Neural Networks, ANNs)的一个潜在更高效的替代方案。SNNs是ANNs的一个新兴子类别,能够更忠实地模拟生物神经元的功能。在SNNs中,信息通过脉冲(也称为动作电位)来传递。这些脉冲的时序或频率可以用来表示信息[2]。SNNs的主要构建块是脉冲神经元,它们旨在忠实地模拟生物神经元的功能。这些神经元会积累传入的脉冲,并根据脉冲的幅度和频率决定是否发射动作电位。
为了模拟SNNs,文献中提出了几种脉冲神经元模型。其中,霍奇金-赫胥黎(Hodgkin-Huxley, HH)模型[3]被认为是目前最准确的模型。然而,HH模型是一组四个耦合的常微分方程,这使得它在计算机模拟中效率较低。另一种常用的替代模型是泄漏积分-发射(Leaky Integrate and Fire, LIF)神经元模型[4],因为它简单且计算效率高。然而,LIF模型在生物学上并不合理,因为它无法实现信号增益、不应期或“后超极化”(afterhyperpolarization)等特性。这些特性对于SNNs实现满意性能至关重要。与其模拟SNNs,不如设计本质上就能实现其功能的硬件[5],[6],[7],[8],[9]。为了利用这一策略,需要设计能够忠实复制这些神经元模型动态特性的神经元电路。
设计神经元电路的一种方法是使用基于晶体管的电路来实现模型的方程[10]。这种方法在实现具有高生物学合理性的神经元电路方面是有效的。然而,这些电路使用了大量的晶体管和电容器,因此在可扩展性方面并不理想。另一种方法是使用易失性忆阻器(volatile memristors)来构建神经元电路[11],[12]。易失性忆阻器可以用于模拟HH神经元中的离子通道或LIF神经元中的阈值感应装置。在[13],[14],[15]中,易失性忆阻器可以与电容器并行使用来实现LIF神经元。在这种设置中,电容器类似于神经元的膜电容,而易失性忆阻器用于在膜电位达到某个阈值后将其重置。在[16],[17]中,作者提出了能够产生全或无(all-or-nothing)脉冲、具有信号增益和不应期的神经元电路。作者假设这些电路中使用的莫特忆阻器(Mott memristors)可以模拟钾离子通道和钠离子通道的功能,因此这些神经元电路可能与HH神经元具有相似的定性特征。然而,这一假设的有效性在[18]中受到了质疑。
本文提出了一种用于设计最小神经元电路的方法,无论使用晶体管、忆阻器设备还是结合两者的混合方法。工作的第一部分讨论了作为共振器的最小神经元电路,第二部分讨论了作为积分器的最小神经元电路[19]。我们在第2节中介绍了INa,p+IK神经元模型。然后,在第3节中,我们讨论了具有低阈值钾激活的INa,p+IK神经元的零线以及该模型产生脉冲的分岔类型。在第4节中,我们讨论了具有N型负微分电阻(NNDR)的电路和设备,并展示了这些电路和设备可以用来模拟钠通道的功能。随后,在第5节中,我们提出了三种新型的共振器类型最小神经元电路;在第6节中,我们讨论了其他最小神经元(共振器)。我们使用这些电路来证明NNDR电路或设备可以与MOSFET和RC电路结合使用,以实现INa,p+IK模型。此外,第7节简要比较了我们的工作与其他文献中的神经元实现方法。本文中的所有模拟都是使用MathWorks MATLAB和LTspice进行的。与本文相关的MATLAB源代码可在[20]中找到。
章节摘录
最小神经元模型
HH模型被广泛认为是对神经元动态的准确描述。该模型包含一个与三个离子通道并联的神经元膜电容器。这些离子通道在促进离子跨神经元膜移动方面起着关键作用。其中两个通道是电压门控的,这意味着它们的导电性取决于膜电压。此外,这两个通道还具有离子选择性;一个通道控制钠离子的流动,另一个通道控制
INa,p+IK模型(低阈值K离子通道)
伊兹基耶维奇(Izhikevich)根据神经元的定性动态将神经元分为两类:共振器(Resonators)和积分器(Integrators)[21]。共振器是表现出亚阈值振荡的神经元,它们没有明确的动作电位发射阈值。另一方面,被归类为积分器的神经元具有明确的动作电位发射阈值,并表现出全或无的脉冲行为。这两种类型的另一个显著区别是积分器更倾向于
N型负微分电阻设备
NNDR设备和电路在其I-V特性中表现出电压控制的负微分电阻,即I-V特性的某部分斜率为负。此外,I-V特性通常呈N形曲线,因此称为“N型”。从图1(b)的特性中我们可以推断出钠离子通道确实具有这种NNDR特性。NNDR特性是导致脉冲产生的核心定性特征
基于FET的最小神经元(共振器)
我们提出了一种新型的最小神经元电路,该电路包含三个MOSFET、两个电容器和一个电阻器,如图5所示。与其它神经元实现相比,该电路使用的组件显著较少[29],[30],但它表现出类似于低阈值钾激活的INa,p+IK模型的脉冲特性。该电路包括一个钾通道和一个钠通道,以及膜电容器,表示为