基于流形的脑启发式循环脉冲神经网络用于多尺度动态表示
《Neuroscience》:Brain-inspired recurrent spiking neural networks for multiscale dynamic representation with manifolds
【字体:
大
中
小
】
时间:2026年10月14日
来源:Neuroscience 3.3
编辑推荐:
• 提出了一种受脑启发的递归脉冲神经网络(RSNN)建模框架。
• RSNN利用低秩和小世界连接实现鲁棒的动态表征。
• 在具有多尺度输入的计算任务中评估了RSNN的表征能力。
• RSNN完成的神经计算可由低维流形来表示。
引言
理解神经网络结构、动力学与功能之间的关系
• 提出了一种受脑启发的递归脉冲神经网络(RSNN)建模框架。
• RSNN利用低秩和小世界连接实现鲁棒的动态表征。
• 在具有多尺度输入的计算任务中评估了RSNN的表征能力。
• RSNN完成的神经计算可由低维流形来表示。
引言
理解神经网络结构、动力学与功能之间的关系是理论神经科学的核心关注点。一个特别活跃的研究领域是神经网络建模,它通过模拟神经回路中的大规模神经活动,揭示不同的连接模式如何塑造群体动力学并支持复杂的神经计算(Bassett和Sporns, 2017; Singh等, 2025; Nozari等, 2024)。递归神经网络(RNN)和脉冲神经网络(SNN)已成为广泛使用的计算框架,在情境依赖决策、时间预测和运动控制等功能性测试任务中得到广泛应用(Fan等, 2025; Bi和Zhou, 2020; Burghi等, 2025)。
任务特定的神经计算通常与不同的动力学相关联,神经网络以不同的方式组织其群体活动以支持不同的功能需求(Borst和Theunissen, 1999; Vyas等, 2020)。一个典型的例子是,RNN在随机输入下可以表现出自主动力学并实现学习到的动态正则化,从而增强内部表征的鲁棒性,并持续优化其在行为任务中的性能(Jaeger, 2002; Wikner等, 2024; Schuessler等, 2024; Mante等, 2013)。与鲁棒表征所需的稳态动力学不同,SNN中的高维瞬态动力学在连续时间输入过程中被观察到(Maass等, 2002; Pyle和Rosenbaum, 2017)。这些动力学的时间组织特性和持续特性进一步受递归连接和突触时间尺度的塑造。稀疏连接的SNN可以表现出速率混沌,在突触慢动力学存在的情况下其记忆寿命可以延长(Klinshov等, 2022)。此外,具有兴奋-抑制平衡的递归脉冲神经网络(RSNN)已被证明能够在工作记忆和决策任务中产生神经元特异性调谐和与任务相关的群体动力学,类似于前额叶皮层观察到的神经活动模式(Wang, 2002; Xue等, 2023)。随着大规模神经记录技术的发展,越来越多的注意力被引向由皮层区域产生的神经动力学,这些区域与运动规划和行为决策密切相关。来自猕猴和其他生物的神经记录表明,群体活动通常被约束在高维神经状态空间内嵌入的低维流形中,其中少数潜在变量编码了功能相关的感觉、认知和运动信息。例如,动物运动时的头部方向与环形神经流形结构密切相关,而猕猴运动皮层中的神经流形轨迹准确地表示了手臂伸展、抓握和肌肉协同等运动状态(Gallego等, 2017; Chaudhuri等, 2019; Churchland等, 2012; Gallego等, 2018)。
受脑内神经流形的启发,越来越多的研究聚焦于高维神经网络活动背后的低维表征结构。具有低秩连接的RNN在特定输入下可以表现出低维动力学,为研究神经网络的动态机制提供了实验平台(Mastrogiuseppe和Ostojic, 2018; Podlaski和Machens, 2024)。低秩矩阵由有限数量的非零奇异值定义,可以由少量的连接向量构建。与满秩矩阵相比,低秩矩阵具有更简单的结构特征。这种简洁性约束了递归反馈的维度。具体来说,满秩矩阵可以将神经活动映射到高维空间中的许多方向上。低秩递归网络主要通过一组连接向量来调节网络动力学,导致与任务相关的活动集中在少数潜在变量上(Beiran等, 2021; Dubreuil等, 2022)。此外,低秩结构向谱中引入了结构化模式,这些模式可以决定网络形成固定点、环形轨迹还是振荡动力学。特别是,当随机连接与低秩结构共存时,低秩分量通常与任务相关的结构化低维动力学相关联,而随机分量提供背景混合和神经元特异性(Schuessler等, 2020)。
深刻影响网络动力学和功能的关键因素是网络拓扑。与主要约束网络动力学有效维度的低秩连接不同,拓扑决定了神经元之间的信息传播路径、局部相互作用模式以及全局通信效率(Bullmore和Sporns, 2009; Rubinov和Sporns, 2010; Litwin-Kumar和Doiron, 2012)。神经元相互作用的组织方式,包括成对耦合、长程和延迟交互、自适应连接以及神经元之间的高阶相互作用,显著影响集体神经同步模式,这是网络动力学的一种重要形式(Majhi等, 2025)。递归连接网络在以往研究中得到了广泛研究,其特征性反馈回路塑造了多样的网络动力学。递归连接强度的变化可以驱动在静止、混沌和吸引子动态状态之间的转变。此外,研究表明网络的复杂时间计算能力在混沌边缘附近达到最大值(Sompolinsky等, 1988; Laje和Buonomano, 2013; Bertschinger等, 2004)。另一种众所周知的拓扑组织方式是稀疏连接。通过重塑权值连接矩阵的谱结构,稀疏连接使结构化分量和随机扰动能够协同作用,赋予网络更灵活的自主动力学。这可以解释为什么稀疏网络在连接数量减少的情况下仍然能够保持动态表征和计算能力(Harris等, 2023; Herbert和Ostojic, 2022)。神经科学研究进一步表明,脑网络以整体稀疏连接为特征,同时在特定区域存在密集互连的社区和枢纽节点(Bassett等, 2010; Deco等, 2015)。这种组织方式通常被描述为小世界拓扑,其特点是由密集局部连接与少量长程捷径相结合(Watts和Strogatz, 1998; Muldoon等, 2016)。从动力学角度来看,小世界拓扑中的捷径显著缩短了平均路径长度,促进了神经活动在区域间的传播和同步。此外,小世界网络可能与临界动力学共存,这支持了功能分离和全局信息整合(Latora和Marchiori, 2001; Barahona和Pecora, 2002; Takagi, 2018)。与规则网络和随机网络相比,小世界网络在局部有序性和全局混合性之间取得了平衡。这为准确表征和高效计算提供了重要的结构基础。
本研究提出了一种RSNN建模框架,将低秩结构与小世界拓扑相结合。在理论层面,我们推导了不同条件下的网络动力学,阐明了如何根据输入的固有维度设计合适的网络架构,从而获得最优表征。为了评估所提框架的可靠性,我们设计了三个不同复杂度水平的任务,涵盖从时间信号的二值判别到多类图像分类和事件流识别,覆盖了具有不同固有维度的输入条件。结果表明,增加连接结构的维度为网络动力学提供了更大的自主调节能力,且二阶连接结构足以支持复杂的图像分类任务。对于每个任务,我们进一步分析了连接结构、低维表征和计算性能之间的关系。当连接秩匹配输入的固有维度时,网络活动的低维表征呈现出良好的几何结构,并在相应任务上取得最佳性能。总体而言,所提框架可以预测给定输入所需的连接秩,从而指导网络架构设计。这为神经网络的工程应用提供了理论参考。本工作的主要贡献如下:
(1)提出了一种集成低秩连接与小世界拓扑的RSNN模型,通过对权值连接矩阵施加低秩约束和小世界掩模来提高计算效率。
(2)提出了一个将外部输入的固有维度、递归连接秩、网络拓扑和低维流形表征联系起来的理论框架,用于分析网络动力学。
(3)所提理论框架将网络活动分解为由递归低秩子空间主导的低维分量和与瞬态动力学相关的正交分量,阐明了递归连接和网络拓扑对网络动力学的影响。
(4)理论分析提供了秩选择原理:当连接秩匹配给定任务输入的固有维度时,网络在该任务上取得最佳性能,并展现出结构良好的低维表征。
章节片段
神经网络模型与网络动力学
我们提出了一种具有低秩结构和小世界拓扑的RSNN建模框架,并全面探讨了网络结构、输入维度与网络动力学之间的关系(图1)。具体而言,我们考虑了一个由N个泄漏积分-放电(LIF)神经元组成的递归脉冲神经网络,其膜电位动力学可以用以下微分方程描述:
v?(t) = -(1/τ)v(t) + Wrec·s(t) + Win·u(t)
其中v(t)∈RN表示膜电位向量,NDynamical representations in RSNN with low-dimensional external inputs
为了阐明不同输入条件下网络连接秩和拓扑结构对网络动力学的影响,我们首先设计了一个Go-Nogo二值刺激判别任务(图3A)。该任务源自行为动物实验,要求动物主动响应Go刺激同时忽略Nogo刺激。在本研究中,我们构建了一个具有低秩连接和小世界拓扑结构的脉冲神经网络来执行该任务。
结论与讨论
在本工作中,我们开发了一种将低秩连接与小世界拓扑相结合的递归脉冲神经网络框架,以展示外部输入和网络架构如何共同塑造神经群体动力学和计算性能。核心结论是,高效计算并非简单地源于增加网络规模、连接密度或动态自由度。相反,它取决于输入维度、递归连接秩、网络拓扑和低维流形表征之间的协调匹配。
CRediT作者贡献声明
Xiaojun Wang(王小军):写作——审阅与编辑、方法论、调查研究、形式化分析。
Zaidong Lin(林再栋):写作——原稿撰写、方法论、调查研究、概念化。
Bin Deng(邓宾):写作——原稿撰写、可视化、验证、调查研究。
Xiaodong Liu(刘晓东):写作——审阅与编辑、监督、调查研究。
Haitao Yu(于海涛):写作——审阅与编辑、验证、监督、形式化分析。
利益冲突声明
作者声明他们不存在任何已知的竞争性经济利益或个人关系,这些关系可能影响本论文中报告的工作。
致谢
本工作得到了国家自然科学基金的资助(基金号:62271348)。
王小军 | 林再栋 | 邓宾 | 刘晓东 | 于海涛