从自由能原理中涌现的自正交化吸引子神经网络

《Neurocomputing》:Self-orthogonalizing attractor neural networks emerging from the free energy principle

【字体: 大 中 小 】 时间:2026年03月31日 来源:Neurocomputing 6.7

编辑推荐:

  吸引子动力学是许多复杂系统(包括大脑)的标志。理解这些自组织动力学如何从第一性原理涌现,对于推进对神经元计算和人工智能系统设计的理解至关重要。本文研究人员形式化描述了吸引子网络如何从应用于随机动力学系统(random dynamical systems)通用划

  
吸引子动力学是许多复杂系统(包括大脑)的标志。理解这些自组织动力学如何从第一性原理涌现,对于推进对神经元计算和人工智能系统设计的理解至关重要。本文研究人员形式化描述了吸引子网络如何从应用于随机动力学系统(random dynamical systems)通用划分的自由能原理(Free Energy Principle, FEP)中涌现。该方法避免了对显式强加的学习和推理规则的需求,并为此类自组织系统识别出涌现但高效且具有生物合理性的推理与学习动力学。这些过程导致了集体、多层次的贝叶斯主动推理(Bayesian active inference)。自由能景观(free energy landscape)上的吸引子编码先验信念;推理将感觉数据整合为后验信念;学习通过微调耦合以最小化长期惊奇(long-term surprise)。通过分析及仿真,研究人员确定所提出的网络偏好近似正交化的吸引子表征,这是同时优化预测准确性和模型复杂性的结果。这些吸引子高效地张成输入子空间,增强了泛化能力以及隐藏原因与可观测效应之间的互信息(mutual information)。此外,随机数据呈现导致对称和稀疏的耦合,而序列数据则促进非对称耦合和非平衡稳态动力学(non-equilibrium steady-state dynamics, NESS),从而为传统玻尔兹曼机(Boltzmann Machines)提供了一种自然推广。研究人员的发现为自组织吸引子网络提供了统一理论,为人工智能和神经科学提供了新见解。
**论文解读:从自由能原理到自正交化吸引子网络的理论统一与仿真验证**

**研究背景与问题**
吸引子动力学是许多复杂系统的核心特征,包括大脑中的神经活动。然而,现有吸引子网络模型(如霍普菲尔德网络、玻尔兹曼机)通常需要显式定义的学习和推理规则,其自组织来源缺乏第一性原理推导。自由能原理(Free Energy Principle, FEP)为理解自组织系统(如大脑)提供了一般框架,但尚未直接揭示吸引子网络如何从该原理中涌现。本研究旨在回答:基于FEP的通用系统划分能否自然催生具备自适应自组织能力的吸引子网络?这类网络具有怎样的结构特征和学习行为?研究结果发表于《Neurocomputing》。

**主要技术方法**
研究人员基于FEP中的“特定划分”(particular partition)概念,引入分层嵌套的“深层特定划分”(deep particular partition)结构,将系统分解为内部状态、外部状态以及由感觉状态和动作状态组成的马尔可夫毯(Markov blanket)。通过假设内部状态服从连续伯努利分布(continuous Bernoulli distribution),并利用变分自由能(Variational Free Energy, VFE)最小化推导出局部随机推理规则(连续状态下的朗之万函数激活)和局部耦合学习规则(类赫布/反赫布对比学习)。仿真使用Python和JAX实现,数据集包括scikit-learn的手写数字集和AT&T实验室的Olivetti人脸数据集(400张64×64灰度图像)。

**研究结果**
**2.1 背景:特定划分与自由能原理**
系统通过马尔可夫毯实现外部与内部的稀疏耦合,维持条件独立性,等价于变分自由能最小化下的推理过程。

**2.2 深层特定划分与子粒子**
宏观粒子可分解为多个重叠的微观子粒子,子粒子间通过边界状态(感觉与动作)连接,形成层次化生成模型。

**2.3 从深层特定划分到吸引子神经网络的涌现**
采用连续伯努利分布参数化子粒子内部状态,通过狄拉克δ函数定义确定性的边界状态,推导出局部条件概率形式,得到结合偏置和加权输入的连续伯努利分布,其期望值为朗之万函数(sigmoid激活)。

**2.4 推理**
通过最小化局部变分自由能,每个节点的最优变分密度即为连续伯努利分布,期望值给出推理规则:E[σi] = L(bi + Σj≠i Jijσj)。该规则实现局部贝叶斯推断,在对称耦合下退化为连续状态随机霍普菲尔德网络的玻尔兹曼风格更新。

**2.5 学习**
最小化局部变分自由能导出耦合权重更新规则:ΔJij ∝ (σiσj ? L(θi)σj),兼具赫布项(观测相关)和反赫布项(预测相关),类似于预测编码和桑格规则,促进正交化。

**2.6 近似正交吸引子的涌现**
反赫布项消除已被解释的方差,迫使新学习的分量正交于已有吸引子,使网络近似Kanter-Sompolinsky投影神经网络的记忆容量。

**2.7 随机检索作为宏观尺度贝叶斯推理**
随机动力学实现马尔可夫链蒙特卡洛(MCMC)采样,从后验分布中采样,平均值代表先验(吸引子)与证据(偏置)的贝叶斯整合。

**2.8 非平衡稳态**
对称耦合分量给出玻尔兹曼形式的稳态分布;非对称耦合分量产生沿等能量流的螺线管流动,实现序列动力学(异宿链),且不改变稳态分布。

**3. 仿真演示**
**3.1 仿真1:正交基形成、宏尺度自由能最小化与贝叶斯推理**
在25节点网络上训练两个相关模式,结果显示吸引子从原始输入相关(r=0.77)变为近似正交(r=?0.19),且网络能从噪声输入检索模式并泛化至新模式。

**3.2 仿真2:学习行为系统评估**
在手写数字集(10张训练、1787张测试)上,中等推理温度(iT≈0.1–0.5)下网络达到高检索和高单样本泛化性能,此时吸引子近似正交且数量减少(如数字5和7共享一个吸引子)。低温度导致过拟合(高复杂度),高温度导致单一固定点(低复杂度)。

**3.3 仿真3:序列学习能力**
按固定顺序(1→2→3)训练,网络学习到非对称耦合;对称分量产生三个固定点吸引子,非对称分量驱动自发序列回放(1→2→3→1…),展示异宿链动力学。

**3.4 仿真4:抗灾难性遗忘**
网络在零偏置下自由运行50,000步后,耦合矩阵、检索和泛化性能基本保持,表明自发活动可巩固吸引子,但一些原始吸引子变为“软吸引子”。

**3.5 仿真5:可扩展性与记忆容量**
JAX实现显示O(N2)计算复杂度,在N=4096下运行良好。记忆容量远超经典霍普菲尔德界限(~0.14N),接近投影网络极限。

**3.6 仿真6:Olivetti人脸识别**
在4096节点网络上训练400张人脸,确认正交化与吸引子形成。在极端噪声下,网络通过贝叶斯整合恢复身份,展示强鲁棒性。

**讨论与结论**
讨论部分指出,深层特定划分下的变分自由能最小化自然产生两个互补动态:局部贝叶斯推理(感知)与耦合塑性(学习),后者具有赫布/反赫布和预测编码形式,且与STDP(尖峰时序依赖可塑性)关联。吸引子近似正交性是自由能最小化的必然结果,它同时优化预测准确性和模型复杂度,并确保非对称耦合沿能量等值线作用,实现干净的感知-动作分离。该框架为理解大脑大规模吸引子动态(如静息态网络)和设计持续学习、鲁棒的人工智能系统提供了理论依据。研究结论如下:

**结论**
通过从自由能原理推导出自适应、自组织且自正交化的吸引子网络,本研究为自组织、贝叶斯推理和神经计算提供了原则性统一框架。吸引子正交化的内在趋势、多尺度动态以及持续学习能力,为通过主动推理的视角理解自然智能并启发人工对应物提供了有说服力、有理论基础的展望。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号