解决不可识别性问题有助于减少神经调谐与功能耦合同时建模中的系统误差

《Journal of Computational Neuroscience》:Resolving non-identifiability mitigates systematic errors in simultaneous models of neural tuning and functional coupling

【字体: 大 中 小 】 时间:2026年04月02日 来源:Journal of Computational Neuroscience 2

编辑推荐:

  摘要 理解大脑的一个关键组成部分是确定神经元群体之间的相互影响,以及这些影响与其他因素的相对关系。在大脑中,所有神经元都受到其他神经元活动的驱动,其中一些神经元可能被同时记录下来,但大多数则没有。因此,神经元活动模型需要考虑被同时记录的神经元以及未被测量的神经元的影响。这可以

  摘要
理解大脑的一个关键组成部分是确定神经元群体之间的相互影响,以及这些影响与其他因素的相对关系。在大脑中,所有神经元都受到其他神经元活动的驱动,其中一些神经元可能被同时记录下来,但大多数则没有。因此,神经元活动模型需要考虑被同时记录的神经元以及未被测量的神经元的影响。这可以通过包含模型术语来实现,这些术语用于表示观察到的外部变量(例如,对刺激的调谐)、观察到的内部变量(例如,与记录的神经活动的耦合),以及潜在的变异来源。然而,尽管这些模型被广泛使用,但在推断过程中对系统误差的评估却很少进行,系统误差的来源也知之甚少。通过大量的数值研究和分析计算,我们发现用于静态和动态模型的常见推断程序通常存在系统误差。与普遍直觉相反,我们发现模型不可识别性是导致参数估计系统误差的原因,而不是方差膨胀,这使得它成为一种特别隐蔽的统计误差形式。我们证明了在估计之前进行准确的参数选择可以解决模型不可识别性问题,并减轻相关的系统误差。在多种神经生理数据集(初级视觉皮层和海马体的多个单单元记录、初级听觉皮层的脑电图(ECoG)中,我们发现常见方法通常高估了神经元之间相互作用的影响,而低估了外源变量的影响。本质上,当存在由于未观察到的共享变异而产生的正相关时,估计的神经元间耦合会膨胀,从而牺牲了调谐能力。我们根据数据统计和实验设计解释了不同神经生理数据集中观察到的系统误差的异质性。我们的结果确定了具有内源性、外源性和潜在变量的同时系统结构方程模型中统计误差的原因,提供了减轻这些误差的推断程序,并揭示和解释了这些误差在各种神经数据集中的影响。

1 引言
感觉、认知和行为是由分布在大脑中的神经元相互作用产生的。在中枢神经系统中,所有神经元都受到其他神经元活动的驱动。新技术使得能够从大脑不同区域分布的越来越多传感器中同时记录数据。例如,可以记录猴子初级视觉皮层(PVC)中多个单单元对定向光栅的视觉呈现的反应(图1a-b);大鼠听觉皮层的微电皮层图(μECoG)可以记录对纯音声音的反应(图1d-e),并且可以记录大鼠在迷宫中导航时海马体的多个单单元(图1g-h)。这些数据为捕捉神经元之间的相互作用提供了可能(图1b,e,h)。同时,我们仍然只能测量大脑中极小一部分神经元。因此,试图根据其他同时记录的细胞的活动来解释一个神经元活动的模型需要考虑所有未被测量神经元的影响。一种方法是基于我们可以测量的因素(包括外部因素如刺激参数(图1a,d,g)来总结这些未被测量神经元的活动。结果是一个试图用其他已测量神经元的影响以及刺激属性(即调谐)来解释神经活动的模型。另一种方式是,未被观察到的神经元可以通过在相同刺激的平均响应波动中创建相关性(即“噪声相关性”,图1c,f,i)来影响神经活动,这可以被描述为一种未观察到的影响。因此,有多种影响可以用来建模神经活动。确定单个神经元群体之间的相互影响(即耦合)以及这些影响相对于例如外部刺激的影响的大小,对于理解大脑功能非常重要。现代数据集包含了许多同时记录的神经元,这为我们提供了更深入地了解大脑计算背后机制的机会,同时也带来了从数据本身中提取这些信息的挑战。

统计模型为估计多种因素对神经活动的影响提供了一套强大的工具(Kass等人,2018;Paninski和Pillow,2007)。参数模型,如广义线性模型,在建模神经数据方面很有吸引力,因为估计参数的值指定了哪些因素重要以及它们在预测神经活动中的重要性(Brown等人,2001;Paninski,2004;Park等人,2014;Pillow等人,2008;Stephan等人,2004;Stevenson等人,2012,2008;Truccolo等人,2004)。在系统神经科学中,有一些常见的参数建模方法。例如,调谐模型描述了单个神经元(或电极)的活动如何受到外部变量(例如感觉刺激)的调节,但忽略了其他记录的神经元对模型中神经元的影响。同样,耦合模型描述了神经元活动如何受到其他同时记录的神经元的调节,但忽略了对外部变量的依赖性。了解这些模型省略了哪些因素(即变量)有助于构建更完整的模型。例如,先前的研究已经探讨了在调谐模型中包含功能耦合如何调节对单个神经元活动的估计影响(Pillow等人,2008;Stevenson等人,2012,2008)。当将耦合和调谐模型拟合到数据时,观察到调谐对神经活动的调节作用大大减少(Stevenson等人,2008)。这被解释为表明,虽然单个神经元的活动受到外部变量的调节,但主要是由其他同时记录的神经元活动驱动的。

从统计学的角度来看,这种解释是,原本归因于外部变量(调谐)的许多响应调节实际上被内部变量(耦合)所解释,而这些内部变量在仅调谐模型中被省略了(即它们是省略变量)。虽然这当然是直观的,并且可能是正确的,但模型估计中的系统误差是否以及如何影响这些结果尚不清楚。参数估计中的系统误差,如偏差,是指估计参数与其真实值之间的持续偏差。参数估计中的系统误差与模型相关的随机噪声无关,而是与参数的参数化和/或推断程序有关。在某些情况下,系统误差可能对应于参数估计的误差。但在我们的案例中,由于参数估计中的系统误差源于参数的不可识别性,因此偏差的概念将是不明确的,所以我们将这些误差称为系统误差。为了解释推断出的参数,理解系统误差的存在至关重要(Das和Fiete,2020)。尽可能减少这些系统误差是必要的。然而,我们对错误推断原因的理解尚处于初级阶段,因此缺乏减少这些系统误差的方法。因此,我们解释模型的能力受到影响,可能会影响科学结论。

在估计功能耦合时,已经研究了由于省略变量(一种特定类型的模型结构错误指定)而产生的系统误差的可能性(Stevenson等人(2008))。未观察到的神经活动已被确定为构建精确的记录神经活动模型的一个潜在障碍(Stevenson,2018;Stringer等人,2019)。一些神经数据集表明,与所有同时观察到的神经元的历史相比,从未观察到的共享潜在变量和自我历史中可以更好地预测结果(Macke等人,2011)。将潜在变量纳入到达数据集的编码模型中,已被证明可以改善对手的解码(即预测)(Lawhern等人,2010)。这些结果强调了通过包含潜在变量来考虑未观察到的神经元在群体神经活动模型中的影响的重要性。然而,很少有工作研究通过潜在变量建模未观察到的神经活动是否可以减轻系统误差(例如,省略变量误差)。也就是说,即使在一个没有省略变量的模型中,该模型中的推断也可能存在系统误差?一般来说,目前还不清楚模型结构与用于估计模型参数的推断算法之间的相互作用是否以及如何导致错误的参数估计。重申一下,如果模型没有捕捉到数据中的结构,或者推断不准确,那么得到的参数估计可能会足够错误,从而危及科学结论。

图1
完整尺寸图像
神经活动取决于外部刺激、同时记录的神经元和未观察到的神经活动。每一行对应一个单独的神经科学数据集。
a-c. 从猕猴初级视觉皮层(右侧的红点)记录的单个单元尖峰,作为对漂移光栅(左侧的蓝色图表)的反应。
b. 从刺激开始以来,20个不同单个单元的尖峰栅格随时间的变化。
c. 计算每对单元之间的成对噪声相关性分布。
d. 来自大鼠初级听觉皮层的微电皮层图(μECoG)记录(z分数Hγ响应),作为对不同频率音调的反应(左侧)。
e. 20个不同电极的高γ响应,作为从刺激开始以来的时间函数。
f. μECoG数据集的成对噪声相关性分布。
g. 从大鼠海马体(右侧)记录的单个单元尖峰,在迷宫中的空间决策任务期间(左侧)。
h. 20个单个单元在迷宫中的尖峰栅格随时间的变化。
i. 计算每对单元之间的成对噪声相关性分布。

我们的神经科学目标是理解小群神经元之间的相对影响(“耦合”)相对于刺激和任务(外部变量)以及未观察到的神经元(潜在因素)的影响。我们的技术目标是理解和减轻具有内源性、外源性和潜在变量的同时方程模型中参数估计的系统误差来源。为此,我们确定了神经数据参数模型中潜在的估计误差来源,并开发了模型和推断程序来减轻这些估计中的系统误差。我们通过数值模拟、分析计算以及对多种神经数据集的应用,系统地解决了这些问题。在整个过程中,我们考虑了推断如何与模型结构相互作用,从而影响参数估计的系统性误差。本工作的主要贡献如下:

首先从一个静态模型开始,其中所有参数都是时间独立的,我们证明了内生-外生-潜在(也称为耦合-调节-潜在,简称‘CoTuLa’)模型的结构不可识别性可以通过指定模型支持来正式解决。与普遍的直觉相反,我们通过数值方法展示了不可识别性可能导致参数估计的系统性误差,而不是估计方差的膨胀,这使得它成为一种特别隐蔽的统计误差形式。我们展示了标准模型及其神经耦合和调节的推断算法在合成数据中可能表现出系统性误差,并证明了在具有潜在变量的耦合和调节模型中进行准确的变量选择可以消除参数估计的系统性误差。然而,我们发现,仅在模型中包含潜在变量或仅使用稀疏推断都是不足以消除系统性估计误差的。特别是当模型参数分布与神经数据生成过程在质量上匹配时,我们展示了之前观察到的通过耦合来解释调节的现象可能纯粹是由推断中的系统性误差引起的。

将所提出的静态模型和推断程序应用于初级视觉皮层和初级听觉皮层的神经生理学数据表明,参数估计的系统性误差是相当大的。我们通过数值和分析结果展示了动态CoTuLa模型表现出与静态模型相同的系统性误差质量,并再次证明了通过准确的变量选择可以减轻这些误差。我们对动态模型的数值和分析工作为在另一个初级视觉皮层数据集和海马数据集中观察到的结果异质性提供了见解。这些结果共同揭示了由于模型不可识别性而导致的先前未被识别的参数估计系统性误差,并证明了准确的变量选择可以减轻这种误差,从而提高了我们根据模型得出科学结论的能力。神经模型的描述见第2节。静态和动态模型的推断程序见第3节。关于参数估计程序的识别性分析以及对静态和动态模型的真实神经数据的模拟研究见第4节。在第5节中,我们提供了对所提出模型、推断程序及其在本文中应用于神经数据的总结讨论。

图2:完整尺寸图像

神经活动模型捕捉了调节、功能耦合和未观察到的影响。a. 神经数据集由观察到的神经元(电极)的记录\(\textbf{y}\)(中心圆)组成,这些神经元对外部刺激\(\textbf{x}\)作出反应。记录装置可能无法捕捉到未观察到的活动\(\textbf{z}\)(虚线圆)。记录的神经活动取决于外部刺激(调节)、群体内的相互作用(功能耦合)以及未观察到的活动。b-d. 常用于系统神经科学的模型捕捉调节和功能耦合,包括:b. 调节模型,其中模拟了神经元对外部刺激的依赖性;c. 功能耦合模型,其中模拟了神经元对邻近神经元的依赖性;以及d. 耦合和调节(CoTu)模型,它同时模拟了这两个因素。e. 静态CoTuLa模型通过同时捕捉外部调节\(\textbf{x}\)和未观察到的活动\(\textbf{z}\)对目标神经元\(y_i\)和非目标神经元\(\textbf{y}_{\lnot i}\)的联合影响来扩展调节和耦合模型。在图形模型中,\(\textbf{z}\)是一个潜在变量(浅蓝色)。f. 静态CoTuLa模型的动态扩展,它捕捉了每个时间点上外部刺激和潜在变量对神经群体的影响。该模型还结合了刺激和潜在变量的时间相关性。

我们研究了线性高斯模型,这些模型描述了观察到的神经活动如何依赖于系统中的其他神经元的耦合(图2a:深灰色部分)或调节(图2a:浅灰色部分),以及其他未观察到的神经元的活动(图2a:浅蓝色部分)。为了简化,我们将观察到的神经群体称为“神经元”,尽管神经记录的单元并不总是对应于神经元(例如,ECoG阵列中的电极)。与许多实验发现一致,我们假设调节和耦合参数都存在一定程度的稀疏性(这将被证明是准确估计的关键假设)。假设数据测量了一组N个神经元的活动以及一个具有M个特征的外部变量。我们使用N维向量y表示神经活动,使用M维向量x表示外部变量。我们考虑了神经元和外部变量之间关系的静态(即,瞬时的)和动态(即,时间依赖的)模型。在静态情况下,我们将目标神经元\(y_{i}\)的活动与非目标神经元\(y_{\lnot i}\)的活动分开建模。为了方便表示,我们选择了一个约定,即\(y_{\lnot i}\)是一个N维向量,这样观察到的群体中有\(N + 1\)个神经元。在动态情况下,每个时间t的神经活动和外部变量可以分别用N维和M维向量\(y_{t}\)和\(x_{t}\)表示。在动态情况下,目标神经元和非目标神经元之间没有区别。在整篇文章中,我们将使用粗体字母表示向量变量。

静态CoTu模型。调节模型(图2b)和耦合模型(图2c)分别指定了目标神经元\(y_i\)如何依赖于外部变量x或非目标神经元\(y_{\lnot i}\)。耦合-调节(CoTu)模型同时描述了目标神经元对外部变量和非目标神经活动的依赖性。在线性高斯设置中,CoTu模型可以表示为:
$$\begin{aligned} y_i = \textbf{a}^T \textbf{y}_{\lnot i} + \textbf{b}_i^T \textbf{x} + \epsilon _i \end{aligned}$$
其中\(\textbf{a}\)是N个耦合参数的向量,\(\textbf{b}_{i}\)是M个调节参数的向量。最后,\(\epsilon _{i}\)是一个噪声项,假设它来自均值为零的高斯分布。静态CoTu模型本质上是计量经济学文献中的传统联立方程模型(Mardia和Kent,2024年)。

静态CoTuLa模型。CoTu模型忽略了任何未观察到的神经元对观察到的群体的影响(图2a:浅蓝色群体)。为了解释未观察到的活动,我们制定了一个静态的耦合-调节-潜在(CoTuLa)模型,如图2e所示。在CoTuLa模型中,目标神经元同时依赖于外部变量(例如,刺激)、非目标神经元和一个未观察到的变量。我们引入了一个K维的潜在状态向量z,作为未观察到的神经元的低维表示。该模型还结合了非目标神经元对刺激和未观察到的活动的依赖性,尽可能在静态框架内准确反映神经数据生成过程。

静态CoTuLa模型捕捉了试验级别的神经活动生成:
$$\begin{aligned} y_i&= \textbf{a}^T \textbf{y}_{\lnot i} + \textbf{b}_i^T \textbf{x} + \epsilon _i \nonumber \\&= \textbf{a}^T \textbf{y}_{\lnot i} + \textbf{b}_i^T \textbf{x} + \left( \textbf{l}_i^T \textbf{z} + \psi _i \right) ; \end{aligned}$$
$$\begin{aligned} \textbf{y}_{\lnot i}&= B_{\lnot i}^T \textbf{x} + \varvec{\epsilon }_{\lnot i} \nonumber \\&= B_{\lnot i}^T \textbf{x} + \left( L_{\lnot i}^T \textbf{z} + \varvec{\psi }_{\lnot i} \right) . \end{aligned}$$
注意,在方程(2)和(3)中,目标神经元具有特殊地位,因为方程(3)的右侧没有神经元信号。类似于因子分析模型,我们假设潜在状态通过一个低维共享组件(由\(L^T\textbf{z}=\left[ L_{\lnot i}, \textbf{l}_i\right] ^T\textbf{z}\)定义)和一个私有组件\(\varvec{\Psi }= (\varvec{\psi }_{\lnot i}, \psi _i)\)产生模型中的变异性,后者来自均值为零的高斯分布。注意\(\epsilon _i = \textbf{l}_i^T \textbf{z} + \psi _i \)和\(\varvec{\epsilon }_{\lnot i} = L_{\lnot i}^T \textbf{z} + \varvec{\psi }_{\lnot i} \)现在用于指代无法被观察参数捕捉到的总未观察到的变异性。静态CoTuLa模型与计量经济学文献中提出的结构方程模型(Kline,2023年)有一些相似之处。

接下来,我们制定了一个神经活动的动态模型。与静态模型一样,动态模型描述了神经活动如何依赖于系统中的其他神经元的耦合以及对外部信号的调节。假设数据同时测量了在T个时间点采样的N个神经元的活动。这可以总结为一个时间序列\( Y = \lbrace {\textbf {y}}_{1}, \ldots , {\textbf {y}}_{t}, \ldots , {\textbf {y}}_{T} \rbrace \),其中N维向量\(y_{t} \)表示时间t的神经活动。同时,测量到的外部变量也有M个特征,总结为一个时间序列\( X = \lbrace {\textbf {x}}_{1}, \ldots , {\textbf {x}}_{t}, \ldots , {\textbf {x}}_{T} \rbrace \),其中每个\(x_{t} \)是一个M维向量。具体来说,这项工作关注的是一个带有额外调节项的1步向量自回归(VAR\( _{1} \))模型。我们将动态耦合-调节(CoTu)模型写为:
$$\begin{aligned} {\textbf {y}}_{t} = A {\textbf {y}}_{t-1} + B {\textbf {x}}_{t} + \varvec{\epsilon }_{t}, \end{aligned}$$
其中A是一个\( N \times N \)的耦合矩阵,用于捕捉观察到的神经元之间的动态功能耦合,B是一个\( N \times M \)的调节矩阵,用于总结神经元如何受到外部输入的影响。注意,与静态模型的表述不同,在动态模型中没有目标神经元和非目标神经元之间的区别。

动态CoTuLa模型。与静态模型一样,我们通过假设分解\(\varvec{\epsilon }_{t} = L {\textbf {z}}_{t} + \varvec{\psi }_{t}\)来明确建模未观察到的变异性的时空相关性,其中\( {\textbf {z}}_{t} \)本身是一个潜在的动态变量,L是一个\( N \times K \)的潜在耦合矩阵,描述了\( {\textbf {z}}_{t} \)如何影响每个神经元的活动。额外的私有噪声\( \varvec{\psi }_{t} \sim \mathcal (\textbf{0}, \Sigma ) \)被假设为一个N维的独立同分布(i.i.d.)高斯变量。这使我们能够将动态耦合-调节-潜在(CoTuLa)模型(见图2f)写为:
$$\begin{aligned} {\textbf {y}}_{t} = A {\textbf {y}}_{t-1} + B {\textbf {x}}_{t} + (L {\textbf {z}}_{t} + \varvec{\psi }_{t}), \end{aligned}$$
我们使用一个单独的VAR\( _{1} \)过程来建模\( Z = \lbrace {\textbf {z}}_{t} \rbrace \)的动态:
$$\begin{aligned} {\textbf {z}}_{t} = G {\textbf {z}}_{t-1} + \varvec{\eta }_{t}, \quad \varvec{\eta }_{t} \sim \mathcal {N}(\textbf{0}, I_{K}), \end{aligned}$$
其中K是\( {\textbf {z}}_{t} \)的维度,G是一个\( K \times K \)的潜在耦合矩阵,\(\varvec{\eta }_{t} \)是独立同分布的高斯噪声。

在第2节中,我们定义了四种不同类型的模型——方程(1)中的静态CoTu模型,方程(2)和(3)中的静态CoTuLa模型,方程(4)中的动态CoTu模型,以及方程(5)中的动态CoTuLa模型。对于静态和动态CoTu模型,参数估计简化为线性回归问题,并使用普通最小二乘估计。对于CoTuLa模型,可以通过期望最大化(EM)算法进行参数推断,因为我们使用了线性高斯潜在变量模型。我们开发了一个EM程序来分别估计静态和动态情况下的参数;详细信息见第和第节。

正如我们将展示的,模型支持的准确性对估计参数有显著影响。我们探索了三种模型支持机制:无选择、神谕选择和推断选择。在没有选择的情况下,所有参数的值都被估计;在神谕选择的情况下,提供了耦合和调节参数的真实模型支持。我们采用了一种模块化的参数推断方法,首先进行变量选择推断,然后估计非零参数值,这已在类似的系统神经科学模型中显示出非常好的结果(Bouchard等人,2017年;Sachdeva等人,2021年)。因此,静态和动态CoTuLa模型中参数的可识别性是一个关键问题。为了应对参数的不可识别性问题,必须像第4.1节所讨论的那样对参数空间进行约束。只有在受限的模型空间中,才能对静态CoTuLa模型进行推断,如第节所述。描述受限模型空间的一种方法是假设模型参数是稀疏的。由于模型参数可能是稀疏的,推断模型支持是推断过程中的一个必要步骤。推断模型支持,也称为变量选择,是指在参数模型中识别非零参数。在参数模型中进行变量选择通常是通过在目标函数中加入L1惩罚项来实现的,以将参数值规范化为零,这通常使用Lasso方法来解决(Tibshirani, 1996)。然而,众所周知,L1正则化在存在噪声的情况下既会导致错误的变量选择,也会导致参数估计的误差(Bouchard等人,2017;Tibshirani, 1996)。我们将展示,在推断过程中施加L1正则化并不足以获得准确的参数估计。因此,一个完整的推断过程需要指定一个方法来进行选择,以及另一个方法来进行估计。在这种模块化的推断算法中,不同的“模型支持”或非零参数集可以被传递到参数估计模块(在本文中,可以是线性回归或EM)。采用这种两阶段程序有两个原因:(1)我们的目标是将选择精度的问题与推断过程中的估计误差分开,并展示准确的选择能够实现准确的估计;(2)我们观察到,在CoTu或CoTuLa模型中使用L1正则化并没有缓解我们即将描述的系统误差(数据未显示)。对于静态模型中的推断选择,我们使用了UoI\_{\text {Lasso}}。我们之前通过数学上严格的理论分析、系统的计算研究以及与多种替代方法的比较,已经证明了UoI具有接近神谕的选择精度,并且与最先进的方法Bouchard等人(2017);Kumar和Bhattacharyya(2022)相当。我们评估了选择程序的准确性,发现它在所有情况下都表现出中等到良好的选择性能(有关选择准确性的示例,请参见附录A.6)。最后,UoI在模型选择和估计方面采用了与我们提倡的类似的概念方法:先选择后估计的方法。该程序倾向于产生误报,这意味着它可能表明某个特征对目标神经元具有预测性,而实际上并非如此。然而,在CoTu和CoTuLa推断的背景下,误报的危害小于漏报,因为后者可能会导致额外的遗漏变量误差(Greene, 2012;Stevenson, 2018)。此外,如果相应的估计参数值接近0,误报可以减轻,对预测的影响可以忽略不计。为了推断动态模型的模型支持,我们设计并使用了一种基于CoTu拟合的归一化和截断方法,该方法能够捕捉到K较小时OLS误差的相关结构(有关详细信息,请参见附录A.6)。这种变量选择方法在合成数据中的表现非常好。在接下来的章节中,我们将使用“CoTu模型中的稀疏推断”或“CoTuLa模型中的稀疏推断”这些术语来指代分别针对CoTu或CoTuLa模型开发的参数估计方法。有关选择程序的更多详细信息,请参见附录A.6。

3.1 静态CoTuLa模型中的参数推断
由于静态CoTuLa模型是一个潜变量模型,我们可以通过期望最大化算法进行参数推断。同时,该模型的线性-高斯实现非常适合联合分布和边际分布的解析推导。在这里,我们计算这些分布作为推导优化所需的EM更新规则的前提。

3.1.1 神经活动和潜在状态的联合分布
静态CoTuLa模型的完整似然表达式包含了定义共享和私有变异性的参数\(L = [\textbf{l}_i, L_{\lnot i}]\)和\(\varvec{\Psi }=[\Psi _i, \varvec{\Psi }_{\lnot i}]\)。回想一下,神经活动定义为
$$\begin{aligned} y_i&= \textbf{x}^T \textbf{b}_i + \textbf{y}_{\lnot i}^T \textbf{a} + \textbf{z}^T\textbf{l}_i + \psi _i \end{aligned}$$
$$\begin{aligned} \textbf{y}_{\lnot i}&= B_{\lnot i}^T \textbf{x} + L_{\lnot i}^T\textbf{z} + \varvec{\psi }_{\lnot i}. \end{aligned}$$
数据的联合分布,包括潜在变量,可以写为
$$\begin{aligned} p(y_i, \textbf{y}_{\lnot i}, \textbf{x}, \textbf{z}; \theta ) = p(y_i|\textbf{y}_{\lnot i}, \textbf{x}, \textbf{z}; \theta ) p(\textbf{y}_{\lnot i}|\textbf{x},\textbf{z};\theta ) p(\textbf{x})p(\textbf{z}) \end{aligned}$$
其中\(\theta \)指定了参数集。在线性-高斯设置中,每个密度都采用以下形式
$$\begin{aligned} p(y_i|\textbf{y}_{\lnot i}, \textbf{x}, \textbf{z}; \theta )&\sim \mathcal {N}(\textbf{x}^T \textbf{b}_i + \textbf{y}_{\lnot i}^T\textbf{a} + \textbf{z}^T\textbf{l}_i, \Psi _i) \end{aligned}$$
$$\begin{aligned} p(\textbf{y}_{\lnot i}|\textbf{x}, \textbf{z}; \theta )&\sim \mathcal {N}(B_{\lnot i}^T \textbf{x} + L_{\lnot i}^T \textbf{z}, \Pi _{\lnot i}) \end{aligned}$$
$$\begin{aligned} p(\textbf{z})&\sim \mathcal {N}(0, I), \end{aligned}$$
其中\(\Pi _{\lnot i} := \text {diag}(\varvec{\Psi }_{\lnot i})\)。由于上述分布的高斯性,我们可以将\(y_i\)、\(\textbf{y}_{\lnot i}\)和\(\textbf{z}\)的联合分布(条件在\(\textbf{x}\)上)写为多元高斯分布。具体来说,我们有
$$\begin{aligned} \left( \begin{array}{c} y_i \\ \textbf{y}_{\lnot i} \\ \textbf{z} \end{array}\right)&\sim \mathcal {N}\left( \varvec{\mu }, \varvec{\Sigma } \right) \end{aligned}$$
其中
$$\begin{aligned}&\varvec{\mu } = \left( \begin{array}{c} \textbf{x}^T \textbf{b}_i + \textbf{x}^T B_{\lnot i}\textbf{a} \\ B_{\lnot i}^T \textbf{x} \\ \textbf{0} \end{array} \right) , \end{aligned}$$
$$\begin{aligned}&\varvec{\Sigma } = \left( \begin{array}{ccc} \Psi _i + \textbf{a}^T\Pi _{\lnot i} \textbf{a} + (\textbf{l}_i + L_{\lnot i}\textbf{a})^T(\textbf{l}_i + L_{\lnot i} \text{a}) & \textbf{a}^T \Pi _{\lnot i}+ (\textbf{l}_i + L_{\lnot i} \text{a})^TL_{\lnot i} & \textbf{l}_i + L_{\lnot i} \text{a})^T \\ \Pi _{\lnot i}\textbf{a} + L_{\lnot i}^T(\textbf{l}_i + L_{\lnot i}\textbf{a}) & \Pi _{\lnot i} + L_{\lnot i}^TL_{\lnot i} & \textbf{l}_i + L_{\lnot i} & \text{a} & I \end{array}\right) \end{aligned}$$
以及相关的精度矩阵,其解析形式为
$$\begin{aligned} \varvec{\Sigma }^{-1} = \left( \begin{array}{ccc} \Psi _i^{-1} & -\Psi _i^{-1} \textbf{a}^T & \text{a}^T & \Psi _i^{-1} \textbf{l}_i^T - \Pi _{\lnot i}^{-1} L_{\lnot i}^T \\ -\Psi _i \textbf{l}_i & \Psi _i^{-1} \textbf{l}_i \textbf{a} - L_{\lnot i} \Pi _{\lnot i}^{-1}&\text{I + \Psi _i^{-1}\textbf{l}_i \textbf{l}_i^T + L_{\lnot i} \Pi _{\lnot i}^{-1} L_{\lnot i}^T \end{array}\right) . \end{aligned}$$
由于我们有了完整的联合分布,我们可以通过取均值和协方差矩阵的相应块来轻松提取神经活动的边际分布。

3.1.2 通过期望最大化进行最大似然推断
CoTuLa模型是一个潜在状态模型。因此,可以通过执行期望最大化(EM)来实现参数推断。在本节中,我们推导了EM优化的更新规则。为此,我们首先必须确定完整的对数似然。由此,我们推导出E步骤,然后是M步骤。

使用上面计算的联合分布,我们可以写出所有随机变量的对数似然
$$\begin{aligned} \ell _c(y_i, \textbf{y}_{\lnot i}, \textbf{x}, \textbf{z}; \theta ) = -\frac{1}{2}\sum _{d=1}^{D} \Bigg [\log \Psi _i +\frac{1}{\Psi _i}\left( y_i^{(d)} - {\textbf{x}^{(d)}}^T\textbf{b}_i - {\textbf{y}_{\lnot i}^{(d)}}^T\textbf{a} - \textbf{z}^T\textbf{l}_i \right) ^2 \nonumber \\ + \log \det \Pi _{\lnot i} + \left( \textbf{y}_{\lnot i}^{(d)} - B_{\lnot i}^T \textbf{x}^{(d)} - L_{\lnot i}^T \textbf{z}\right) ^T \Pi _{\lnot i}^{-1} \left( \textbf{y}_{\lnot i}^{(d)} - B_{\lnot i}^T \textbf{x}^{(d)} - L_{\lnot i}^T \textbf{z}\right) \Bigg ] - \frac{1}{2}\textbf{z}^T\textbf{z} \nonumber \\ +\log p(\textbf{x}^{(d)}. \end{aligned}$$
通常,我们将忽略\(\textbf{x}\)的密度贡献,因为它在图模型中被观察到并且没有父节点。

为了执行E步骤,我们需要计算平均分布\(q(\textbf{z}|\mathcal {D}^{(d)}; \theta )\),其中数据集\(\mathcal {D}^{(d)} = \left( \textbf{x}^{(d)}, \textbf{y}_{\lnot i}^{(d)}, y_i^{(d)}\right)\)。注意
$$\begin{aligned} q(\textbf{z}|\mathcal {D}^{(d)};\theta )&= p(\textbf{z}|\mathcal {D}^{(d)};\theta ) \nonumber \\&\propto p(\textbf{x}^{(d)}, \textbf{y}_{\lnot i}^{(d)}, y_i^{(d)} | \textbf{z}; \theta ) p(\textbf{z}) \end{aligned}$$
$$\begin{aligned}&= p(y_i^{(d)}|\textbf{y}_{\lnot i}^{(d)}, \textbf{x}^{(d)}, \textbf{z}; \theta ) p(\textbf{y}_{\lnot i}^{(d)}|\textbf{x}^{(d)}, \textbf{z};\theta )p(\textbf{x}^{(d)})p(\textbf{z}). \end{aligned}$$
最终,这个表达式可以写成以\(\textbf{z}\)为均值、\(\varvec{\mu }^{(d)}\)为协方差的高斯分布,即
$$\begin{aligned} q(\textbf{z}|\mathcal {D}^{(d)}; \theta ) \propto \exp \left( -\frac{1}{2} [\textbf{z} - \varvec{\mu }^{(d)}]^T\varvec{\Sigma }^{-1}[\textbf{z} - \varvec{\mu }^{(d)}]\right) . \end{aligned}$$
收集二次项得到逆协方差矩阵:
$$\begin{aligned} \textbf{z}^T \varvec{\Sigma }^{-1}\textbf{z}&= \textbf{z}^T \textbf{z} + \textbf{z}^T \textbf{l}_i \Psi _i^{-1} \textbf{l}_i^T \textbf{z} + \textbf{z}^TL_{\lnot i} \Pi _{\lnot i}^{-1} L_{\lnot i}^T \textbf{z} \end{aligned}$$
$$\begin{aligned} \Rightarrow \varvec{\Sigma }^{-1}&= I + L \Pi ^{-1} L^T. \end{aligned}$$
接下来,我们检查\(\textbf{z}\)中的所有线性项:
$$\begin{aligned} \textbf{z}^T\varvec{\Sigma }^{-1} \varvec{\mu }^{(d)}&= \textbf{z}^T \textbf{l}_i \Psi _i^{-1} (y_i^{(d)} - {\textbf{x}^{(d)}}^T\textbf{b}_i - {\textbf{y}_{\lnot i}^{(d)}}^T\textbf{a}) + \textbf{z}^T L_{\lnot i} \Pi _{\lnot i}^{-1} (\textbf{y}_{\lnot i}^{(d)} - B_{\lnot i}^T \textbf{x}^{(d)}) \end{aligned}$$
$$\begin{aligned} \Rightarrow \varvec{\mu }^{(d)}&= \varvec{\Sigma } \left[ \textbf{l}_i \Psi _i^{-1}(y_i^{(d)} - {\textbf{x}^{(d)}}^T\textbf{b}_i - {\textbf{y}_{\lnot i}^{(d)}}^T\textbf{a}) + L_{\lnot i}\Pi _{\lnot i}^{-1} (\textbf{y}_{\lnot i}^{(d)} - B_{\lnot i}^T \textbf{x}^{(d)})\right] . \end{aligned}$$
未观察到的变量的统计量,由下式给出
$$\begin{aligned} \langle \textbf{z} \rangle _{q^{(d)}}&= \varvec{\mu }^{(d)} \end{aligned}$$
$$\begin{aligned} \langle \textbf{z} \textbf{z}^T \rangle _{q^{(d)}}&= \varvec{\Sigma } + \varvec{\mu }^{(d)} {\varvec{\mu }^{(d)}}^T \end{aligned}$$
将在M步骤中变得相关。

为了计算M步骤,我们取平均分布\(q(\textbf{z}|\mathcal {D})\)上的完整对数似然的期望。注意,我们忽略了\(\textbf{x}\)的先验分布,因为它对任何梯度都不相关。预期的完整对数似然由下式给出
$$\begin{aligned}&;\langle \ell _c(y_i, \textbf{y}_{\lnot i}, \textbf{x}, \textbf{z}; \theta )\rangle = -\frac{1}{2} \sum _{d=1}^{D} \Bigg [\log \det \Pi +\frac{1}{\Psi _i} \left\langle \left( y_i^{(d)} - {\textbf{x}^{(d)}}^T\textbf{b}_i - {\textbf{y}_{\lnot i}^{(d)}}^T\textbf{a} - \textbf{z}^T\textbf{l}_i \right) ^2 \right\rangle _{q^{(d)}} \nonumber \\&;\left\langle \left( \textbf{y}_{\lnot i}^{(d)} - B_{\lnot i}^T \textbf{x}^{(d)} - L_{\lnot i}^T \textbf{z}\right) ^T \Pi _{\lnot i}^{-1} \left( \textbf{y}_{\lnot i}^{(d)} - B_{\lnot i}^T \textbf{x}^{(d)} - L_{\lnot i}^T \textbf{z}\right) \right\rangle _{q^{(d)}} \Bigg ] \nonumber \\&=-\frac{1}{2}\sum _{d=1}^D \Bigg [ \log \det \Pi + \frac{1}{\Psi _i}\left( y_i^{(d)} - {\textbf{x}^{(d)}}^T \textbf{b}_i - {\textbf{y}_{\lnot i}^{(d)}}^T \textbf{a}\right) ^2 \nonumber \\&-\frac{2}{\Psi _i}\left( y_i^{(d)} - {\textbf{x}^{(d)}}^T \textbf{b}_i - {\textbf{y}_{\lnot i}^{(d)}}^T \textbf{a}\right) \textbf{l}_i^T \langle \textbf{z} \rangle _{q} \end{aligned}$$
$$\begin{aligned}&+ \frac{1}{\Psi _i}\textbf{l}_i^T \langle \textbf{zz}^T\rangle _q \textbf{l}_i + \left( \textbf{y}_{\lnot i}^{(d)} - B_{\lnot i}^T \textbf{x}^{(d)}\right) ^T \Pi _{\lnot i}^{-1} \left( \textbf{y}_{\lnot i}^{(d)} - B_{\lnot i}^T \textbf{x}^{(d)}\right) \nonumber \\&;- 2\left( \textbf{y}_{\lnot i}^{(d)} - B_{\lnot i}^T \textbf{x}^{(d)}\right) ^T \Pi _{\lnot i}^{-1}L_{\lnot i}^T \langle \textbf{z}\rangle _q + \langle \textbf{z}^T L_{\lnot i} \Pi _{\lnot i}^{-1} L_{\lnot i}^T\textbf{z} \rangle _q \Bigg ]. \end{aligned}$$
注意,最后一个期望可以写为
$$\begin{aligned} \langle \textbf{z}^T L_{\lnot i} \Pi _{\lnot i}^{-1} L_{\lnot i}^T\textbf{z} \rangle _q = {{\,\textrm{Tr}\,}}\left[ L_{\lnot i} \Pi _{\lnot i}^{-1} L_{\lnot i}^T \varvec{\Sigma } \right] + \langle \textbf{z}\rangle _q^T L_{\lnot i} \Pi _{\lnot i}^{-1} L_{\lnot i}^T \langle \textbf{z} \rangle _q \end{aligned}$$
在实践中,我们通常希望在模型中包含一个截距项。有了截距项,CoTuLa模型变为:
$$\begin{aligned} y_i&= b_{0,t} + \textbf{x}^T \textbf{b}_i + \textbf{y}_{\lnot i}^T \textbf{a} + \textbf{z}^T\textbf{l}_i + \psi _i \end{aligned}$$
$$\begin{aligned} \textbf{y}_{\lnot i}&= \textbf{b}_{0, \lnot i} + B_{\lnot i}^T \textbf{x} + L_{\lnot i}^T\textbf{z} + \varvec{\psi }_{\lnot i}. \end{aligned}$$
在这种情况下的EM计算细节在附录A.3中给出。

3.2.1 动态CoTuLa模型中的参数推断
3.2.1 单变量自回归模型的OLS误差
在这里,我们在存在时间相关噪声的情况下,推导了模型中耦合和调整参数的普通最小二乘估计。为了简化,我们考虑单变量模型:
$$\begin{aligned} y_{t} = a y_{t-1} + b x_{t} + \epsilon _{t}. \end{aligned}$$
假设平稳性,我们只能考虑零截距模型,通过中心化数据使得\(\ \mathbb {E}~[x] = 0 \)和\(\ \mathbb {E}~[y]=0 \)。注意\(\ \mathbb {E}~[\cdot ] \equiv \mathbb {E}~[\cdot ]_{t} \)表示对时间样本的平均,除非另有说明。从方程(32)中,我们可以写出
$$\begin{aligned} \mathbb {E}~[y_{t} y_{t-1}]&= a \mathbb {E}~[y^{2}] + b \mathbb {E}~[x_{t} y_{t-1}] + \mathbb {E}~[\epsilon _{t} y_{t-1}],\end{aligned}$$
$$\begin{aligned} \mathbb {E}~[y_{t} x_{t}]&= a \mathbb {E}~[y_{t-1} x_{t}] + b \mathbb {E}~[x^{2}] + \mathbb {E}~[\epsilon _{t} x_{t}]; \end{aligned}$$
同时索引在平均值中被省略,因此\({\textstyle \mathbb {E}~[y^{2}] = \mathbb {E}~[y_{t}^{2}}_{t}] \)和\({\textstyle \mathbb {E}~[x^{2}] = \mathbb {E}~[x_{t}^{2}}_{t}] \)。模型参数(a,b)与变量的二阶统计量之间存在以下关系:
$$\begin{aligned} \left[ \begin{array}{c} \mathbb {E}~[y_{t} y_{t-1}] \\ \mathbb {E}~[y_{t} x_{t}] \end{array} \right] = \left[ \begin{array}{cc} \mathbb {E}~[y^{2}] & \mathbb {E}~[x_{t} y_{t-1}] \\ \mathbb {E}~[y_{t-1} x{t}] & \mathbb {E}~[x^{2}] \end{array} \right] \left[ \begin{array}{c} a \\ b \end{array} \right] + \left[ \begin{array}{c} \mathbb {E}~[\epsilon _{t} y_{t-1}] \\ \mathbb {E}~[\epsilon _{t} x_{t}] \end{array} \right] . \end{aligned}$$
(35)
另一方面,可以直接推导出a和b的OLS估计量:
$$\begin{aligned} \left[ \begin{array}{c} \hat{a} \\ \hat{b} \end{array} \right] = \left[ \begin{array}{cc} \mathbb {E}~[y^{2}] & \mathbb {E}~[x_{t} y_{t-1}] \\ \mathbb {E}~[y_{t-1} x_{t}] & \mathbb {E}~[x^{2}] \end{array} \right] ^{-1} \left[ \begin{array}{c} \mathbb {E}~[y_{t} y_{t-1}] \\ \mathbb {E}~[y_{t} x_{t}] \end{array} \right] . \end{aligned}$$
(36)
当噪声\( \epsilon _{t} \)与\( y_{t-1} \)或\( x_{t} \)完全不相关时,OLS回归将给出精确的估计值\( \hat{a} = a \)和\( \hat{b} = b \)。然而,当存在相关性时,方程(35)和(36)表明存在系统误差:
$$\begin{aligned} \left[ \begin{array}{c} \hat{a} \\ \hat{b} \end{array} \right] = \left[ \begin{array}{c} a \\ b \end{array} \right] + \underbrace{ \left[ \begin{array}{cc} \mathbb {E}~[y^{2}] & \mathbb {E}~[x_{t} y_{t-1}] \\ \mathbb {E}~[y_{t-1} x_{t}] & \mathbb {E}~[x^{2}] \right] ^{-1} \left[ \begin{array}{c} \mathbb {E}~[\epsilon _{t} y_{t-1}] \\ \mathbb {E}~[\epsilon _{t} x_{t}] \end{array} \right] }_{\text {errors}} \end{aligned}$$
(37)
我们使用一个单独的自回归过程来建模时间相关的噪声z,并为了方便假设外部刺激x也由一个自回归模型描述:
$$\begin{aligned} \epsilon _{t} = \ell z_{t} + \psi _{t}, \qquad z_{t} = g z_{t-1} + \eta ^{(z)}_{t}; \qquad x_{t} = h x_{t-1} + \eta ^{(x)}_{t}. \end{aligned}$$
(38)
注意\( \epsilon _{t} \)和\( y_{t-1} \)是相关的,因为\( \epsilon _{t} \)与动态系统的结构有关。(另见6a。)我们可以写出这些模型下的相关性:
$$\begin{aligned} \mathbb {E}~[\epsilon _{t} y_{t-1}] = \frac{g}{1-ga} \, \ell ^{2} \mathbb {E}~[z^{2}], \qquad \mathbb {E}~[x_{t} y_{t-1}] = \frac{hb}{1-ha} \mathbb {E}~[x^{2}], \qquad \mathbb {E}~[\epsilon _{t} x_{t}] = 0, \end{aligned}$$
(39)
为了重写方程(37)中的误差:
$$\begin{aligned} \text {errors}&= \frac{1}{\mathbb {E}~[y^{2}] \mathbb {E}~[x^{2}] - \mathbb {E}~[x_{t} y_{t-1}]^{2}} \left[ \begin{array}{cc} \mathbb {E}~[x^{2}] & -\mathbb {E}~[x_{t} y_{t-1}] \\ -\mathbb {E}~[x_{t} y_{t-1}] & \mathbb {E}~[y^{2}] \end{array} \right] \left[ \begin{array}{c} \frac{g}{1-ga} \, \ell ^{2} \mathbb {E}~[z^{2}] \\ 0 \end{array} \right] \end{aligned}$$
(40)
$$\begin{aligned}&= \left( \frac{ga}{1-ga} \right) \cdot \frac{\ell ^{2} \mathbb {E}~[z^{2}]}{a^{2}\mathbb {E}~[y^{2}] - (\frac{ha}{1-ha})^{2} \, b^{2}\mathbb {E}~[x^{2}]} \left[ \begin{array}{c} a \\ -\left( \frac{ha}{1-ha}\right) \, b \end{array} \right] . \end{aligned}$$
(41)
注意表达式是如何用三个源项ay、bx和\( \ell z \)的强度来表示的。最后,标准化误差表示为:
$$\begin{aligned} \left[ \begin{array}{c} (\hat{a} - a)/a \\ (\hat{b} - b)/b \end{array} \right] = \left( \frac{ga}{1-ga} \right) \cdot \frac{\ell ^{2} \mathbb {E}~[z^{2}]}{a^{2}\mathbb {E}~[y^{2}] - (\frac{ha}{1-ha})^{2} \, b^{2}\mathbb {E}~[x^{2}]} \left[ \begin{array}{c} 1 \\ -\left( \frac{ha}{1-ha}\right) \end{array} \right] \end{aligned}$$
(42)
除了这三个源项外,标准化误差仅依赖于ha和ga,这两个参数分别参数化了刺激和噪声中的时间相关性的强度。

3.2.2 通过期望最大化进行参数推断
我们使用期望最大化(EM)算法在未观测到的源Z存在的情况下推断动态参数。给定观测数据\( \mathcal {D} = (X, Y) \),我们希望最大化观测数据的对数似然,其下界为:
$$\begin{aligned} \log p(\mathcal {D} \vert \theta )&= \log \int dZ \, p(\mathcal {D}, Z \vert \theta )\end{aligned}$$
(43)
$$\begin{aligned}&\ge \int dZ \, q(Z \vert \mathcal {D}, \theta ') \, \log \frac{p(\mathcal {D}, Z \vert \theta )}{q(Z \vert \mathcal {D}, \theta ')}. \end{aligned}$$
(44)
当\( q(Z \vert \mathcal {D}, \theta ') \)与\( p(Z \vert \mathcal {D}, \theta ) \)非常接近时,这个界限是紧的。在我们的模型中,条件分布\( p(Z \vert \mathcal {D}, \theta ) \)可以写成多元正态形式(详见下文),所以我们简单地让q具有与\( p(Z \vert \mathcal {D}, \theta )\)相同的功能形式。
EM推断算法在E步骤和M步骤之间迭代。在E步骤中,我们通过在最后的估计\(\theta ' \)处评估条件分布\( p(Z \vert \mathcal {D}, \theta ') \)来构建q(Z)分布。在M步骤中,我们构建期望的完整数据对数似然,\( \ell _{q}(\theta ) \equiv \mathbb {E}~[\log p(\mathcal {D}, Z \vert \theta )]_{q(Z)} \)。M步骤的目标是找到使\( \ell _{q}(\theta ) \)最大化的\(\theta \)。在M步骤中可以利用模型支持。我们在下文中推导出完整数据对数似然\( \mathcal {L}(\theta ) \)、条件分布\( q(Z) = \mathcal {N}(Z \vert \varvec{\mu }, \Lambda ) \)和期望对数似然\( \ell _{q}(\theta ) \)的完整表达式。
完整数据对数似然。观测数据\( \mathcal {D} \)和未观测到的Z的联合分布可以写为:
$$\begin{aligned} p(\mathcal {D}, Z \vert \theta ) \propto p(\mathcal {D} \vert Z, \theta ) \, p(Z). \end{aligned}$$
(45)
在我们当前的模型中,方程(45)中的两项都具有正态分布的功能形式。第一项(“似然”项)基本上是由高斯噪声假设给出的:
$$\begin{aligned} \varvec{\psi }_{t} \sim \mathcal {N}(\textbf{0}_{N}, \Sigma ), \quad \text {where} \quad \varvec{\psi }_{t} = {\textbf {y}}_{t} - (A {\textbf {y}}_{t-1} + B {\textbf {x}}_{t} + L {\textbf {z}}_{t}). \end{aligned}$$
(46)
我们引入轨迹向量表示法,用波浪号(\( \, \tilde{\,} \, \))来表示,它将一个多变量时间序列(一系列有序的向量)堆叠成一个长向量。例如,\( \tilde{{\textbf {y}}} \)是一个TN向量,其第t个块是\( [\tilde{{\textbf {y}}}]_{t} = {\textbf {y}}_{t}\)。我们可以类似地定义\( [\tilde{{\textbf {x}}}]_{t} = {\textbf {x}}_{t} \),\( [\tilde{{\textbf {z}}}]_{t} = {\textbf {z}}_{t} \)和\( [\tilde{\varvec{\psi }}]_{t} = \varvec{\psi }_{t} \)等,用于模型中的其他时间索引向量。我们引入块对角矩阵\( [\tilde{B}]_{t,t'} = B \delta _{t,t} \),\( [\tilde{L}]_{t,t'} = L \delta _{t,t} \),和\( [\tilde{\Sigma }]_{t,t'} = \Sigma \delta _{t,t'} \),来写\( B {\textbf {x}}_{t} = [\tilde{B} \tilde{{\textbf {x}}}]_{t} \)和\( L {\textbf {z}}_{t} = [\tilde{L} \tilde{{\textbf {z}}}]_{t} \)。我们还构造了一个\( TN \times TN \)矩阵\( \tilde{D}_{A} \),按块定义为\( [\tilde{D}_{A}]_{t,t'} = I_{N} \delta _{t,t'} - A \delta _{t-1, t'} \),来写\( {\textbf {y}}_{t} - A {\textbf {y}}_{t-1} = [\tilde{D}_{A} \tilde{{\textbf {y}}}]_{t} \)。然后方程(46)可以简洁地写为:
$$\begin{aligned} \tilde{\varvec{\psi }} \sim \mathcal {N}(\textbf{0}_{TN}, \tilde{\Sigma }), \qquad \tilde{\varvec{\psi }} = \tilde{D}_{A} \tilde{{\textbf {y}}} - \tilde{B} \tilde{{\textbf {x}}} - \tilde{L} \tilde{{\textbf {z}}. \end{aligned}$$
(47)
第二项(对\( {\textbf {z}} \)的“先验”)由\( {\textbf {z}} \)的生成模型(6)给出:
$$\begin{aligned} ({\textbf {z}}_{t} - G {\textbf {z}}_{t-1}) \sim \mathcal {N}(\textbf{0}_{K}, I_{K}). \end{aligned}$$
(48)
使用轨迹表示法,我们引入一个\( TK \times TK \)块矩阵\( [\tilde{D}_{G}]_{t,t'} = I_{K} \delta _{t,t'} - G \delta _{t-1, t'} \),来写\( {\textbf {z}}_{t} - G {\textbf {z}}_{t-1} = [\tilde{D}_{G} \, \tilde{{\textbf {z}}}]_{t} \)。重写后,
$$\begin{aligned} \tilde{D}_{G} \, \tilde{{\textbf {z}}} \sim \mathcal {N}(\textbf{0}_{TK}, I_{TK}). \end{aligned}$$
(49)
将联合分布写成参数\( \theta = (A, B, L, \Sigma , G) \)的函数,我们得到了完整数据的似然函数。在我们的模型中,完整似然具有正态分布的形式,是两个正态分布的乘积。设\( \mathcal {L}(\theta ) \)为具有完整数据\((\mathcal {D}, Z)\)的相应对数似然:
$$\begin{aligned} \mathcal {L}(\theta )&;\equiv \log p(\mathcal {D}, Z \vert \theta ) \nonumber \\&= - \frac{1}{2} \tilde{\varvec{\psi }}^{\top } \tilde{\Sigma }^{-1} \tilde{\varvec{\psi }} - \frac{1}{2} \log \det \tilde{\Sigma }- \frac{1}{2} \tilde{{\textbf {z}}}^{\top } \tilde{D}_{G}^{\top } \tilde{D}_{G} \tilde{{\textbf {z}}} + const., \end{aligned}$$
(50)
直到\( \mathcal {D} \),Z或\( \theta \)的常数项。将表达式写成\( \tilde{{\textbf {z}}} \)项清晰分离的形式是有用的。我们引入一个辅助轨迹向量\( \tilde{{\textbf {r}}} = \tilde{D}_{A} \tilde{{\textbf {x}}} - \tilde{B} \tilde{{\textbf {u}}} \),其中\( [\tilde{{\textbf {r}}}]_{t} \equiv {\textbf {r}}_{t} = {\textbf {x}}_{t} - A {\textbf {x}}_{t-1} - B {\textbf {u}}_{t} \)。从\( \tilde{\varvec{\psi }} = \tilde{{\textbf {r}}} - \tilde{L} \tilde{{\textbf {z}}} \),我们可以写出:
$$\begin{aligned} \mathcal {L}(\theta ) = - \frac{1}{2} (\tilde{{\textbf {r}}} - \tilde{L} \tilde{{\textbf {z}}})^{\top } \tilde{\Sigma }^{-1} (\tilde{{\textbf {r}}} - \tilde{L} \tilde{{\textbf {z}}}) - \frac{1}{2} \log \det \tilde{\Sigma }- \frac{1}{2} \tilde{{\textbf {z}}}^{\top } \tilde{D}_{G}^{\top } \tilde{D}_{G} \tilde{{\textbf {z}}} + const., \end{aligned}$$
(51)
条件分布。因为在当前模型中,条件分布\( p(Z \vert \mathcal {D}, \theta ) \)是一个正态分布,它完全由一个NK维均值向量\( \varvec{\mu } \)和一个\( NK \times NK \)协方差矩阵\( \Lambda \)表征:
$$\begin{aligned} p(\tilde{{\textbf {z}}} \vert \mathcal {D}, \theta ) \equiv \mathcal {N}({\varvec{\mu }, \Lambda }). \end{aligned}$$
(52)
为了找到\( \varvec{\mu } \)和\( \Lambda \),我们展开并收集联合分布中依赖于\( \tilde{{\textbf {z}}} \)的项,并匹配系数:
$$\begin{aligned} \log p(\tilde{{\textbf {z}}} \vert \mathcal {D}, \theta )&= - \frac{1}{2} (\tilde{{\textbf {r}}} - \tilde{L} \tilde{{\textbf {z}}})^{\top } \Sigma ^{-1} (\tilde{{\textbf {r}}} - \tilde{L} \tilde{{\textbf {z}}}) - \frac{1}{2} \tilde{{\textbf {z}}}^{\top } \tilde{D}_{G}^{\top } \tilde{D}_{G} \tilde{{\textbf {z}}} + const. \nonumber \\&= - \frac{1}{2} \left[ \tilde{{\textbf {z}}}^{\top } \left( \tilde{L}^{\top } \tilde{\Sigma }^{-1} \tilde{L} + \tilde{D}_{G}^{\top } \tilde{D}_{G} \right) \tilde{{\textbf {z}}} - 2 \tilde{{\textbf {z}}}^{\top } \tilde{L}^{\top } \tilde{\Sigma }^{-1} \tilde{{\textbf {r}}} \right] + const. \end{aligned}$$
(53)
我们得到:
$$\begin{aligned} \Lambda ^{-1}&= \tilde{L}^{\top } \tilde{\Sigma }^{-1} \tilde{L} + \tilde{D}_{G}^{\top } \tilde{D}_{G}; \end{aligned}$$
(54)
$$\begin{aligned} \varvec{\mu }&= \Lambda \tilde{L}^{\top } \tilde{\Sigma }^{-1} \tilde{{\textbf {r}}. \end{aligned}$$
(55)
逆协方差矩阵\( \Lambda ^{-1} \)是一个对称的块三对角托普利茨矩阵。具体来说,\( (t, t') \)块写为:
$$\begin{aligned} [\Lambda ^{-1}]_{t,t'}&= (L^{\top } \Sigma ^{-1} L) \delta _{t,t'} + [\tilde{D}_{G}^{\top } \tilde{D}_{G}]_{t,t'} \nonumber \\&= (L^{\top } \Sigma ^{-1} L + I_{K} + G^{\top } G) \delta _{t,t'} - G \delta _{t-1, t'} - G^{\top } \delta _{t+1, t'}. \end{aligned}$$
(56)
可以迭代计算其逆矩阵的每个\( (t, t') \)块\( [\Lambda ]_{t,t'} \)(见第)。使用\( [\Lambda ]_{t,t'} \),可以逐块计算均值\( \varvec{\mu } \):
$$\begin{aligned} [\varvec{\mu }]_{t} = \sum _{t,t'} [\Lambda ]_{t,t'} [\tilde{L}^{\top } \tilde{\Sigma }^{-1} \tilde{{\textbf {r}}}]_{t'} = \sum _{t,t'} [\Lambda ]_{t,t'} \, L^{\top } \Sigma ^{-1} {\textbf {r}}_{t'}. \end{aligned}$$
(57)
期望对数似然。由于\( \tilde{{\textbf {z}}} \sim q(\tilde{{\textbf {z}}}) = \mathcal {N}(\varvec{\mu }, \Lambda ) \),期望对数似然\( \ell _{q}(\theta ) \)可以计算为:
$$\begin{aligned} \ell _{q}(\theta )&;\equiv \mathbb {E}~[\mathcal {L}(\theta )]_{q} \nonumber \\&= - \frac{1}{2} \mathbb {E}~[(\tilde{{\textbf {r}}} - \tilde{L} \tilde{{\textbf {z}}})^{\top } \Sigma ^{-1} (\tilde{{\textbf {r}}} - \tilde{L} \tilde{{\textbf {z}}})]_{q({\textbf {z}})} - \frac{1}{2} \mathbb {E}~[\tilde{{\textbf {z}}}^{\top } \tilde{D}_{G}^{\top } \tilde{D}_{G} \tilde{{\textbf {z}}}]_{q({\textbf {z}})} - \frac{1}{2} \log \det \tilde{\Sigma }+ const. \nonumber \\&= - \frac{1}{2} \left[ (\tilde{{\textbf {r}}} - \tilde{L} \tilde{\varvec{\mu }})^{\top } \tilde{\Sigma }^{-1} (\tilde{{\textbf {r}}} - \tilde{L} \tilde{\varvec{\mu }}) + \text {tr}(\tilde{L}^{\top } \tilde{\Sigma }^{-1} \tilde{L} \Lambda ) \right] \nonumber \\ &\qquad - \frac{1}{2} \left[ \tilde{\varvec{\mu }}^{\top } \tilde{D}_{G}^{\top } \tilde{D}_{G} \tilde{\varvec{\mu }} + \text {tr}(\tilde{D}_{G}^{\top }\tilde{D}_{G} \Lambda ) \right] - \frac{1}{2} \log \det \tilde{\Sigma }+ const. \nonumber \end{aligned}$$
(58)
直到\( \theta \)的常数项。我们可以通过t块来计算每个项。似然函数中的二次项:$$\begin{aligned} (\tilde{{\textbf {r}}} - \tilde{L} \tilde{\varvec{\mu }})^{\top } \tilde{\Sigma }^{-1} (\tilde{{\textbf {r}}} -\tilde{L} \tilde{\varvec{\mu }}) = \sum _{t} ({\textbf {r}}_{t} - L \varvec{\mu }_{t})^{\top } \Sigma ^{-1} ({\textbf {r}}_{t} - L \varvec{\mu }_{t}). \end{aligned}$$ (59)似然函数中的迹项:$$\begin{aligned} {\begin{matrix} & \text {tr}(\tilde{L}^{\top } \tilde{\Sigma }^{-1} \tilde{L} \, \Lambda ) \\ & = \sum _{t} \text {tr} \left( [\tilde{L}^{\top } \tilde{\Sigma }^{-1} \tilde{L} \, \Lambda ]_{t,t} \right) = \sum _{t} \text {tr} \left( L^{\top } \Sigma ^{-1} L \, [\Lambda ]_{t,t} \right) = \text {tr} \left( L^{\top } \Sigma ^{-1} L \, \sum _{t} [\Lambda ]_{t,t} \right) . \end{matrix}} \end{aligned}$$ (60)先验中的二次项,来自 \( \tilde{D}_{G} \) 的构造:$$\begin{aligned} \tilde{\varvec{\mu }}^{\top } \tilde{D}_{G}^{\top } \tilde{D}_{G} \tilde{\varvec{\mu }} = \sum _{t} [\tilde{D}_{G} \tilde{\varvec{\mu }}]_{t}^{\top } [\tilde{D}_{G} \tilde{\varvec{\mu }}]_{t} = \sum _{t} (\varvec{\mu }_{t} - G \varvec{\mu }_{t-1})^{\top } (\varvec{\mu }_{t} - G \varvec{\mu }_{t-1}). \end{aligned}$$ (61)先验中的迹项:$$\begin{aligned} \text {tr}(\tilde{D}_{G}^{\top }\tilde{D}_{G} \Lambda )&= \sum _{t} \text {tr} \left( [\tilde{D}_{G}^{\top }\tilde{D}_{G} \Lambda ]_{t,t} \right) \\&= \text {tr} \left( (I_{K} + G^{\top }G) \sum _{t} [\Lambda ]_{t,t} - G \sum _{t} [\Lambda ]_{t-1, t} - G^{\top } \sum _{t} [\Lambda ]_{t+1, t} \right) . \end{aligned} \end{aligned}$$ (62)对数行列式项:$$\begin{aligned} \log \det \tilde{\Sigma }= \sum _{t} \log \det \Sigma = T \cdot \log \det \Sigma . \end{aligned}$$ (63)EM算法。因此,使用完整数据的对数似然 \( \mathcal {L}(\theta ) \)、条件分布 \( q(Z) = \mathcal {N}(Z \vert \varvec{\mu }, \Lambda ) \) 和期望对数似然 \( \ell _{q}(\theta ) \) 的完整表达式,我们可以按照第3.1.4节中的相同步骤编写EM算法。在本节中,我们展示了模拟数据和真实数据的结果。在第4.1节和第4.2节中,我们研究了静态CoTuLa模型的可识别性属性。第4.3节展示了静态CoTuLa模型可识别子空间的模拟结果。第4.5节和第4.6节展示了动态CoTuLa模型可识别子空间的模拟结果。第4.4节展示了使用静态CoTuLa模型对真实数据集的模型推断,第4.7节展示了使用动态CoTuLa模型对真实数据集的模型推断。4.1 可识别的模型参数:稀疏模型支持解决了静态CoTuLa模型中的结构非可识别性问题静态CoTuLa模型在其线性-高斯形式中存在结构非可识别性问题(Wieland等人,2021年)。当可以对任何参数配置应用无限多的变换,并且这些变换都能得到具有相同似然的新参数配置时,概率模型中就存在结构非可识别性。这在图3a的2D损失表面上得到了可视化,其中红线表示具有相同对数似然值的参数空间示例(即参数1和参数2)。存在无限多个具有相同损失值的参数值会损害拟合模型参数的可解释性,因为对于似然表面上推断出的任何参数集(例如,通过EM优化获得的参数集),总是可以找到一组具有相同对数似然的参数估计(3a)。结构非可识别性已在系统生物学和某些神经科学模型中进行了研究(Amarasingham等人,2015年;Arand等人,2015年)。然而,结构非可识别性对拟合参数的影响通常理解不足,而且使非可识别模型变得可识别的方法还处于起步阶段。直观上,由于许多神经科学实验中未观察到的神经元数量远大于记录到的神经元数量,因此可能会预期存在结构非可识别性。如果没有进一步的说明,推断对观察到的神经元有强烈功能影响的许多未观察到的参数的一般问题可能是难以处理的(Aertsen等人,1989年;Stevenson等人,2008年)。然而,我们的结果表明,在真实神经数据中,未观察到的神经元的实际总体影响是适度的。此外,我们有数十年的关于神经数据的一致实验观察结果,这些结果可能会限制一般问题。实际上,尽管存在这些理论挑战,我们确定了两种在神经学上合理的条件,在这些条件下静态CoTuLa模型是可识别的。即,我们接下来将展示,如果数据生成系统的调整和耦合参数足够稀疏,并且潜在影响的维度足够低,那么静态CoTuLa模型就是可识别的。稀疏的耦合和调整通常被用作先验来改进功能耦合和调整估计(Calabrese等人,2011年;Sachdeva等人,2021年;Valdés-Sosa等人,2005年)。区域间的神经通信和由于与任务无关的行为引起的自发活动也被证明与环境神经维度相比是相对低维的(Semedo等人,2019年;Stringer等人,2019年)。因此,鉴于神经数据的已知结构,这个通常难以处理的问题可以变得可行。我们首先从分析上确定了静态CoTuLa模型中结构非可识别性的本质。我们指定了一个可识别性变换,这种变换可以应用于CoTuLa模型中的任何参数集,以通过一个可调参数获得另一组具有相同数据对数似然的参数。我们称通过可识别性变换可达到的参数配置集合为一个可识别性家族(图3a,不同的红线对应于不同的可识别性家族)。CoTuLa模型中的可识别性家族在目标调整、耦合和潜在因子参数上是线性的,在目标私有方差上是二次的。它由K维向量 \(\varvec{\delta }\) 指定,变换为 \((\textbf{a}, \textbf{b}_i, \textbf{l}_i, \Psi _i) \rightarrow (\textbf{a}', \textbf{b}_i', \textbf{l}_i', \Psi _i')\),具体表示为$$\begin{aligned} \textbf{l}_i'&;\leftarrow \textbf{l}_i + \varvec{\delta }&;\text {(linear)} \end{aligned}$$ (64)$$\begin{aligned} \textbf{a}'&;\leftarrow \textbf{a} - P L_{\lnot i}^T \varvec{\delta }&;\text {(linear)} \end{aligned}$$ (65)$$\begin{aligned} \textbf{b}_i'&;\leftarrow \textbf{b}_i + B_{\lnot i}PL_{\lnot i}^T \varvec{\delta }&;\text {(linear)} \end{aligned}$$ (66)$$\begin{aligned} \Psi _i'&;\leftarrow \Psi _i - 2\textbf{l}_i^T(I - L_{\lnot i} P L_{\lnot i}^T) \varvec{\delta }- \varvec{\delta }^T \varvec{\delta }&;\text {(quadratic)} \end{aligned}$$ (67)其中 \(P \equiv (\Psi _{\lnot i} + L_{\lnot i}^T L_{\lnot i})^{-1}\),即神经变异性精度矩阵。这里,(来自方程(2)和(3)),\(\textbf{a}\) 和 \(\textbf{b}_i\) 分别是耦合和调整参数,\(\textbf{l}\) 和 \(\mathbf {\Psi }\) 分别是未观察到的变异性的共享和私有组成部分。我们确定了在耦合和调整参数中稀疏支持可以消除CoTuLa模型中存在的结构非可识别性的具体条件。我们展示了以下内容:给定一个估计 \(\textbf{a}\) 和 \(\textbf{b}_i\) 的稀疏估计程序,\(\textbf{a}\) 和 \(\textbf{b}_i\) 需要达到一定的稀疏度(以及对矩阵秩的额外条件),以便任何可识别性变换都能修改 \(\textbf{a}\) 和 \(\textbf{b}_i\) 的支持,从而保持支持的估计是可识别的。我们在定理1中提供了具体条件,并在附录A.2中提供了证明。基本直觉是,稀疏特征选择限制了模型,从而消除了非可识别性。定理1 考虑调整和耦合参数的可识别性变换:$$\begin{aligned} \textbf{a}'&= \textbf{a} - P L_{\lnot i}^T \varvec{\delta } \end{aligned}$$ (68)$$\begin{aligned} \textbf{b}_i'&= \textbf{b}_i + B_{\lnot i} P L_{\lnot i}^T \varvec{\delta } \end{aligned}$$ (69)其中 \(\textbf{a}\) 中有N个耦合参数,\(\textbf{b}_i\) 中有M个调整参数,以及K个潜在因子。\(\Pi _{\lnot i}\)、\(L_{\lnot i}\) 和 \(B_{\lnot i}\) 是固定的。设 \(k_C\) 是 \(\textbf{a}\) 的稀疏度,使得 \(\textbf{a}\) 中有\(Nk_C\) 个元素恰好为零。类似地,设 \(k_T\) 是 \(\textbf{b}_i\) 的稀疏度,使得 \(\textbf{b}_i\) 中有\(Mk_T\) 个元素恰好为零。设 \(Q=P L_{\lnot i}^T\) 和 \(R=B_{\lnot i}Q\),并设 \(Q_\text {sub}\) 和 \(R_\text {sub}\) 分别是仅包含不在 \(\textbf{a}\) 和 \(\textbf{b}_i\) 支持中的行的矩阵,即仅包含 \(\textbf{a}\) 和 \(\textbf{b}_i\) 中值为0的行。回想一下P是神经变异性精度矩阵,所以 \(Q_\text {sub}\) 是共享变异性的投影到精度矩阵上,而 \(R_\text {sub}\) 进一步将其投影到非目标调整中。如果 \(K \le Nk_C + Mk_T\) 且 \(S = \left( \begin{array}{c} Q_{\text {sub}} \\ R_{\text {sub}} \end{array}\right) \) 是满秩的,那么在保持 \(\textbf{a}\) 和 \(\textbf{b}_i\) 的模型支持的可识别性子空间中,唯一的 \(\varvec{\delta }\) 是 \(\varvec{\delta }=0\)。可识别性子空间的证明在附录A.1中给出。这个定理表明,如果参数足够稀疏,并且S是未观察到的精度矩阵的线性变换,那么参数估计是可识别的。在实践中,稀疏模型拟合通常可以分为两个独立的步骤:支持恢复和非零参数估计(Bouchard等人,2017年)。在这里,我们已经展示了估计非零参数是可识别的,尽管在相关且噪声较大的数据集中准确恢复支持仍然是一个活跃的研究领域(Kumar & Bhattacharyya,2022年;Wainwright,2009年)。尽管如此,我们已经将一个完全无法解决的问题变成了一个可解决的问题,尽管承认这仍然很困难。4.2 模型参数的非可识别性:静态CoTuLa模型中的结构非可识别性会导致估计中的系统误差如果不在参数推断之前解决结构非可识别性,它会影响参数估计和模型的可解释性。例如,假设我们根据定理1,将一个静态CoTuLa模型拟合到来自具有稀疏支持的可识别模型的数据上。由于真实模型参数满足定理1,因此存在一个唯一的参数配置生成了这些数据。然而,假设我们在拟合CoTuLa模型时不强制执行定理1的条件(例如,在参数优化期间不要求足够的稀疏性)。在这种情况下,由于推断出的模型在结构上是非可识别的,那么得到的参数估计会受到怎样的影响呢?由于存在无限多个具有相同数据对数似然的参数值(即可识别性家族),一个常见的直觉是,估计的参数值在多次运行推断算法时会高度变化。在多元线性回归中,当设计矩阵的列空间不是满秩时,也会出现类似的情况。在这种情况下,也可以有无限多个具有相同似然值的参数配置。在EM的背景下,这种情况可能导致对初始条件的极端敏感性。然而,我们将展示对于动态CoTuLa模型,系统误差取决于数据生成过程,静态和动态CoTuLa模型的数值结果显示估计具有系统误差但变异度低。因此,与常见的直觉相反,在这些情况下,非可识别性导致的是错误答案的一致估计,而不是高度变化的估计。为了进一步了解非可识别性如何影响误差和估计参数的方差,我们评估了将结构上不可识别的模型拟合到来自可识别真实参数的数据上的影响。我们进行了一个简单的实验,即在没有强制执行可识别性约束的情况下,将一个结构上不可识别的CoTuLa模型拟合到来自具有稀疏、结构上可识别的静态CoTuLa模型的数据上。为了简化展示的系统误差,数据生成模型具有正的调整参数,这与神经数据的情况相同。鉴于拟合的模型在没有可识别性约束的情况下是结构上不可识别的,存在一个完整的参数估计可识别性家族,这些参数估计具有相同的EM目标函数值。我们计算了从密集参数推断(即,不首先施加模型支持)得到的耦合和调整参数的系统误差,这些推断是在30次随机初始化中进行的。这些误差在初始化中的分布如图3b-c所示。我们还改变了模型参数抽取的分布的均值(不同颜色的直方图)。我们观察到耦合参数被高估了(图3c,不同均值的参数分布中的误差严格为正),而调整参数的幅度被低估了(图3c;误差的符号与参数分布的均值相反,表明幅度减小)。这些系统误差在质量上与4.1节类似。有趣的是,我们观察到初始化之间的方差较低。尽管推断是在一个结构上不可识别的模型上进行的——在该模型下,广泛的参数值在对数似然下都是有效的——参数推断在初始化之间始终得到相似的估计。所得到的估计值具有低方差特性,但存在对真实参数的系统性误差。图3b-c中观察到的低方差现象令人惊讶,因为我们可以预期参数估计值会覆盖一个可识别性范围。由于除了目标方差之外,所有参数的可识别性都是线性的(方程8-11),因此高维的可识别性子空间可以被可视化为一个截断的抛物线(3d:黑色曲线)。当私有方差(\(\Psi \)在两端达到零时,抛物线被截断(3d:蓝色表面)。因此,我们在拟合参数上观察到的低方差意味着这些解聚集在截断抛物线的某个位置上。可能是在可识别性家族的几何背景下,随机初始化的初始值较小。因此,我们重复了实验,但使用了不同的初始化集:这些初始化值覆盖了更大的可识别性范围。我们可以将这些初始化值视为相对于可识别性家族具有最大方差的初始值。我们生成了一个随机初始化值,并计算了围绕它的可识别性家族(3e:橙色曲线)。然后,我们生成了30个等间隔的参数配置作为参数推断的初始值(3e:橙色曲线上的x点)。我们对每个这些点在非可识别模型中进行了参数推断。我们假设,如果结构上的不可识别性不影响估计的系统性误差,那么推断出的参数将同样均匀地分布在可识别性家族上。相反,如果结构上的不可识别性导致了误差,那么推断出的参数将一致地聚集在可识别性家族的某个特定区域。为了可视化结果,我们对拟合参数估计值进行了主成分分析(PCA),并在二维空间中绘制了结果(3f)。拟合解聚集在抛物线的顶点附近,这意味着尽管初始值有显著差异,优化仍然得到了一组低方差的参数估计值。有趣的是,这个解最大化了目标私有方差(即抛物线的顶点,对应于私有方差)。这些结果表明,即使使用了正确的底层模型(在这种情况下,是实际生成数据的模型),未能解决结构上的不可识别性也可能在参数推断过程中产生系统性误差。因此,在结构上准确的模型中通过准确的选择来强制执行可识别性约束对于获得准确的参数估计至关重要。

图3
静态CoTuLa模型中的结构不可识别性会导致估计的系统性误差。a. 一个包含两个参数(x轴和y轴)的玩具损失表面(z轴)。红线表示该损失表面的示例可识别性子空间。b-c. 从稀疏的、可识别的CoTuLa模型生成的数据中,通过CoTuLa推断得到的耦合和调整参数的系统性误差。CoTuLa推断没有指定模型支持,因此存在结构不可识别性。系统性误差显示在30个不同的初始化值上。不同颜色的直方图对应于不同底层参数分布的均值。d. 当潜在维度\(K=1\)时,静态CoTuLa模型的可识别性家族表现为一个截断的抛物线。黑线表示作为主轴\(P_0\)和\(P_1\)函数的可识别性家族,这些主轴取决于\(a\)、\(b_i\)和\(l_i\)。黑色曲线表示对数似然不变的参数配置。蓝色表面表示私有方差\(\Psi _i\)变为负值的截断点。e. 检查结构不可识别性的实验设置。橙色曲线表示初始化时的可识别性家族。许多模型在可识别性家族的不同点进行初始化(用\(\times \)表示)。使用EM进行参数推断,直到达到一个拟合的可识别性家族(绿色曲线)。拟合解(在绿色曲线上的\(\times \))聚集在可识别类的顶部,那里私有方差最大。f. 从e中描述的实验中获得的拟合解(\(\times \)),但用两个主成分进行可视化。

4.3 在CoTuLa模型的推断过程中,准确的参数估计需要准确的模型选择
如上所述,CoTuLa模型比CoTu模型更准确地反映了神经数据生成过程。因此,我们评估了在这些模型中对CoTuLa模型生成的合成数据进行的错误推断。我们进行了一个系统性的、大规模的数值实验,关注两个感兴趣的超参数:耦合参数的均值和调整参数的均值。对于每个超参数,我们检查了\([-1, 1]\)范围内的5个值(总共\(5\times 5 = 25\)个超参数配置)。为了简化,我们构造了未观察到的活动,以再现等于0.10的均匀噪声相关性。对于每对超参数,我们生成了10个具有不同参数集的模型。对于每个模型,我们生成了30个数据集,并对数据进行了3次折叠的推断。我们通过对数据集和折叠取平均值,然后是对模型取中位数,最后是对模型内参数取中位数来估计统计量。我们计算了作为底层超参数函数的真实非零耦合和调整参数估计的误差。更多细节见附录A.5。
我们重点检查了目标神经元(a和b)的耦合和调整参数估计,因为这些参数在CoTu模型和CoTuLa模型之间是共享的。我们通过使用第节中描述的推断程序拟合CoTuLa模型来量化耦合和调整参数估计的准确性。我们将这些估计值与CoTu在相同合成数据上的推断结果进行了比较。这使我们能够评估模型支持在CoTuLa推断中的影响,以及当数据包含未观察到的变异源时CoTu推断可能出错的方式。如上所述,我们将整个推断过程分为两个阶段:选择阶段,其中识别非零的耦合和调整参数;以及估计阶段,其中确定这些非零参数的值。在当前分析中,我们考虑了三种选择方案:神谕选择、推断选择和不选择。在神谕选择中,每个估计都是在CoTuLa模型的真实模型支持上进行的。然而,对于真实数据来说,神谕选择是不可用的。因此,对于推断选择,我们使用了UoI\(_{\text {Lasso}}\),它可以从数据样本中以接近神谕选择的准确性推断模型支持(见附录A.6)(Bouchard等人,2017;Sachdeva等人,2021)。对于不选择的情况,使用完整的参数集进行估计。CoTuLa模型使用期望最大化(EM),CoTu模型使用普通最小二乘法。重要的是,CoTu和CoTuLa推断程序都使用了相同的模型支持,以便有效地比较参数估计如何依赖于推断过程中的选择准确性。

图4
在CoTuLa模型的推断过程中,准确的参数估计需要准确的模型选择。每个图表都展示了作为参数生成分布均值函数的标准化误差:调整均值(x轴)和耦合均值(y轴)。我们检查了三种模型选择情况:神谕选择(a-d.)、推断选择(e-h.)和不选择(i-l.)。在每种情况下,顶部行显示了耦合参数的结果,而底部行显示了调整参数的结果。调整和耦合误差分别用相同的颜色映射绘制,颜色映射显示在每个子图的右侧颜色条中。
在图4中,我们展示了推断值和实际耦合及调整参数值之间的差异(即估计误差,颜色条;所有图表的耦合和调整颜色条是共享的)。对于三种选择集(神谕选择(4a-d)、推断选择(4e-h)和不选择(4i-l)),耦合误差(顶部行)和调整误差(底部行)作为CoTu(右列)或CoTuLa模型(左列)中调整均值(x轴)和耦合均值(y轴)参数值的函数进行绘制。在不同选择集之间,我们发现CoTu模型中的推断存在明显的系统性误差,这是由于没有对未观察到的变量进行建模造成的(4a,c,e,g,i,k)。有趣的是,我们只观察到耦合参数的正面误差,而调整参数则表现出正面和负面的误差。我们进一步发现,正如我们所预期的,系统性误差的幅度随着调整或耦合均值的增加而增加(4)。此外,调整参数误差与底层分布的符号相对应:如果分布是正的,误差将是负的,反之亦然(4)。正如预期的那样,当神经响应被建模为泊松分布时,调整误差在质量上是相似的(附录A.7)。不同选择配置对CoTu模型中推断的影响很小。
相比之下,对于CoTuLa模型,我们发现选择集对耦合和调整参数误差的幅度有显著影响(4b,d,f,h,j,l)。特别是,我们发现对于神谕选择,CoTuLa参数的误差小一个数量级(图表完全为白色),表明这是几乎无误差的估计。基于推断选择的CoTuLa模型的估计结果比CoTu模型的误差要好得多,但略差于神谕选择(4f,h)。对于不选择的情况,CoTuLa模型中的参数估计的系统性误差与CoTu模型基本相当(4j,l)。耦合和调整均值对系统性误差的依赖模式在CoTu模型和CoTuLa模型之间是相似的。
当我们使用L1惩罚的期望最大化时,也观察到了类似的误差,这表明在参数推断之前解决不可识别性是至关重要的(附录A.8)。线性高斯静态CoTuLa模型的解通常在分析上是不可处理的,除非是在单变量情况下,此时有一个调整参数和一个耦合参数。我们分析了CoTuLa生成的数据上应用CoTu推断得到的误差(附录A.9)。误差根据调整参数的规模而变化(与4一致)。然而,由于模型的内在结构不可识别性,线性高斯模型中误差的解析形式难以解释(见第4.1节)。
总的来说,这些结果表明,当存在未观察到的活动但未对其进行建模时,CoTu模型中的推断容易产生系统性误差,而CoTuLa模型可以减轻或完全消除这些误差,这取决于参数选择的质量。在真实神经数据的背景下,这些结果表明,CoTu模型中的标准推断可能导致调整参数相对于耦合参数的比例人为降低。

图5
在静态CoTuLa模型中,稀疏推断可以减轻神经数据中的系统性误差。a-c. 来自猴子V1(PVC)数据的结果。a. 使用调整模型(黑色)、CoTu模型(灰色)和CoTuLa模型(红色)对单个单元进行拟合的调整曲线示例。b. 从CoTu模型(x轴)获得的调整调制与从CoTuLa模型(y轴)获得的调整调制进行比较,这些调整调制是在群体中的单个单元上获得的。插图显示了调整(黑色)、CoTu(灰色)和CoTuLa(红色)模型的分布(中位数和IQR)。注意轴上的对数刻度。c. CoTu(x轴)和CoTuLa(y轴)模型之间的耦合参数比较。点表示模型间的耦合参数。插图显示了调整(黑色)、CoTu(灰色)和CoTuLa(红色)模型的耦合参数幅度的分布(中位数和IQR)。d-f. 来自大鼠\(\mu \)-ECoG数据的结果,图表与顶部行类似。c. 单个电极上的示例拟合调整曲线。d-f. 与a-c相同,但适用于大鼠初级听觉皮层数据。d-e. 调整调制的比较。e. 耦合参数的比较。g. CoTu和CoTuLa模型中每个项捕获的神经响应方差的比例,以堆叠条形图显示。h. 根据CoTu和CoTuLa模型推断程序计算的调整-耦合比率。数据显示为所有神经元上的中位数和IQR(四分位数范围)。显著性标记表示Wilcoxon符号秩检验的\(p < 10^{-3}\)。在静态CoTuLa模型中,稀疏推断可以减轻神经数据中的系统误差。先前的研究比较了通过独立调整和耦合模型估计的耦合和调谐参数与耦合-调整(CoTu)模型估计的参数,发现CoTu模型中调谐的幅度相对于耦合显著减小。这被解释为神经活动主要由与其他神经元的耦合驱动,而对外部变量的调整影响较弱(Stevenson等人,2012年)。然而,前一节的结果表明,这一先前的结果可能部分反映了由于遗漏潜在变量以及变量选择不当而导致的系统误差。因此,我们接下来评估了在CoTuLa模型中进行的稀疏推断是否对神经数据也有类似的影响。我们考虑了两个数据集:猕猴初级视觉皮层(PVC)对漂移光栅的单个单元活动,以及大鼠听觉皮层对音调脉冲的\(\mu\)ECoG记录。我们拟合了线性-高斯CoTu和CoTuLa模型,并使用基函数来编码调谐参数。我们使用与合成数据相同的程序进行推断,并比较了CoTu和CoTuLa模型以及耦合和调谐模型估计的参数值。更多细节见附录A.4节。初级视觉皮层的结果展示在图5a-c中,听觉皮层的结果展示在图5d-f中。每个数据集的示例调谐曲线展示在(5a,d)中。在这里,如图中的其他部分一样,基线模型(调谐或耦合)的拟合结果用黑色表示,CoTu模型的拟合结果用灰色表示,而CoTuLa模型的拟合结果用红色表示。对于这两个数据集,我们都观察到Tu和CoTu拟合之间的调谐调制显著减少(即,灰线的最小-最大范围减小),而这在CoTuLa模型中通过稀疏推断得到了部分恢复。我们将模型拟合之间的差异量化为每个调谐曲线的最小到最大距离。然后我们直接比较了每个单个单元或\(\mu\)ECoG通道的CoTu和CoTuLa调谐调制(5b,e)。在视觉皮层数据中,我们观察到调谐调制相对于CoTu模型有所提高(点位于对角线上方,5b)。在整个神经群体中,调谐调制的增加在统计上是显著的(5b:插图:***:\(p=7\times 10^{-6}\),Wilcoxon符号秩检验,\(N=106\))。同样,在听觉皮层中,CoTuLa模型的调谐调制几乎普遍高于CoTu模型(5d-e)。CoTuLa模型的调谐调制显著大于相应的CoTu调谐调制(5e:插图:***:\(p = 2\times 10^{-20}\),Wilcoxon符号秩检验,\(N=128\))。我们注意到,在这两种情况下,CoTuLa模型的调谐调制都显著低于单独的调谐模型(5b-e:插图,黑色;b:***:\(p=9\times 10^{-10}\),Wilcoxon符号秩检验,\(N=106\);e:***:\(p=2\times 10^{-22}\),Wilcoxon符号秩检验,\(N=128\)),这意味着在CoTuLa模型中,一些调谐的解释效应仍然存在。接下来,我们将从CoTuLa模型中拟合的耦合系数与CoTu模型中相应的耦合系数进行了单位基础的比较(5c,f)。有趣的是,我们观察到不同的效应,CoTuLa参数估计值超过了、等于或低于它们的CoTu对应值(5c,f)。我们在群体水平上比较了耦合参数的幅度,发现CoTuLa耦合参数的幅度显著高于它们的CoTu对应值(5c,f,插图,c:***:\(p = 4.3\times 10^{-81}\),Wilcoxon符号秩检验,\(N=106\);f:\(p = 1\times 10^{-100}\),Wilcoxon符号秩检验,\(N=128\))。这些结果与合成结果的预期相反(4),在那里我们发现CoTu模型高估了耦合参数(因此,我们可能期望在5中看到点位于身份线以下)。CoTuLa模型推断影响的观察到的异质性可能源于1c,f中的相关性多样性,其中数据中观察到了正相关和负相关(为了简化,在前一节的数值结果中只使用了正相关)。总体而言,这些结果表明,在静态CoTuLa模型中进行的稀疏推断减轻了神经数据中的遗漏变量误差,这消除了CoTu模型中的一些解释效应,但并非全部。我们总结了CoTuLa模型中耦合、调谐和潜在项对目标神经元活动的贡献。我们计算了每个项在试验和刺激中对目标神经元响应的方差贡献比例(5g)。我们观察到,在PVC和ECoG数据集中,神经活动调制的主要贡献来自耦合(蓝色条形)。调谐项的贡献要小得多,特别是在ECoG数据集中(绿色条形)。同时,潜在项在PVC数据中的贡献甚至更小,但在ECoG数据中大致等于调谐贡献(红色条形)。最后,我们直接比较了从CoTu和CoTuLa模型估计的调谐相对于耦合的贡献(5h-i)。我们发现,与CoTu模型相比,CoTuLa模型的调谐与耦合的比率显著更高(5h:\(p=2\times 10^{-6}\),Wilcoxon符号秩检验,\(N=106\);i:\(p=6\times 10^{-21}\),Wilcoxon符号秩检验,\(N=128\))。这些结果共同表明,在静态CoTuLa模型中进行的稀疏推断显著增加了神经数据中调谐调制的幅度相对于耦合的幅度,主要效应来自调谐调制的增加。这表明在CoTu模型中的推断可能受到这些数据集中错误参数估计的影响。

4.5 在未观察到的变异性中的时间相关性可能在动态CoTuLa模型中产生系统误差。到目前为止,我们考虑了带有和不带有潜在变量的静态功能耦合和调谐模型,以及这些模型中的推断可能因模型选择的准确性而产生的误差。最初关注静态模型部分是因为许多经典神经生理学研究采用了与此模型非常匹配的实验设计。例如,在检查的两个实验数据集中,外部刺激都是以试验化的方式随机呈现的,且刺激间隔较长,主要是为了能够在不考虑动态的情况下分析响应。然而,自然生物现象,包括行为学行为和刺激以及大脑活动,都具有非平凡的时间相关性。实际上,许多现代神经生理学实验,特别是那些包含行为成分的实验(例如,大鼠导航迷宫),直接关注神经动态与外部世界动态之间的关系分析。通过考虑一个动态模型是否可以解决参数误差问题,在该模型中,每个变量的时变值都带有明确的时间索引(2f),而不是将其合并为一个单一分布(2e)?在这里,我们展示了当未观察到的变异性(即噪声)存在时间相关性时,耦合估计的误差仍然存在(5),正如神经生理学数据中的情况(Churchland等人,2010年;Dichter等人,2016年)。此外,当时间相关的噪声与外部变量的时间相关性结合时,我们发现调谐参数估计表现出系统误差。即使神经活动和外部变量都在特定时间测量,生成源的时间相关性也可以在模型中创造出“同时性”,如图6a中的四边形图所示(类似于静态CoTuLa模型中的三角形图)。重要的是,这里的“同时性”仅意味着有多个变量来源共同影响观察到的神经活动对应的动态变量(6a,黑色圆圈),无论变异性起源于哪个时间点。正如我们将看到的,当使用与静态情况相似的模型参数时(例如,正相关,严格正的调谐参数等),动态情况下的误差性质与静态情况类似。为了对动态CoTu模型推断期间的潜在系统误差有分析上的洞察,我们首先推导了从动态CoTuLa模型(5)–(6)生成的数据进行朴素OLS推断时可能得到的误差。为了分析上的可行性,我们考虑了单变量情况(\( N,M,K=1 \)(详见相关章节)。我们发现,耦合参数a和调谐参数b的标准化误差可以表示为:$$\begin{aligned} \left[ \begin{array}{c} (\hat{a} - a)/a \\ (\hat{b} - b)/b \end{array} \right] = \left( \frac{ga}{1-ga} \right) \cdot \frac{\ell ^{2} \mathbb {E}~[z^{2}]}{a^{2}\mathbb {E}~[y^{2}] - (\frac{ha}{1-ha})^{2} \, b^{2}\mathbb {E}~[x^{2}]} \left[ \begin{array}{c} 1 \\ -\left( \frac{ha}{1-ha}\right) \end{array} \right] \end{aligned}$$ (70)其中\( \ell \)是潜在的耦合参数,而g和h分别参数化了潜在变量\( z_{t} \)和外部变量\( x_{t} \)的时间相关性强度。在多变量情况下,我们数值评估了已知真实值的耦合和调谐参数的OLS估计的标准化误差(有关合成数据生成的详细信息,请参见附录A.5节,有关分析的详细信息,请参见附录A.10节。)

图6
未观察到的变异性中的时间相关性可能在动态CoTuLa模型中产生系统误差。每个面板可视化了模型中动态功能耦合(Co)和调谐(Tu)参数的标准化误差的中位数和四分位数范围,每个有50个实现。a. 动态模型中同时性起源的示意图,在存在时间相关性的情况下。b-e. OLS估计中的系统误差。数据是根据CoTuLa模型的四种不同条件生成的:b. 刺激或噪声中都没有时间相关性,c. 刺激中有时间相关性,d. 噪声中有时间相关性,e. 刺激和噪声中都有时间相关性。

多变量情况的数值结果与单变量情况的分析预测一致。从方程(69)中,我们发现总体标准化误差由\( ga / (1-ga) \)和\( ||\ell \mathbb {E}~[z]||_{2}^{2}\)(即未观察到的变异性的平方期望值的L2范数)缩放。这表明当噪声中没有时间相关性时(\( g=0 \)),OLS估计没有系统误差。这种来自单变量情况的分析预测通过高维情况下的数值结果得到了验证。在图6b-e中,我们绘制了具有和没有未观察到的和外部变量时间相关性的耦合和调谐参数的标准化误差。我们发现,当未观察到的和外部变量都没有相关性时(6b),或者只有外部变量有时间相关性时(6c),耦合和调谐误差都集中在零附近。此外,\( \ell ^{2} \mathbb {E}~[z^{2}] \)因子意味着未观察到的变异性的贡献必须很大才能产生大的误差。在存在时间相关噪声的情况下,当耦合参数a和g接近1时,缩放因子\( ga / (1-ga) \)更大;换句话说,当X和Z的时间相关性更强时。我们观察到在未观察到的变异性具有时间相关性时(6d),耦合项的系统性误差很大(但调谐项没有)。

调谐误差进一步由因子\( -ha / (1-ha) \)缩放。当外部变量时间不相关(\( h=0 \))时,调谐误差消失,而只要噪声中有时间相关性(\( g \ne 0 \),耦合误差仍然存在,如数值结果所示(6d)。在存在时间相关的外部变量时,标准化的调谐误差具有负号,而标准化的耦合误差具有正号(6e)。这些结果与上述静态模型中观察到的系统性地高估的耦合参数和低估的调节参数一致。4.6 动态CoTuLa模型中的稀疏推断可以减轻合成数据中的系统误差。图6中展示的系统误差是由未观察到的影响引起的时间相关“噪声”所引入的,并且由于外部变量的时间相关性而加剧。动态CoTu模型中的误差性质与静态CoTu模型中观察到的系统误差相似。因此,我们接下来测试了动态CoTuLa模型中的稀疏推断是否可以减轻合成数据中的系统误差。图7显示,在具有和不具有时间相关性的四种不同生成模型下,耦合(Co.)和调节(Tu.)参数的标准化误差。我们对同一组数据应用了不同的推断程序。a-c. CoTu模型推断,包括a. 无选择,b. 推断选择,以及c. 神谕选择。d-f. 与a-c类似,但适用于CoTuLa模型推断。我们使用了上一节中用于展示动态CoTu模型中OLS推断系统误差的同一组合成生成数据,并对外部和未观察到的变量的时间相关性设置了四种不同的条件。对于每个数据集(观察变量X和Y),我们在CoTuLa模型中进行了稀疏推断,以估计耦合矩阵A和调节矩阵B,以及潜在的动态变量Z和潜在的耦合矩阵L。与静态模型一样,我们将推断过程模块化,并利用从参数估计中单独获得的模型支持。我们对比了三种选择方案:无选择、推断选择和神谕选择。在没有选择的情况下,所有参数的值都被估计出来;而在神谕选择的情况下,提供了耦合和调节参数的真实模型支持。在图7中,我们绘制了在三种模型支持方案和四种数据生成模型下,CoTu(7a-c)和CoTuLa(7d-f)模型的耦合和调节参数的标准化误差。如上所述,在存在时间相关性的情况下,基于CoTu模型推断的估计值存在系统误差(7a)。这些系统误差在推断选择(7b)甚至神谕选择(7c)的情况下仍然存在,甚至更加严重。当在动态CoTuLa模型中进行无选择推断(7d)时,估计的耦合和调节参数平均而言更接近真实值,但得到的参数估计值变化更大。因此,与静态情况一样,仅仅在模型中包含一个潜在变量并不足以完全消除估计值中的系统误差。在动态CoTuLa模型中使用推断选择消除了这个合成示例中的调节误差,尽管没有消除耦合误差(7e)。然而,当在动态CoTuLa模型中使用神谕选择进行推断时,耦合和调节参数都被准确且精确地推断出来(7f)。结合静态模型的结果,这些结果表明,在生成模型中进行准确的变量选择可以减轻/解决系统误差。图8显示,动态CoTuLa模型中的稀疏推断可以减轻神经数据中的系统误差。a-c. 来自初级视觉皮层的数据。a. 来自仅调节(黑色)、CoTu(灰色)和CoTuLa(红色)模型推断程序的示例调节曲线。b. CoTu和CoTuLa模型推断程序的调节调节比较。插图:三种模型的调节调节分布的箱形图(中位数和IQR)。c. 耦合调节的比较。散点图显示了耦合矩阵的所有元素。插图:为了视觉清晰,排除了非零耦合元素的幅度。d-f. 与a-c类似,但适用于大鼠海马体的数据。g-i. 合成数据、初级视觉皮层和海马体数据的拟合比较。对于海马体数据,分别显示了早期(E,第2-4天)和晚期(L,第5-9天)的结果。g. 每个术语捕获的神经反应方差的比例,以堆叠条形图显示。h. 耦合强度a、调节相关性h和潜在相关性g的估计值。详见正文。i. 根据CoTu和CoTuLa模型推断程序计算的调节-耦合比率。箱形图显示了中位数和IQR。4.7 动态CoTuLa模型中的稀疏推断可以减轻神经数据中的系统误差。这些结果表明,由未观察到的变异性中的时间相关性引入的估计系统误差的严重程度取决于模型中不同术语的组合,而不仅仅是潜在术语(69)。具体来说,在具有更强耦合的系统中,估计更容易受到系统误差的影响。此外,外部变量中的时间相关性的强度调节了调节误差。在真实的神经数据中,有理由相信,反映未观察到的神经活动对记录群体影响的潜在变异性具有非平凡的相关性。此外,不同脑区之间的神经元耦合强度存在异质性,而外部变量(例如,视觉刺激、迷宫中的位置)的时间相关性将取决于实验范式。因此,我们接下来问:使用动态模型分析真实神经数据时,系统误差有多严重?为了确定推断中的系统误差对动态模型中耦合和调节估计的影响程度,我们分析了两个神经数据集,这些数据集同时测量了神经活动以及随时间变化的外部变量。我们检查了猕猴初级视觉皮层中多个单单元对快速变化的漂移光栅电影(Kohn,2016年)的尖峰活动,以及大鼠海马体CA1和CA3在迷宫中的空间决策任务中的活动(Karlsson和Carr,2015年)(详见附录A.4节)。由于我们已经证明了变量选择的准确性对于减轻系统误差的重要性,这里我们只关注推断过程中使用的模型的影响。我们在动态CoTu和CoTuLa模型中使用相同的模型支持进行了推断。对于视觉皮层数据,我们将每个数据集分为四个包含30次试验的子集,并对每个子集进行了拟合。对于海马体数据,我们对每个实验会话进行了拟合。在不同子集中拟合的单元在后续分析中被视为不同的单元。详见附录A.10节。我们首先检查了调节参数的估计值。图(8a,d)显示了分别来自PVC和HPC的单单元的示例调节曲线,这些曲线是根据纯调节模型(黑色)、CoTu模型(灰色)和CoTuLa模型(红色)估计的。与使用静态模型的(不同)神经数据集观察到的情况相反,这些示例表明CoTu和CoTuLa模型之间的差异可以忽略不计。我们量化了CoTu和CoTuLa模型拟合的所有单个神经元的调节调节幅度,并将它们相互绘制(8b,e)。为了探索学习的潜在影响,对于海马体数据,我们在散点图(8e)中分别可视化了早期(紫色)和晚期(黑色)发生的试验。对于视觉皮层数据(8b)和海马体数据(8e),我们观察到动态CoTu和CoTuLa模型之间的推断调节参数高度一致,这表明CoTu模型中的稀疏推断没有受到调节参数误差的影响。实际上,尽管PVC神经元存在统计学上的显著效应(8e,插图,P = 1E-13,N = 591,Wilcoxon符号秩检验),但其效应大小很小(Cohen’s d = 0.06),因此其功能影响很小。对于HPC数据,没有观察到统计学上的显著效应(8e,插图,P = 0.2,N = 467,Wilcoxon符号秩检验,Cohen’s d = 0.004)。对于视觉皮层数据,这个结果可以直观地解释,因为实验设计确保了时间变化刺激(伪随机方向排序)中的时间相关性最小化。就方程(69)而言,我们可以说在这个实验中,视觉皮层处于\( h \approx 0 \)的状态,其中调节误差消失了。另一方面,尽管动物的位置在时间上明显相关(\( h > 0 \)),海马体数据中仍然没有调节误差。接下来,我们检查了耦合术语(8c,f;分别针对初级视觉皮层和海马体)。对于视觉皮层数据,总体而言,从CoTu到CoTuLa推断程序的耦合参数显著减少(8c;插图:P < 1E-324,N = 6562,Wilcoxon符号秩检验,Cohen’s d = 0.4)。对于海马体数据,模型之间的耦合基本一致(8f,插图:P = 8E-9,Cohen’s d = 0.012),并且似乎在早期和晚期之间没有变化。这些结果表明,在视觉皮层数据中推断的系统误差明显,而在海马体数据中则没有。为了理解这些观察结果的原因,我们检查了模型的其他组成部分。我们量化了耦合、调节和潜在术语的相对贡献(8g)(详见附录A.10节)。请注意,方差分数不一定总和为1,因为模型中的术语并不都是正交的。我们首先重新审视了刺激和噪声在设计上时间相关的合成数据。与CoTu模型相比,CoTuLa模型中的耦合贡献(8g,蓝色)减少了,而调节贡献(8g,红色)从CoTu增加到CoTuLa,尽管总体调节分数相对于耦合(8g)来说很小。我们进一步通过方程(5)中的术语解释了CoTu和CoTuLa模型拟合参数之间的差异。在图8h中,我们显示了自回归值(即耦合系数)(a)的幅度,以及外部变量(h)和潜在变量(g)中的时间相关性的强度(也见方程(5))。这里,a是\( \hat{A} \)具有最大实部的特征值,g是从优化的CoTuLa数据拟合中提取的(见相关章节)。对于h,我们将刺激数据拟合到一个单独的VAR\(_{1}\)过程中,以获得自回归矩阵\( \hat{H} \),并报告了\( \hat{H} \)具有最大实部的特征值h。在合成数据中,这表明a、h、g都很大。这是从数据生成过程的设计中预期的,并确认了a、h、g的总结量化捕捉到了数据生成过程中的显著结构。最后,在图8i中,我们展示了从CoTu到CoTuLa模型计算的调节-耦合比率的变化。在这个合成数据集中,由于调节增加而耦合减少(8g),调节-耦合比率从CoTu显著增加到CoTuLa(8i;P = 1E-82,N = 750,Wilcoxon符号秩检验;Cohen’s d = 0.4)。因此,我们可以从方程(5)中的术语解释CoTu和CoTuLa模型之间拟合值的差异。接下来,我们将这种分析应用于真实的神经数据集。在视觉皮层数据中,CoTuLa模型中的推断导致耦合贡献(8g,蓝色)相对于CoTu模型显著减少,这表明与调节参数(红色)不同,当不考虑潜在术语时,耦合参数表现出系统误差。这一观察结果与有限的g和从这个数据集估计出的小h一致(8h)。由于耦合贡献的减少(8i;P = 5E-95,N = 591,Wilcoxon符号秩检验;Cohen’s d = 0.4),调节-耦合比率从CoTu显著增加到CoTuLa。我们的结果进一步表明,在这个数据集中,初级视觉皮层记录中存在大量的未观察到的时间相关变异性(8g,绿色)。我们没有观察到这两只猴子之间的任何显著差异。这些结果表明,即使对于时间上不相关的刺激,如果不考虑未观察到的相关变异性的影响,也可能导致关于神经系统中调谐和耦合项相对重要性的误导性结论,尤其是在未观察到的变异性的强度或时间相关性存在系统差异的情况下,这种情况在学习过程中可能会发生。在海马体数据中,耦合和调谐的贡献在包含潜在变量(8g,蓝色和红色)后几乎没有受到影响,这表明CoTu拟合中没有耦合或调谐错误(与8e-f一致)。g的相对较小值,特别是在实验的早期阶段(第2-4天),与这一观察结果一致(8h)。在两种情况下,调谐-耦合比率变化不大(8i)。有趣的是,与早期阶段相比,在实验的后期阶段(第5-9天),整体方差分数更多地受到调谐的影响,而不是耦合(8g,红色和蓝色)。此外,归因于未观察到的潜在变量的方差贡献显著增加(8g,绿色),并且变异性的时间相关性更大(8h)。这可能与大鼠在任务的后期试验中对任务环境更加熟悉有关。

5 讨论
我们发现了一个被低估的系统误差来源,这些误差源于具有内生变量、外生变量和潜在变量的同时方程模型中的结构不可识别性。在静态和动态模型中都存在类似的系统误差,并且随着模型中潜在变异性的引入而持续存在。我们证明了通过在静态和动态情况下指定可识别性约束(即准确的模型支持)可以减轻系统误差;在静态情况下,我们证明了准确的模型支持可以消除模型的不可识别性。将模型和推理算法应用于不同的神经数据集揭示了内生变量(即与其他神经元的耦合)与外生变量(例如对外部刺激的调谐)之间的影响差异。下面,我们将从统计和(神经)生物学的角度讨论这些结果。

5.1 (神经)生物学中的相互作用、外部因素和不可观测变量
许多生物过程涉及多个组分的相互作用,而这些组分本身又受到外部因素的影响。例如,根际(围绕植物根部的土壤顶层)的完整性和功能是通过许多微生物的相互作用来维持的,而这些微生物又受到土壤条件(例如氮和水含量)以及根系分泌物的影响。同样,在大脑中,是许多神经元的相互作用产生了感觉、认知和行为,而神经活动通常受到感官输入(例如声音、视觉等)的调节。在除了最受控制的实验之外的所有实验中,都无法同时测量所有影响我们试图理解的神经元活动的因素。确定不同生物因素是否以及如何影响观察到的细胞活动是我们理解复杂生物系统的核心。在许多情况下,这种理解必须通过数据的统计建模来提取。

在神经活动的统计模型的具体背景下,我们确定了参数估计中是否以及到何种程度受到错误推理的影响,这些参数对应于相互作用(即功能耦合)和外部变量(即感觉调谐)。为了解释记录数据中未观察到的神经元的影响,我们扩展了CoTu神经活动模型,加入了潜在变量(CoTuLa)。我们还引入了一个两阶段算法,首先推断非零参数,然后估计这些参数的值。发现包含潜在变量和两阶段推理算法对于减少合成数据中的误差非常重要,在不同的真实神经数据中也观察到了类似的参数估计变化。我们检查了四个神经生理数据集,一个来自听觉皮层(大鼠),两个来自视觉皮层(猴子),一个来自海马体(大鼠)。在所有三个皮层数据集中,我们观察到与CoTu模型相比,带有两阶段推理的CoTuLa模型显著且大幅度增加了调谐的贡献。这些观察结果,结合我们的数值和分析研究,强烈表明CoTu模型中的标准推理存在显著误差。尽管如此,这些结果支持了之前的发现(使用CoTu模型和基本推理),即与其他神经元的耦合是皮层神经元活动变异性的主要来源(Stevenson等人,2008年)。有趣的是,对于静态模型,我们发现对于单个单元记录来说,耦合是一个更主导的因素,而对于ECoG记录则不然。这可能看起来令人惊讶,因为ECoG记录的是来自皮层表面的电场,被认为具有较低的空间分辨率。相比之下,单个单元记录测量的是假定的单个神经元的动作电位,因此具有单细胞分辨率。在功能耦合的估计反映解剖连接性的程度上,观察到的耦合贡献差异可能反映了记录设备对功能区域的空间覆盖差异(不考虑实验设置中的其他差异)。

从大鼠海马体数据获得的结果与上述来自主要感觉皮层的数据结果在质量上有所不同。在感觉皮层数据中,CoTu错误推理增强了耦合相对于调谐的重要性,耦合是方差的主要来源。相比之下,在海马体数据中,我们几乎没有发现CoTu错误推理的证据,调谐是方差的主要来源(与Stevenson等人(2008年)的结果相反)。这些数据集之间的异质性效应可能可以通过潜在变量结构的差异(以及神经编码的性质)来解释;例如,ECoG数据中的相关变异性的幅度最大且符号最均匀,PVC数据的幅度较小且符号更异质,而海马体中的幅度最小且最异质(参见图1)。这种相关变异性的数据集排序反映了观察到的CoTu误差的排序。由于注意力和学习可以调节相关变性(Beaman等人,2017年;Ruff & Cohen,2016年),因此在解释学习和注意力对调谐和耦合的影响时,正确考虑这里揭示的问题非常重要。

在所有数据集中,记录的神经活动很可能受到未被监测的神经元的调节。引入潜在变量是一种解释模型中遗漏神经元的方法。包括其他未被潜在变量解释的遗漏变量,例如额外的调谐参数(例如光栅的空间频率),也可能对于从模型中提取无误差且可解释的参数估计非常重要(Stevenson,2018年)。在这项工作中,产生相关变异性的潜在变量与任何任务、刺激或神经状态变量无关。然而,已经证明相关变性具有刺激和任务依赖性(Dichter等人,2016年;Josi?等人,2009年);也就是说,围绕任何固定刺激的神经反应的协方差结构取决于该刺激。在相关变性可以通过任务结构(注意力)调节或测量(自发行为)的程度上,可以开发基于这些因素条件的CoTuLa模型并从数据中估计它们(Cohen & Maunsell,2009年;Granot-Atedgi等人,2013年;Ruff & Cohen,2016年;Stringer等人,2019年)。在所有三个皮层数据集中,我们观察到与CoTu模型相比,带有两阶段推理的CoTuLa模型显著且大幅度增加了调谐的贡献。这些观察结果,结合我们的数值和分析研究,强烈表明CoTu模型中的标准推理存在显著误差。然而,我们强调,在这些真实数据中,真实情况是未知的。

我们对动态模型的分析表明,随着行为和/或感觉刺激的相关性的时间和幅度的增加,参数估计中的系统误差应该会变得更加明显。系统神经科学有一个合理的趋势,即让动物参与更复杂、更具生态学相关性的任务(Yartsev,2017年),这些任务可能具有比经典实验范式更长的时间相关性。因此,未来参数估计中出现重大误差的可能性可能会增加。有人认为,在未观察到的神经元有重大贡献的背景下,准确反映解剖连接性的功能耦合推断是不可行的(Aertsen等人,1989年;Stevenson等人,2008年)。直觉上,功能耦合实际上是基于发射率的关联度量,如果发射率的相关性主要由未观察到的神经元主导,那么功能耦合的推断就注定会出错。实际上,Vidne等人(2012年)的工作表明,在视网膜中,Tuning-Latent模型(一个“Tu-La”模型)实现了与Co-Tu模型相似的编码和脉冲列重建。然而,我们发现,在除一种情况外的所有情况下,未观察到的潜在变量的作用相对于其他变量来说非常小。此外,包含潜在变量(即CoTu和CoTuLa模型之间的耦合幅度对比)对耦合项的幅度只有轻微的影响(例如,图8g,真实数据),并且可能会提高整体模型性能。然而,我们在模型中观察到的潜在项的贡献是微小到适度的。因此,随着越来越多的神经元同时从大脑中记录下来,已知的功能耦合估计问题(特别是神经元的稀疏采样)可能会得到解决。因此,用于估计记录神经元之间相互作用的稳健方法在未来可能会有持续的影响。例如,这些提取的网络可以用来分析网络可控性(Gu等人,2015年)等,以指导神经活动的闭环扰动。

5.2 所有模型都是错误的,但有些是有用的
“所有模型都是错误的,但有些是有用的。”这句格言既是对统计建模的警告,也是对其的启发。模型有用的一种方式是它在预测新实验结果方面的能力,即预测准确性。模型的另一种有用方式是它对生成模型所拟合的观察数据的过程提供的洞察力,即可解释性。定量处理这种有用性必然涉及对模型参数的分析。实际上,我们认为洞察力通常是统计建模在生物学和神经科学中用于探索性、数据驱动发现的最重要用途。

使用统计模型来提供对生物过程的洞察力取决于推断参数的质量。然而,模型的参数有很多可能误导人的方式。最著名的参数误差形式是误差-方差权衡,它形式化了在推理过程中最小化误差和方差贡献的难度(Hastie & Tibshirani,2009年)。我们更关注系统参数误差,如偏差,这可能是一种比方差更具破坏性和隐秘的参数估计误差形式,因为随着样本量的增加,方差可以趋于零,但系统误差永远不会消失,即使对于大量数据也是如此。在这项工作中起核心作用的另一种参数估计误差是模型支持的推理准确性(即参数或模型选择)。如上所述,我们通常认为这些不同形式的参数估计误差(误差、方差、假阳性、假阴性)在推理过程中的相互作用是通过包含结构化正则化来约束优化问题来实现的(Wainwright,2014年)。然而,这些类型误差在模型结构背景下的相互作用尚不完全清楚。正如我们和其他人所展示的,模型的解释很大程度上受到模型本身结构不可识别性的阻碍。坦率地说,如果有一无限多的模型参数在预测观察数据方面同样有效,我们怎么能信任我们得到的参数呢?一阶直觉认为,结构非可识别性会通过模型参数的高方差估计来体现;最终的参数估计(即,在可识别性家族优化结束的地方)可能会强烈依赖于初始条件(Hastie & Tibshirani, 2009)。尽管这种思维方式在直觉上很有吸引力,但我们的结果表明,在这里研究的(静态和动态的)CoTuLa模型背景下,推断出的参数表现出高系统误差和低方差。也就是说,无论从随机初始条件开始,参数优化都会在可识别性家族中的相同位置终止,而这个最终位置与生成观测数据的参数相比存在系统性的差异。在这里,我们关注了线性高斯模型,因为它在分析上最为容易处理,并且是系统神经科学中最常用的参数模型之一。然而,神经放电率数据本质上是点过程数据,其噪声模型自然包含在Poisson和二项式广义线性模型中(Gerstner等人,2014年)。因此,虽然我们没有证明我们提出的“先推断支持,再估计”的解决方案能够减轻该模型中的系统误差,但有几个观察结果强烈表明它确实可以。特别是,我们之前已经证明,在Poisson情况下,\(\text {UoI}_{\text {Lasso}}\)(具有低假阳性和假阴性率以及低偏差和低方差的模型选择和估计)的改进推断结果是成立的(Bouchard等人,2017年;Ruiz,2020年)。此外,我们观察到,当神经反应被建模为Poisson分布时,调整误差在质量上是相似的(即,调整调制减少了)(附录A.7节)。我们进一步注意到,真实的神经科学数据集(包括V1数据集和海马体数据集)都是由点过程数据生成的,而我们的(线性高斯)方法展示了在该背景下误差的存在及其减轻。

在静态CoTuLa模型中,我们展示了来自\(\ell _{1}\)-正则化EM的估计也存在系统误差,这表明在推断模型参数估计之前需要解决结构非可识别性问题。在优化一个\(\ell _{1}\)-受限问题(或任何其他结构化正则化器)时,初始参数空间是完全密集的,因为只有通过遍历优化轨迹才会引入参数稀疏性。这意味着初始优化步骤将由来自非可识别模型的梯度决定。这些考虑,加上我们的结果,表明沿着轨迹进行优化的初始步骤将导致具有系统误差的参数估计。一旦沿着这条轨迹进行,逐渐引入稀疏性似乎并不能使优化达到准确解。我们注意到,为了解决参数估计之前的结构非可识别性问题,需要真正的稀疏性(即,不在支持集中的参数被精确设置为零),这表明贝叶斯方法通常需要一个事后程序来将参数精确设置为零(Ro?ková & George, 2018),这些方法可能无法解决这些问题。

同时包含内生变量和外生变量的结构方程模型在计量经济学和统计学文献中有着悠久的历史(Mardia & Kent, 2024;Pearl & Causality, 2009)。特别是,同时方程系统的估计已经被深入研究,传统线性回归估计中的几个误差来源已经被记录下来,从而提出了替代算法,如两阶段最小二乘法(Kline, 2023;Mardia & Kent, 2024)。同时,分析多变量数据中变量贡献的另一个重要工具是因子建模(Kline, 2023;Mardia & Kent, 2024)。因子建模有助于识别解释多变量数据中大部分变化的变量线性组合。在过去五十年中,结构方程模型的可识别性问题已经被广泛研究(Gustavsson等人,1977年)。然而,在同时方程系统中,除了内生变量和外生变量之外还存在潜变量时,可识别性问题仍然是一个难题。最近,有人尝试使用非线性模型(Hyv?rinen等人,2024)或可识别子空间(Barber等人,2022)来解决可识别性问题。但是,使用因子模型来理解潜变量以及内生变量和外生变量的贡献在估计误差的识别方面仍然存在未解决的问题(Barber等人,2022;Kline, 2023)。

通过发现准确的模型支持可以解决模型结构非可识别性问题并导致准确的参数估计,我们将一个数学上退化的问题(在非可识别模型中的推断)转变为一个可处理的问题,并且可以取得具体的进展。然而,重要的是,我们强调我们对参数估计中的系统误差与结构非可识别性之间关系的理解虽然是基于实证的定量分析,但在理论上并不是分析性的。如果这里的观察结果能够在理论上得到证明,那么可以认为,指定模型支持然后仅对非零参数进行估计的两阶段程序,如这里所采用的,对于这类模型的准确参数估计是足够的。我们认为,深入理解这个问题本身就是一个有趣的统计问题,需要新的理论工作,这超出了本手稿的范围。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号