《PLOS Computational Biology》:Modeling decision dynamics disentangles working memory, cognitive control and reinforcement learning and reveals clinical differences
编辑推荐:
摘要专业翻译
多种神经认知过程共同促成强化学习(reinforcement learning, RL)与决策,因此需要精细的任务设计与计算建模以将其解耦。人类依赖容量有限的工作记忆(working memory, WM)在学习过程中快速、灵活地调整行为,同时依
摘要专业翻译
多种神经认知过程共同促成强化学习(reinforcement learning, RL)与决策,因此需要精细的任务设计与计算建模以将其解耦。人类依赖容量有限的工作记忆(working memory, WM)在学习过程中快速、灵活地调整行为,同时依赖较慢的增量式RL过程以支持稳健的长期保持。RLWM范式通过在学习过程中操纵WM负荷来分离上述两类贡献。经验与计算上的进展支持此类过程的可分离性,但这种分离并不完美,因为某一选择往往既可归因于WM也可归因于RL的使用。本研究表明,联合建模决策动力学——不仅考虑选择,还考虑反应时(response time, RT)分布,并结合分层贝叶斯参数估计——能够提高对可分离的学习过程与认知控制过程的解耦能力。尽管模型复杂度增加,包含决策动力学的模型仍改善了参数恢复,并在学习后的留出测试阶段对选择实现了准确的样本外预测。相比之下,仅拟合选择的模型导致RL学习率膨胀,且未能通过样本外检验。此外,联合建模还揭示了一个新的神经认知过程:个体在WM负荷增加时会主动拓宽决策边界以提高反应审慎度。将该模型应用于精神分裂症患者,揭示了先前仅基于选择的模型所掩盖的前摄控制机制缺陷及增量式RL减慢,同时复现了既往已确立的WM缺陷。综上,本研究展示了联合建模如何实现对精神病理学的准确、基于模型且面向机制的计算表型分析。
论文解读文章
一、研究背景与问题
人类在目标导向行为中依赖从过往经验中学习,这一过程被广泛理解为强化学习(RL)的计算框架。然而,行为表现往往由多个并行神经认知系统共同驱动:慢速、增量式的RL过程由皮质-纹状体环路支持,而快速、灵活的工作记忆(WM)系统则由前额叶皮层支持。这两类系统常常收敛于同一最优行为,导致仅凭选择数据难以区分其各自的贡献。RLWM范式通过参数化操纵WM负荷(组块间集合大小、组块内延迟)来分离两类过程,但既往仅拟合选择数据的模型仍存在系统性偏差:RL与WM参数部分可混淆,导致RL学习率被高估,且临床群体中真实的RL差异可能被掩盖。此外,既往RLWM联合建模研究受限于计算成本,未采用分层贝叶斯估计,也未探索除标准线性弹道累加器(LBA)之外的其他决策过程。因此,本研究旨在通过联合建模选择与反应时(RT)分布,引入额外的信息约束,从而更准确地解耦RL与WM过程,并以学习后的留出测试阶段作为独立的样本外验证标准。
二、研究内容与主要结论
研究人员开发了一种新的计算框架,将可微分的RLWM学习过程似然与基于似然近似网络(LAN)的决策过程替代似然相结合,实现了高效的分层贝叶斯推断。该框架被应用于255名参与者(涵盖四种诊断组)的行为数据,主要对比健康对照(HC,n=87)与精神分裂症患者(SCZ,n=67)。研究提出了PADDL(Proactive Adaptation of Decision Dynamics in Learning)模型,该模型在学习模块中并行整合RL与WM贡献,并以LBA(含崩溃边界变体)作为决策过程,同时允许决策边界随集合大小线性调整。主要结论包括:PADDL模型能准确捕捉选择与RT行为;联合建模改善了参数恢复并降低了RL学习率的估计偏差;模型揭示了个体在WM负荷增加时主动拓宽决策边界的前摄控制机制;样本外验证表明PADDL估计的RL学习率能准确预测留出测试阶段的选择,而仅选择模型则系统性高估测试准确率;在临床对比中,PADDL揭示了SCZ患者存在RL学习率降低与前摄控制缺陷,而WM衰减加快这一既往发现得到复现。
三、关键技术方法
本研究采用了以下主要技术方法:第一,分层贝叶斯参数估计,通过组级分布约束个体级参数并量化参数不确定性;第二,似然近似网络(LAN),即基于模拟训练神经网络以近似无闭式解的决策过程似然,属于模拟推断(SBI)家族;第三,端到端可微分的RLWM学习过程似然实现,使得梯度基推断方法(如哈密顿蒙特卡洛或变分推断)得以应用;第四,后验预测检验与消融实验,通过逐一移除或替换单一机制来隔离各机制对RT数据的贡献;第五,样本外验证,利用训练阶段估计的参数预测从未参与拟合的留出测试阶段的选择。样本队列来源于美国五个地点的CNTRaCS联盟(包括马里兰大学、加州大学戴维斯分校、明尼苏达大学、芝加哥大学和华盛顿大学圣路易斯分校)。
四、研究结果
PADDL模型捕捉RLWM范式中的选择与RT行为:后验预测检验显示,模型对两组参与者的选择准确率与RT均表现出良好对齐,准确率随学习进程增加而RT降低,且高集合大小下两类效应均减弱。
联合建模选择与RT更准确解耦RL与WM成分:与仅选择(softmax)模型相比,PADDL模型在经验数据与合成数据上均未出现RL学习率、WM依赖度与WM容量的高估。消融实验表明,使用仅选择模型估计的学习率会导致模拟RT下降过快,而PADDL估计的学习率能准确捕捉高集合大小下RL主导阶段的RT动态。
PADDL模型在复杂度增加下仍改善参数恢复:在合成数据参数恢复研究中,PADDL模型对所有参数(包括与仅选择模型共有的参数)的恢复均达到或优于仅选择模型,其中RL学习率的恢复改善显著。
WM负荷变化下的决策边界前摄控制:PADDL模型允许决策边界随集合大小线性变化,后验分布显示斜率参数m的94%最高密度区间(HDI)为正且不含零。静态边界模型无法捕捉早期学习阶段集合大小间的RT差异,而前摄控制机制则能准确表征该模式。崩溃边界变体(LBA Angle)的后验接近零,排除了反应性控制解释。
PADDL估计的RL预测样本外测试阶段选择:利用训练阶段估计的RL学习率计算最终Q值并预测测试阶段选择,PADDL模型的预测与经验数据紧密吻合(平均偏差=-0.0190,CI[-0.0384,-0.0001]),而仅选择模型系统性高估测试准确率(平均偏差=0.0488,CI[0.0313,0.0657])。校准分析显示PADDL的校准斜率为1.1179(CI[0.8969,1.3390]),接近理想校准,而仅选择模型斜率为0.6625(CI[0.5527,0.7722]),表明过度自信。
PADDL模型揭示临床组间WM、RL与前摄控制的差异:SCZ组WM衰减参数显著高于HC组(HDI[-0.3921,-0.1196]),复现既往发现;SCZ组RL学习率显著低于HC组(HDI[0.0009,0.0046]),这一差异在仅选择模型中不可见;SCZ组前摄决策边界调整参数m显著低于HC组(HDI[0.0049,0.0218]),表明前摄控制缺陷。RT斜率分析确认SCZ组在学习过程中RT下降更平缓,且消除组间学习率差异后该效应消失。
五、讨论与结论
讨论部分指出,本研究首次为RLWM任务提供了分层贝叶斯联合建模框架,克服了既往方法在计算成本与推断精度上的局限。前摄控制机制被解释为一种一般性的认知控制实现方式,与任务切换、前瞻记忆及主观努力研究中的决策阈值调整发现一致,其神经基础可能涉及背内侧前额叶(含前扣带回皮层)与丘脑底核的连接。SCZ患者中RL学习率的降低与纹状体多巴胺信号异常及抗精神病药物的多巴胺拮抗效应一致,可能反映奖赏预测误差信号受损。研究结论强调,对人类学习的完整理解需要超越仅关注选择结果的模型,联合建模选择与RT分布能够揭示仅凭选择数据无法察觉的认知控制机制与临床差异,为精神病理学的机制导向计算表型分析提供了可推广的方法框架。