《PLOS Computational Biology》:The successor representation in high-risk drinking and alcohol-related contexts
编辑推荐:
继代表征(successor representation, SR)是一种强化学习(reinforcement learning, RL)策略,被认为可能构成精细形式习惯行为的神经计算基础,因而被视为精神健康疾病(如成瘾)中习惯控制的候选机制。然而,用于评估人
继代表征(successor representation, SR)是一种强化学习(reinforcement learning, RL)策略,被认为可能构成精细形式习惯行为的神经计算基础,因而被视为精神健康疾病(如成瘾)中习惯控制的候选机制。然而,用于评估人类习惯行为的范式无法检测SR的使用。加之这些实验通常在疾病无关的情境中进行,这可能解释了为何成瘾中从目标导向行为向习惯行为转变的假说证据不一致。本研究测试了高风险饮酒者(n=260)相较于低风险饮酒者(n=260)是否更依赖SR或刚性目标基降维SR变体(rigid goal-based dimension-reduced SR, redSR),尤其是在酒精相关情境中。通过在虚拟酒吧或公寓情境中执行的在线多阶段决策任务,研究人员得以将(降维)SR与基于模型(model-based, MB)和无模型(model-free, MF)学习策略区分开来,方法是测试参与者对不同类型远端环境变化的适应能力。研究结果表明,一种特定类型的SR,即(降维)随机策略SR样策略,对人类行为有所贡献,但高风险饮酒者与低风险饮酒者在使用该策略方面并无差异。相反,两组参与者在酒精相关情境中对这一(降维)随机策略SR策略的依赖似乎均有所降低——转而更多地依赖无模型控制。结果显示,一种适应性、资源高效的决策策略在物质相关情境中被选择性地下调。本研究强调了在理解成瘾等精神健康疾病中的习惯性与目标导向行为时,考虑情境调节和细微决策策略的重要性。
高风险饮酒与酒精相关情境中的继代表征机制:一项多阶段决策任务的实证研究
一、研究背景与科学问题
习惯理论认为,成瘾行为最初受目标导向驱动,但随着病程发展逐渐脱离后果控制而转变为习惯化行为。然而,该理论在人类研究中的证据并不一致。研究人员指出,现有研究存在两大局限:其一,传统习惯测量范式(如结果贬值实验和偶然性降解实验)通常在与疾病无关的情境中进行,忽略了药物相关情境对行为策略的特异性影响;其二,经典的两阶段序列决策任务常将行为简化为基于模型(model-based, MB)或无模型(model-free, MF)强化学习(reinforcement learning, RL)的二分框架,忽视了介于两者之间的中间策略,如继代表征(successor representation, SR)。
SR算法位于MB和MF RL之间,兼具行为灵活性和计算效率。SR通过多步预测矩阵M表示每个状态到其后继状态的折扣未来占据概率,从而实现对奖励变化的快速适应,但在政策重评价(policy revaluation)和转换重评价(transition revaluation)条件下表现出类习惯的不灵活性。刚性目标基降维SR(rigid goal-based reduced SR, redSR)进一步压缩表征空间,仅保留目标状态的信息,理论上可模拟成瘾行为中的持续正预测误差信号。
基于上述理论缺口,本研究提出两个核心假设:(1)高风险饮酒者可能比低风险饮酒者更依赖SR或redSR策略;(2)这种策略偏好在酒精相关情境中更为显著。为验证这些假设,研究人员设计了一项包含多种重评价条件的在线多阶段决策任务,并在酒精与非酒精两种情境下进行测试。
二、研究方法概述
本研究为横断面在线实验,共招募520名饮酒者,根据酒精使用障碍识别测试(Alcohol Use Disorder Identification Test, AUDIT)评分分为高风险组(n=260)和低风险组(n=260)。每组再随机分配至酒精情境(虚拟酒吧)或非酒精情境(虚拟公寓),形成四组各130人的实验设计。任务采用改编自Momennejad等人的多阶段决策范式,包含五个条件:奖励重评价(reward revaluation)、目标状态重评价(goal-state revaluation)、政策重评价(policy revaluation)、转换重评价(transition revaluation)和控制条件(control condition)。每个条件包含学习阶段、重新学习阶段、测试阶段和评级阶段。研究通过逻辑混合效应回归分析测试阶段的路径偏好变化概率作为重评价表现的主要指标,并通过参数自助法模拟比较不同RL模型的拟合优度。
三、研究结果
1. 低风险饮酒者在非酒精情境中使用(降维)随机策略SR
研究人员发现,低风险饮酒者在非酒精情境中表现出显著的SR使用特征:奖励重评价和目标状态重评价的表现显著高于转换重评价,且政策重评价表现与奖励和目标状态重评价无显著差异,但同样显著高于转换重评价。该模式无法由标准MB、MF或混合标准MB-MF策略解释。进一步探索表明,(降维)随机策略SR模型——即在强制选择试次中建立均匀随机策略下的M矩阵并在学习阶段保持其刚性——能够复现观察到的行为模式。模型拟合和反应时间分析支持混合MF-(降维)随机策略SR是最可能的解释机制。
2. 高风险饮酒与酒精情境对策略使用的交互效应
在全样本分析中,研究人员未发现高风险饮酒者比低风险饮酒者更依赖SR或redSR的证据。然而,酒精情境显著调节了策略使用:无论在哪个饮酒风险组,参与者在酒精情境中表现出更弱的奖励、目标状态和政策重评价与转换重评价之间的对比效应,同时反应时间分析显示转换重评价条件下反应更快。参数估计表明,酒精情境下MF权重更高,提示参与者更多依赖MF控制而减少了对(降维)随机策略SR的依赖。
3. redSR特异性标记的分析
研究人员未观察到redSR特有的标记——即目标状态重评价表现低于奖励重评价——在任何组别或情境中显著存在。尽管低风险饮酒者跨情境表现出轻微的目标状态重评价劣势趋势,但该差异未达统计显著性。
四、讨论与结论
本研究的核心发现挑战了成瘾习惯理论的简单预期。研究人员指出,虽然SR和redSR具有类习惯特性,但(降维)随机策略SR本质上是一种适应性强、资源高效的表征策略,而非功能障碍的标志。高风险饮酒者并未更依赖这类策略,这与传统理论预测不符。相反,酒精相关情境促使所有参与者减少使用这种灵活策略而转向更僵化的MF控制,暗示物质相关线索可能选择性地下调了高阶认知策略的参与。
研究结论强调,理解成瘾中的习惯行为必须超越简单的目标导向vs.习惯二分法,考虑连续谱上的多种决策策略,并重视疾病相关情境的调节作用。未来研究应通过引入概率性转换和奖励、增加重新学习试次等方法进一步区分(降维)随机策略SR与不同学习率的MB策略,并探索抵抗目标达成行为对维度缩减的影响。