《PLOS Computational Biology》:Context-dependent feature modulation shapes human decision policies in approach–avoidance conflicts
编辑推荐:
摘要:顺序决策通常涉及即时奖励与未来风险之间的权衡,尤其是在趋近-回避情境中。尽管此类行为通常被置于优化原则的框架下理解,但决策过程如何在不同情境中适应仍不清楚。研究人员开发了一项顺序觅食任务,参与者在概率性奖励和捕食风险(威胁)下做出二元选择。该设计将奖励概
摘要:顺序决策通常涉及即时奖励与未来风险之间的权衡,尤其是在趋近-回避情境中。尽管此类行为通常被置于优化原则的框架下理解,但决策过程如何在不同情境中适应仍不清楚。研究人员开发了一项顺序觅食任务,参与者在概率性奖励和捕食风险(威胁)下做出二元选择。该设计将奖励概率与威胁分离,并能够对决策相关特征(如奖励和威胁概率)、多特征策略以及基于完全可观测马尔可夫决策过程(Markov Decision Process, MDP)推导的数学最优策略进行正式比较。关键在于,该任务包含两种隐式信号化的条件——趋近(approach)和回避(avoidance)——它们在奖励和威胁信息如何共同塑造最优策略方面有所不同。在这两种条件下,较高的奖励概率均与较高的捕食风险相关联。然而,这些竞争因素之间的平衡在不同环境中存在差异,从而产生了最优策略要么倾向于趋近、要么倾向于回避高威胁选项的情境。研究人员采用分层贝叶斯模型(hierarchical Bayesian models)分析行为,该模型同时捕捉个体决策特征和最优行动价值(action values),以及它们受任务情境的调制作用。回避情境选择性改变了决策特征的权重,表现为对奖励概率的依赖降低。此外,即使在共享模型中考虑了启发式特征后,选择仍显示出与最优状态-行动价值(state–action values)对齐程度的增加。这表明,在回避条件下,行为更强烈地反映了环境的价值结构,与决策相关特征的整合增强相一致。这些发现表明,顺序决策中的适应性行为源于情境依赖的特征重加权(context-dependent feature reweighting),同时伴随着与整合价值信号对齐程度的增加。这为解释人类如何在威胁下调整决策提供了一种简洁的说明,无需假设离散的策略转换。
论文解读:上下文依赖的特征调制塑造人类在趋近-回避冲突中的决策策略
研究背景与科学问题
在日常生活中,人们经常需要在潜在收益与可能风险之间做出权衡,例如求职、投资或进入不确定的社会情境。这类决策往往不是孤立的,而是构成一个序列,当前的选择会影响未来的机会和状态。这种顺序决策天然地包含了趋近-回避冲突(Approach-Avoidance Conflict, AAC),即个体必须评估潜在奖励是否值得承担相关的成本或风险。然而,以往的研究存在明显的割裂:对趋近-回避冲突的研究多采用静态范式,而顺序决策模型则主要关注基于奖励的决策,很少明确纳入威胁因素。因此,一个核心的科学问题是:当环境发生变化时,人类的决策过程如何适应?具体而言,这种适应是源于对整个任务最优价值的计算,还是源于对少数几个关键决策特征权重的动态调整?
为了弥合这一鸿沟,研究人员开发了一项名为“猎人-采集者游戏”(Hunter-Gatherer Game with Predator)的顺序觅食任务。该任务的核心创新在于,它基于一个完全可观测的马尔可夫决策过程(Markov Decision Process, MDP)设计,使得研究人员能够数学上推导出理论上的最优策略作为规范基准。任务包含两种隐含的环境条件:趋近(approach)条件和回避(avoidance)条件。在这两种条件下,获得更高食物奖励的概率总是与更高的捕食者威胁相伴。但是,这两种竞争因素的平衡点不同,导致在某些环境中,最优策略是趋近高风险高回报的选项;而在另一些环境中,最优策略则是回避该选项。通过这种方式,该研究旨在回答两个关键问题:(1)趋近和回避情境是否会导致行为与最优策略的对齐程度产生差异?(2)这种差异能否通过特定决策特征(如奖励概率、威胁风险)的上下文依赖性变化来解释?
主要研究方法与技术
为探究上述问题,研究人员采用了以下关键技术方法:
- 1.
顺序觅食任务(Sequential Foraging Task):招募了29名健康参与者(来自德国海德堡大学,平均年龄23.93岁)。任务模拟了一个生存游戏,参与者需在连续8天的森林环境中维持能量水平。他们需反复在“觅食”(forage)和“等待”(wait)之间做出选择。觅食可能带来能量增益,但也面临捕食者攻击的风险;等待则确保安全但会消耗少量能量。任务参数(如食物获取概率、捕食风险)在两个天气类型中呈现,并由实验者操控以创建趋近和回避两种情境。
- 2.
马尔可夫决策过程(MDP)与最优策略计算:由于任务的所有状态和转移概率都是已知的,研究人员利用动态规划(Dynamic Programming)或逆向归纳法(backward induction)计算出每个状态下每个行动的理论最优长期价值(即状态-行动价值,Q-value)。这个价值差(ΔQ-value)作为衡量决策难度和行为最优性的规范基准。
- 3.
分层贝叶斯建模(Hierarchical Bayesian Modeling):所有计算模型均在分层贝叶斯框架下进行估计。这种方法允许在群体层面和个体层面同时估计参数,提高了统计效率和参数估计的稳定性。模型比较采用帕累托平滑重要性抽样留一法交叉验证(PSIS-LOO)来评估预测性能。
- 4.
模型空间构建与比较:研究人员构建了一系列从简单到复杂的候选模型,包括基于单一特征(如奖励概率、威胁概率)的模型、中等复杂度的模型(如期望能量增益模型、边际价值模型),以及一个结合了多个关键特征(奖励概率、威胁概率、二元能量状态、安全时等待)的多特征策略模型。最终将这些模型与基于最优策略的ΔQ-value模型进行比较。
研究结果
2.1 任务结构与行为模式
- •
研究结果:通过对任务设计的理论分析发现,绝大多数决策都集中在价值差异适中的区域,表明任务成功地创造了有意义的权衡而非琐碎的选择。重要的是,趋近和回避情境下的理论决策难度分布高度相似,排除了任务难度差异影响后续结果的潜在混淆。此外,参与者的反应时间在两种情境下也无显著差异。
- •
研究结论:任务设计有效,确保了两种情境在基本处理需求和认知负荷上是可比的,为后续观察到的行为差异归因于情境本身提供了基础。
2.2 模型推断
- •
研究结果:模型比较显示,多特征策略模型的预测性能最佳,显著优于所有单一特征模型和基于最优策略的ΔQ-value模型。这表明参与者的行为最好由多个任务相关特征的联合影响来解释,而非任何一个单一的变量。
- •
研究结论:在统一的层次模型中,研究人员发现行为受到多种决策特征的塑造,包括奖励概率、威胁概率、二元能量状态和安全时等待特征。最关键的是,情境(条件)并未导致整体响应倾向的改变(无显著的主效应),而是选择性地调节了特定特征的权重。具体而言,在回避情境下,奖励概率对选择的影响显著减弱,而行为与最优策略价值差(ΔQ-value)的对齐程度却显著增加。这种对齐度的增加在控制了其他特征后仍然存在,表明其捕捉到了超越单个特征组合的额外信息。
- •
研究结论:行为适应并非源于全局性的策略切换,而是源于情境依赖的特征重加权。在回避情境下,个体减少了对奖励信息的依赖,同时增强了对整个任务价值结构的整合。
2.3 模型恢复分析
- •
研究结果:通过从拟合好的模型中生成合成数据并进行反向拟合,确认了所有候选模型都具有很高的可区分性和可恢复性。特别是,多特征策略模型和ΔQ-value模型表现出完美的恢复率。
- •
研究结论:实证研究中观察到的多特征策略模型的优越性是可靠的,并非由于模型间的混淆或重叠所致。
讨论与结论
本研究系统地探讨了人类在顺序趋近-回避冲突中的决策适应机制。研究结论明确指出,适应性行为并非源于离散的策略切换(如从特征基策略切换到价值基策略),而是源于一种更为连续和灵活的机制:上下文依赖的特征重加权。这意味着,面对不同的环境需求,个体并不会彻底改变其决策方式,而是调整对同一套决策相关信息(如奖励概率、威胁风险等)的重视程度。
在回避情境下,由于奖励概率不再是可靠的行动指南,个体下调了对其的依赖,转而更多地依靠对任务长远价值(由最优策略反映)的综合判断。这导致了行为与最优策略的更高一致性。该发现挑战了传统的二分法观点,支持了一种资源理性的视角:复杂乃至近乎最优的行为可以通过调整少量参数化的简单策略来实现,而无需进行穷举式的价值计算。这种行为灵活性为理解人类在面对威胁时的决策提供了新的、更简洁的解释框架,并为未来探索其背后的神经机制以及在更广泛人群和任务结构中的普适性指明了方向。