《PLOS Computational Biology》:Deterministic dynamics of distributional multi-agent reinforcement learning
编辑推荐:
理解认知如何在不同情境中塑造行为,仍是众多学科面临的基本挑战。特别是对于乐观启发式(即相对于负面信息而过度看重正面信息的倾向),知识仍然零散,模型是在特定领域孤立发展起来的。研究人员在此通过推导分布化多智能体强化学习的确定性动力学,提出了一个统一的计算框架。该
理解认知如何在不同情境中塑造行为,仍是众多学科面临的基本挑战。特别是对于乐观启发式(即相对于负面信息而过度看重正面信息的倾向),知识仍然零散,模型是在特定领域孤立发展起来的。研究人员在此通过推导分布化多智能体强化学习的确定性动力学,提出了一个统一的计算框架。该方法通过有限个神经元集合离散化收益分布,这与近期有关大脑中分布性编码的实证发现一致。研究人员通过跨三个标志性领域复现已有结果来验证该框架,涵盖资源变化下的个体赌博机选择、社会协调及风险选择。除验证外,研究还揭示了乐观、收益离散化与时间贴现之间的新颖交互作用。具体而言,研究人员识别了收益离散化产生选择滞后,以及在极端参数区间产生不可逃脱的固着的条件。研究人员进一步揭示了“个体困境”:智能体倾向于次优但稳定的策略,这为不连贯选择模式提供了机制性解释。该框架联结了神经科学、心理学和集体行为,能够针对认知偏差如何在复杂环境中从个体认知传播至社会结果提出可检验的经验假设。
理解认知如何塑造行为是生物学、经济学、人工智能与可持续性科学等学科的共同挑战。强化学习(reinforcement learning, RL)为此提供了重要框架,但标准RL仅从期望收益中推导行为,难以解释人类与动物的系统性偏差。行为启发式,尤其是乐观启发式(即高估积极信息的倾向),已在个体和集体水平被广泛研究,但不同领域模型彼此孤立。分布化强化学习(distributional RL, DistRL)学习收益的完整分布,而非仅期望值;多巴胺神经元的分布性编码为此提供了神经证据。确定性RL(deterministic RL, DetRL)则通过策略平均去除随机噪声,使集体学习动力学具有解析可处理性。然而,此前尚不存在多智能体集体动力学的确定性分布化公式。研究人员因此开发了分布化多智能体强化学习的确定性动力学(deterministic distributional multi-agent RL, DDRL)。
DDRL将DistRL的分布性表示与DetRL的确定性更新相结合,通过有限个奖励神经元离散化收益谱,并将乐观启发式建模为对学习到的收益分布施加概率扭曲。研究人员在三个标志性领域进行验证:资源变化下的两臂赌博机选择、社会协调任务(猎鹿博弈)以及跨期风险选择问题。结果表明,DDRL能复现既有行为发现,并揭示乐观、收益离散化与时间贴现之间的新交互。具体而言,收益离散化可导致双稳态策略体制,甚至产生不可逃脱的固着;研究还定义了“个体困境”,即智能体被吸引到次优但稳定的策略。该框架为认知偏差从个体认知向集体结果的传播提供了可检验的机制性假设。
研究人员用到的主要关键技术方法包括:构建随机博弈(Markov game)环境以形式化多智能体交互;采用SARSA和Actor-Critic两种强化学习算法,并利用Boltzmann策略函数平衡探索与利用;通过n=29个奖励神经元对奖励和收益进行高斯平滑离散化,得到分布性表示;推导平均时序差分误差,并结合策略平均得到确定性更新动力学;通过权重方法扭曲Q收益分布实现乐观/悲观偏差。验证过程中使用了资源贫富不同的两臂赌博机、猎鹿博弈,以及包含状态依赖后果和恢复动态的跨期风险选择任务。所有仿真设置神经元数n=29,平滑宽度σ被设定为使误差最小化的值。
3.1 理论框架:研究人员推导了分布化贝尔曼方程,定义了V收益分布和Q收益分布,并给出了SARSA与Actor-Critic两种平均时序差分误差公式。采用权重方法对Q分布进行扭曲,实现乐观/悲观偏差,并证明了在双人赌博机上与不对称RL的等价性。
3.2 资源变化下的赌博机选择:在贫环境(p1=0.3, p2=0.1)和富环境(p1=0.9, p2=0.7)的两臂赌博机任务中,DDRL的最终策略与非对称RL定量吻合。贫环境中乐观(ω>1)提高选择最佳臂的概率,富环境中悲观(ω<1)更优,并存在最优偏差强度。这复现了已知的结果。
3.3 社会协调任务:在猎鹿博弈中,乐观(ω>1)的DDRL智能体从均匀随机策略收敛到相互合作,悲观(ω<1)则收敛到相互背叛,中性保持混合策略。相图显示乐观降低合作阈值,悲观提高阈值。流图显示乐观扭曲分隔线,使得从更低的初始合作水平也能达到完全合作。在囚徒困境中,乐观/悲观不改变学习动力学,智能体始终收敛到相互背叛。
3.4 跨期风险选择问题:该环境包含繁荣与退化两个状态,智能体需在低安全奖励与高风险但潜在负面后果的奖励间权衡。使用Actor-Critic智能体。结果证实乐观增加风险追求,悲观增加风险规避。当折扣因子低时,只有强烈悲观能促使安全行为;当折扣因子高时,乐观者更倾向风险策略。重要的是,研究发现双稳态策略体制:策略是否收敛取决于初始策略。非分布化Agent(连续收益期望值)没有双稳态,中性DDRL(ω=1)在某些折扣因子下也出现双稳态,说明双稳态源于收益离散化而非乐观/悲观。稳定图显示,安全策略和风险策略的稳定区域取决于权重ω与折扣因子γ的相互作用。研究还标识出“个体困境”区域:更优策略不稳定、次优策略稳定,例如在特定参数下安全策略稳定但风险策略价值更高,或反之。
讨论部分指出,DDRL的收益离散化具有生物意义,与多巴胺神经元分布性编码的实证发现一致。平滑宽度σ存在环境依赖的最优值,提示可能存在情境依赖的编码机制。该框架可用于区分乐观发生在状态-动作值水平还是时序差分误差水平,产生可检验的预测。双稳态机制为选择滞后和固着提供了解释,而个体困境则提供了不连贯选择的机制解释,可能与强迫行为等冲动-习惯交互有关。此外,该框架可应用于气候合作等复杂集体行动问题。局限性包括:难以扩展到大型状态/奖励空间、分类离散化限制精度、高斯平滑投影并非唯一选择。结论部分翻译如下:“总之,该确定性分布化多智能体强化学习框架弥合了神经奖励编码的微观约束与集体行为的宏观动力学之间的鸿沟。它提供了一个统一视角,使得从乐观、选择滞后到强迫行为和社会协调等看似分离的现象,可被理解为共同潜在机制的涌现属性。尽管研究人员承认可处理性与计算可扩展性之间的权衡,但该方法为跨学科研究提供了必要的中间地带。未来,该框架可为生成可检验假设和调查个体认知偏差如何塑造复杂现实挑战中的集体结果提供稳健的工具,最终增进对神经计算、个体选择与集体动力学之间错综复杂的相互作用的理解。”