自适应社会经济网络中的表征复杂度与协作转变
《Physica A: Statistical Mechanics and its Applications》:Representation complexity and cooperation transitions in adaptive socio-economic networks
【字体:
大
中
小
】
时间:2026年07月09日
来源:Physica A: Statistical Mechanics and its Applications 3.1
编辑推荐:
余晓|徐欣 上海对外经济贸易大学统计与数据科学学院,中国上海201620
摘要
在自适应网络中,合作行为是策略更新、链接重连以及异构信息处理相互耦合后产生的宏观现象。我们研究了状态表示复杂度如何影响由基于模仿的智能体和深度强化学习智能体构成的动态网络囚徒困境中的这种涌现
余晓|徐欣 上海对外经济贸易大学统计与数据科学学院,中国上海201620
摘要
在自适应网络中,合作行为是策略更新、链接重连以及异构信息处理相互耦合后产生的宏观现象。我们研究了状态表示复杂度如何影响由基于模仿的智能体和深度强化学习智能体构成的动态网络囚徒困境中的这种涌现行为。该模型将内在的连接形成与断裂机制与三种不同的表示方式相结合,从低维局部摘要到基于图神经网络的结构表示。通过9×3×3的全因子设计以及810次蒙特卡洛模拟,我们改变了学习智能体的比例、状态表示复杂度以及收益环境,进而测量了稳态合作程度及宏观网络特征。研究发现了三个显著的规律:首先,学习智能体的比例增加会提升合作水平,但最终会达到饱和,呈现出类似交叉效应的非线性变化;其次,结构化表示方式能够提高稳态合作水平,但其优势具有局限性且依赖于具体情境;第三,敌对性的收益环境会增强少数学习智能体的稳定作用。相关网络特征表明存在两个结构阈值:当rDRL≈0.3时同质性达到峰值,而当rDRL≈0.63时则出现聚类现象。这些结果表明,状态表示复杂度可作为调控参数,影响自适应社会经济网络中的合作转变过程。
引言
在去中心化群体中,合作行为的出现与持续存在是统计物理学、进化博弈论以及复杂系统研究中的经典问题。在网络化的囚徒困境模型中,合作不仅是一种个体策略,也是由微观更新规则、收益噪声以及网络拓扑结构共同决定的宏观现象;从这个意义上说,整体合作水平可被视为类似序参量的可观测量[1][2][3]。自适应网络则进一步引入了反馈机制:智能体会同时改变自身的策略以及互动对象,因此支撑合作的网络结构本身也是一个不断演变的变量[4][5]。这种反馈机制在社会科学领域尤为重要,因为局部的利益追求行为可能会改变维持集体秩序的中观层面的封闭性、同质性以及连通性。
基于这一背景,我们提出了一个异构适应模型,其中基于经验的学习者与基于模仿的行为体共存。在算法市场、平台治理以及组织决策等场景中,行为体会根据积累的反馈以及观察到的同伴行为来调整自身策略。因此,我们采用深度强化学习技术来实现基于经验的适应机制,让智能体根据收益反馈不断优化策略,同时探讨这类学习者所掌握的状态信息如何影响整体合作水平及网络拓扑结构。
近年来,越来越多的研究将强化学习引入进化博弈模型,以描述那些通过经验而非仅仅依靠模仿来适应环境的智能体[6][7][8]。然而,目前大多数结合强化学习与进化博弈理论的模型仍将智能体的认知能力视为固定或低维度的输入参数,从而存在表示上的缺陷。在自适应网络中,智能体所能获取的信息本身就是生成宏观结构的微观规则的一部分。无论是邻居合作的标量总结、收益与信任信号的向量表示,还是基于图神经网络的地方拓扑结构表示,即便收益、网络规则以及群体规模保持不变,也可能会引发不同的动态演化路径。因此,我们探讨状态表示复杂度——即学习智能体所使用的马尔可夫状态的精细程度与结构精确度——如何作为调控合作转变的参数。
为了解答这一问题,我们构建了一个基于智能体的模型,将该模型与动态网络进化博弈以及深度强化学习相结合。该模型中的群体由深度强化学习智能体与基于模仿的智能体组成。网络通过连接的形成与断裂实现内在演化,而智能体则会在当前网络结构上不断进行成对的囚徒困境博弈。我们以整体合作率作为主要的宏观响应变量,同时监测三个宏观结构特征:平均度、聚类系数以及智能体类型间的同质性。
在模拟过程中,我们设置了三个控制维度:(1)学习智能体比例rDRL,即群体中深度强化学习智能体的密度;(2)状态表示复杂度SRC,即马尔可夫状态的精确度,范围从局部摘要特征到基于图神经网络的结构表示;(3)收益环境PE,即收益分布情况,包括良性、敌对以及混乱三种类型。
本研究的主要贡献在于揭示了表示方式如何影响合作行为及网络结构的相变式演化规律。首先,我们发现适应性智能会带来结构性成本:在高比例学习智能体的环境下,虽然收益驱动的连接重连有助于提升合作水平,但同时也会削弱网络的局部封闭性。其次,我们发现了表示方式与智能体密度之间的非完全线性关系:高精度的结构化表示确实能提高稳态合作水平,但在补充分析中发现,其优势具有情境依赖性,而在深度强化学习智能体密度较高、行为趋于同质化的情况下,这一优势会减弱。第三,我们发现了环境因素的缓冲作用:在敌对性的收益环境下,少数深度强化学习智能体能够发挥更强的稳定作用。综上所述,这些机制将微观的表示规则与自适应社会经济网络中的宏观现象联系了起来。
本文的其余部分结构如下:第2节回顾了与合作行为、自适应网络、进化博弈中的强化学习以及基于智能体的模型中的表示复杂度相关的统计物理学方法;第3节介绍了动态网络进化博弈模型以及学习架构;第4节详细描述了模拟设计及参数设置;第5节分析了状态表示复杂度、学习智能体密度以及收益环境如何共同影响稳态合作水平及网络结构特征;第6节总结了各项机制、主要研究结果以及未来的研究方向。
相关工作
我们将相关文献分为四个类别:合作的统计物理学研究、自适应与演化网络、进化博弈中的强化学习,以及基于智能体的模型中的表示复杂度研究。对这些研究的综合分析促使我们关注表示规则这一微观机制,因为它能够影响宏观层面的合作行为与网络结构。
模型与方法
我们开发了一个多智能体模拟模型,将该模型与进化博弈理论以及深度强化学习相结合,用于研究自适应网络中的合作现象。该模型的博弈论部分与演化网络部分主要参考了Hanaki等人的研究[14]。该系统由N个嵌入在不断演变的图G(V,E)中的异构智能体构成。在每个离散时间步t中,智能体依次执行以下操作:(1)相互交互并获得收益;(2)调整彼此之间的连接关系;(3)更新自身策略。因此,整个群体的状态是由策略向量共同决定的。
模拟设计
我们采用了9×3×3的全因子设计,通过三个控制维度来量化学习智能体密度、状态表示复杂度以及收益环境——以及它们之间的相互作用——如何共同影响稳态合作水平及网络结构:(1)深度强化学习智能体比例rDRL,共有9个等级,范围从0.1到0.9,间隔为0.1,以此捕捉非线性及类似交叉效应的变化趋势;(2)状态表示复杂度SRC,共有三个等级(见3.3节):SRC1(简单型)、SRC2(社会型)以及SRC3(结构型);(3)收益环境PE,也有三个等级。
图4展示了不同状态表示复杂度、收益环境以及深度强化学习智能体比例下的稳态合作水平。图中不同的斜率表明rDRL并非简单的线性参数,其影响程度取决于表示方式以及收益环境。表5给出了回归分析的结果(β表示系数),我们从中发现了三种显著规律:首先,rDRL的一阶系数为正且数值较大(β=4.080),这说明初始阶段增加深度强化学习智能体的比例可以显著提升合作水平。
结论
我们构建了一个动态网络进化博弈模型,其中基于模仿的智能体与深度强化学习智能体会共同演化各自的策略以及网络连接关系。我们为深度强化学习智能体设计了三种不同的状态表示复杂度,并在全因子模拟设计中改变了深度强化学习智能体的密度以及收益环境。通过测量整体合作水平以及平均度、聚类系数和同质性等指标,我们将微观的表示规则与适应机制与自适应社会经济网络中的宏观合作行为及网络结构联系了起来。
CRediT作者贡献说明
余晓:撰写原始稿件、可视化分析、结果验证、研究监督、项目管理、方法设计、实验研究、数据整理、概念构思。徐欣:可视化分析、资源协调、项目管理、方法设计、实验研究、概念构思。
关于手稿准备过程中生成式人工智能及人工智能辅助技术的声明
在撰写本手稿的过程中,作者们使用了大型语言模型来提升文本的语言表达质量与可读性。在使用这些工具之后,作者们对内容进行了必要的审核与修改,并对最终发表的文章内容承担全部责任。
利益冲突声明
作者们声明,他们不存在任何可能影响本文研究结果的已知财务利益或个人关系。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号