具有注意力增强型协作评估器的邻域感知交通信号控制

《Neurocomputing》:Neighbor-aware traffic signal control with an attention-enhanced cooperative critic

【字体: 大 中 小 】 时间:2026年07月08日 来源:Neurocomputing 6.7

编辑推荐:

  谭晓雪|周永华|梅一多|薛宏毅 中国北京100044,北京交通大学自动化与智能学院 摘要 随着城市交通网络的快速发展,信号化交叉口之间的相互作用日益复杂,这可能破坏控制策略的稳定性并降低整个网络的整体效率。为改善多交叉口间的协调性并更好地利用交通状态信息,本研究提出了一种多智能体

  谭晓雪|周永华|梅一多|薛宏毅 中国北京100044,北京交通大学自动化与智能学院 摘要 随着城市交通网络的快速发展,信号化交叉口之间的相互作用日益复杂,这可能破坏控制策略的稳定性并降低整个网络的整体效率。为改善多交叉口间的协调性并更好地利用交通状态信息,本研究提出了一种多智能体协同控制框架——注意力-批评家近端策略优化(Attention-Critic PPO)。该方法在价值评估过程中引入了邻居注意力机制,使批评家能够有选择地聚合相邻交叉口的有用特征,从而捕捉交通环境中的细微依赖关系。同时,基于邻居感知的协作批评家与去中心化智能体架构(NCC-DA)能够在选择性整合共享上下文信息的同时实现自主的局部控制。在多种交通场景下的仿真结果表明,所提出的框架在平均延迟、车辆速度以及协作稳定性方面均优于传统算法,证明了其在交通信号优化方面的有效性与鲁棒性。引言 随着城市化进程的加快和城市密度的增加,交通拥堵已成为可持续城市发展的主要障碍。高效的交通信号控制对于提升网络效率、减少交通延误而言,在智能交通系统中起着至关重要的作用。然而,传统的固定时间、基于规则或反应式的控制方法往往难以应对高度动态且多方向的交通流,尤其是在复杂的城市网络中。深度强化学习(DRL)因其出色的序列决策能力和自适应优化优势,近年来在交通信号控制领域受到了广泛关注[1]。与传统方法不同,DRL通过与环境互动不断优化策略,从而能够在不同的交通条件下学习到最优的时序策略。在多交叉口场景中,多智能体强化学习(MARL)进一步拓展了这一能力,它将每个交叉口视为一个独立或协同学习的智能体,以提升网络层面的性能。尽管取得了这些进展,基于MARL的交通控制方法仍面临诸多挑战。在密集的城市网络中,不同交叉口的交通流存在强烈的空间耦合效应,仅依靠局部决策已不足以解决问题。准确建模相邻交叉口之间的动态依赖关系仍是实现有效协调的关键难点。此外,DRL方法在复杂环境中往往存在收敛缓慢和训练不稳定的问题,限制了其应用规模。因此,迫切需要一种能够高效整合智能体间信息、同时保持学习稳定性的策略优化框架,以实现大规模城市道路网络中的自适应协同控制。为解决这些难题,我们提出了一种用于交通信号控制的多智能体深度强化学习框架——注意力-批评家近端策略优化(Attention-Critic PPO)。该框架引入了一个带有邻居注意力机制的价值网络,能够自适应地聚合相邻交叉口的状态信息,从而更准确地建模交叉口间的动态依赖关系,并提升每个智能体的情境感知能力。为进一步提升协调性和学习效率,我们采用了基于邻居感知的协作批评家与去中心化智能体架构(NCC-DA),该架构在保持分布式决策可扩展性的同时,能够稳定训练过程并加速收敛。本研究的主要贡献如下:•注意力增强的价值评估:我们设计了一个带有邻居注意力机制的价值网络,该机制能够有选择地强调那些具有影响力的相邻交叉口。这一框架有助于更准确地建模交叉口间的依赖关系,同时也提升了批评家捕捉空间相关交通动态的能力。•基于邻居感知的协作学习策略:我们开发了一种协作学习策略,通过一个共享的批评家在训练过程中整合本地化上下文信息,从而使智能体的策略实现隐性对齐。这种方法无需依赖完全集中的全局状态信息,即可增强智能体间的协调性并提高协作稳定性。本文的其余部分结构如下:第2节介绍相关领域的现有研究现状;第3节阐述基于DRL的交通环境建模方法;第4节详细说明所提出的框架与算法;第5节进行了一系列仿真实验并分析结果;第6节总结研究成果并指出未来的研究方向。相关工作 交通系统具有很强的动态性和不确定性,不同交叉口之间的流量相互作用受道路几何形状、交通密度、信号时序等因素的影响。这些因素的固有变异性和不确定性限制了传统独立信号控制方法的效果,从而导致整体性能不佳和交通效率下降。随着深度强化学习的快速发展,多智能体交通信号控制成为研究热点。状态空间 在道路网络中,每个交叉口都被视为一个独立的智能体[37]。对于某个智能体而言,其状态空间如图1所示,由两个部分组成。第一部分是一维状态,包括交通信号状态和车道排队信息。在时间t时的一维状态定义为:其中,表示该智能体当前的信号相位,以维度为一的热向量形式表示(其中为信号相位的数量)。例如,[0,0,0,1]表示某种信号相位。PPO算法 在单智能体强化学习中,控制环境通常被建模为马尔可夫决策过程(MDP),表现为一个元组。在多智能体系统中,智能体往往对环境的观测能力有限,因此需要将其扩展为部分可观测马尔可夫决策过程(POMDP)。联合决策过程可以表示为,其中为智能体集合,为全局状态空间,而对于每个智能体,、和分别表示其观测空间、动作空间和动作。环境 为评估所提方法的有效性,我们在开源平台SUMO(城市交通模拟)上构建了一个多智能体交通信号控制环境。SUMO是一种高精度的微观交通模拟器,能够对城市道路网络、交通流以及信号控制策略进行详细建模。由于其灵活性和真实性,它已被广泛应用于智能交通系统和交通控制优化的研究中。我们构建了两个……结论 本研究通过引入带有注意力机制的MARL框架——注意力-批评家PPO,解决了MA-TSC中协同优化和邻居交互建模方面的难题。该框架采用NCC-DA架构,智能体通过去中心化的策略独立做出决策,而批评家则通过选择性整合共享的邻居信息来提升价值评估的准确性。在模型层面,多头自注意力机制……CRediT作者贡献声明 谭晓雪:撰写——初稿、方法论、研究实施、资金获取、正式分析。周永华:撰写——审阅与编辑、资源保障、资金获取、概念构思。梅一多:研究实施、概念构思。薛宏毅:资金获取、概念构思。利益冲突声明 作者声明没有已知的财务利益或个人关系可能影响本文的研究成果。致谢 本项目得到了国家自然科学基金[项目编号62373037]、中央高校基本科研业务费[项目编号2024YJS009]以及中国铁道科学研究院集团有限责任公司青年项目[项目编号2025TH03]的支持。谭晓雪于2021年在中国北京北京建筑大学获得自动化专业学士学位,目前她正在中国北京北京交通大学攻读博士学位。她的研究兴趣包括交通流预测、深度强化学习以及交通信号控制。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号