混合交通中匝道合流的多车辆协同决策:一种基于行为信息的强化学习方法
《Engineering Applications of Artificial Intelligence》:Multi-vehicle cooperative decision-making for ramp merging in mixed traffic: A pre-trial behavior-informed reinforcement learning approach
【字体:
大
中
小
】
时间:2025年12月30日
来源:Engineering Applications of Artificial Intelligence 8
编辑推荐:
**摘要**
在混合交通环境中,人类驾驶车辆(HDVs)的非合作行为削弱了自动驾驶车辆(AVs)做出安全和及时决策的能力。现有方法虽然能够提升单个AV的响应能力,但在存在人为不确定性的情况下,往往难以确保多个代理之间的稳健协作。为了解决这一问题,本文提出了一种基于多智能体近端
**摘要**
在混合交通环境中,人类驾驶车辆(HDVs)的非合作行为削弱了自动驾驶车辆(AVs)做出安全和及时决策的能力。现有方法虽然能够提升单个AV的响应能力,但在存在人为不确定性的情况下,往往难以确保多个代理之间的稳健协作。为了解决这一问题,本文提出了一种基于多智能体近端策略优化(MAPPO-PTBA)的框架,通过增强AV在动态混合交通环境中的协调性和决策能力来推动人工智能的发展。从工程角度来看,该框架被应用于高速公路匝道合并场景,显著提高了AV的安全性和效率。该框架基于MAPPO算法,整合了预试行为调整(PTBA)模型和多维驾驶行为评估(MDBA)模块。PTBA模型模拟探索性轨迹,并利用周围车辆的未来状态来主动过滤不安全行为,识别不同交通条件下的潜在冲突。MDBA模块从自然驾驶数据中提取操作特征,动态评估AV行为,实现一种适应性行为过滤机制,在与非合作HDVs互动时丢弃不安全行为,同时保留可行的行为。仿真结果显示,在低、中、高交通密度下,MAPPO-PTBA的成功率分别为100%、97%和94%,并且与基线相比,平均车辆速度提高了8.26%。该框架通过协调决策、预测探索和适应性安全评估显著提升了AV合并的安全性和效率。
**引言**
自动驾驶作为智能交通系统的核心组成部分,具有提高交通效率、驾驶安全性和能源利用的巨大潜力(Elallid等人,2025年)。随着自动驾驶车辆(AVs)在各个层面的广泛应用,AVs与人类驾驶车辆(HDVs)共存的混合交通预计将在可预见的未来成为主要的道路交通模式(Gokasar等人,2023年)。在这种环境中,HDVs通常缺乏全局感知能力和合作决策机制,其非协调行为会干扰AV的安全运行,导致交通流不稳定和安全风险增加(Gao等人,2024年;Deng等人,2025年)。这一挑战在高速公路匝道合并场景中尤为突出,因为合并车辆与主线交通之间的互动本质上是复杂的(Hu等人,2024年;Liu等人,2024年)。在这些情况下,非合作的HDV行为(如强行合并、突然减速和犹豫不决的让行)经常引发与AV的激烈冲突,可能导致连锁减速、局部拥堵甚至追尾事故(Hu等人,2023年)。因此,本文重点关注混合交通条件下的高速公路匝道合并问题。
近年来,多智能体强化学习(MARL)已成为解决混合匝道合并场景中多AV合作决策的有效方法(Yan等人,2023年;Meng等人,2024年)。MARL通过将环境建模为多智能体系统,使AV能够学习最优交互策略,从而在复杂交通场景中实现协调决策(Hang等人,2022年)。在这些方法中,多智能体近端策略优化(MAPPO)算法(Yu等人,2021年)在解决多车辆决策任务方面表现出优势。具体而言,MAPPO通过限制策略更新的范围,缓解了传统强化学习中常见的过度更新和策略不稳定问题。尽管基于MARL的算法结合了合作奖励和安全惩罚,提高了AV在混合交通中的性能,但在处理非协调的HDV行为时仍面临挑战。主要问题有两个:首先,现有MARL方法通常无法明确模拟周围车辆的未来意图和运动趋势,导致驾驶决策缺乏预见性,可能引发连锁冲突或过于保守的策略;其次,大多数MARL算法缺乏严格的安全边界约束,难以在合并过程中确保AV的安全(Fu等人,2023年)。为了解决这些问题,一些研究将轨迹预测模型整合到基于MARL的协作决策框架中。常见的预测增强方法包括时空感知模型(Zhou等人,2019年;Antonio和Maria-Dolores,2022年)、混合预测网络(HPNs)(Shi等人,2021年;Ha等人,2020年)、不确定性感知模型(Chen等人,2021年)和风险预测模型(Zhu等人,2022年;Zhuang等人,2023年)。通过将交通状态预测纳入决策过程,这些模型能够提前识别潜在风险和动态变化,通过预测周围车辆的未来状态来扩展输入状态空间,减少因预见性不足导致的短视决策。此外,一些方法在MARL框架中引入了安全模块以提高可靠性。例如,异构簇安全算法(Valiente等人,2024年)通过为不同车辆类型定义不同的安全距离约束来避免碰撞;合作驾驶安全领域(Wu等人,2023年)设置虚拟安全区以防止冲突;基于运动预测的安全控制器(Yang等人,2023年)根据运动趋势评估风险并实时调整决策;安全混合动作强化学习(Toghi等人,2022年)将安全约束纳入动作选择过程;状态约束马尔可夫决策(He和Lv,2023年)通过引入状态级约束来确保遵守安全规定。这些安全模块评估每个决策步骤,通过风险评估或基于规则的约束动态过滤和优化决策输出,从而提高多车辆合作决策的安全性能。
尽管结合了预测和安全组件,现有的基于MARL的方法在快速变化的混合交通场景中仍显不足——尤其是在高速公路匝道合并等高风险情况下。虽然预测轨迹提供了一定程度的预见性,但它们通常作为被动输入特征输入到黑盒代理中,缺乏基于预测风险的明确、动作级别的决策指导或约束机制。这种结构上的差距限制了模型充分利用预测信息的能力,导致在与不确定和非合作HDV行为互动时预见性和风险意识不足。此外,当前的安全模块通常是基于规则的静态机制,无法反映人类驾驶策略的多样性和不一致性,导致AV决策过于保守或不一致。这些限制需要一个能够在动作级别明确整合预测预见性并动态适应多种HDV行为的决策框架——这正是本文所要解决的挑战。本文的主要贡献包括:
(1) 一种基于层次校正的合作决策框架,主动调整初步动作以应对混合交通中人类驾驶车辆的行为不确定性,从而降低碰撞风险并提高行为适应性;
(2) 一种基于行为预试的动作校正模型,在决策执行前模拟交通场景演变,实现基于预见性的风险信息调整,提高动态环境中的安全性和鲁棒性;
(3) 一种基于逆强化学习(IRL)的人类驾驶行为评估模块,从自然驾驶数据中提取符合安全的行为基准,引导AV做出符合人类行为和社会接受度的决策,促进人车协作和多车辆协调。
**本文结构**
第2节介绍带有预试行为调整的MAPPO优化;第3节描述基于MAPPO的匝道合并模型;第4节介绍基于预试行为的多车辆合作决策模型;第5节提供实验验证;第6节得出结论。
**框架描述**
为了解决混合匝道合并场景中自动驾驶多车辆合作决策的上述挑战,本文提出了MAPPO-PTBA——一种创新的、增强安全性的、基于预见性的MARL框架(如图1所示)。该框架的核心是整合了两个关键组件:预试行为调整(PTBA)模型和多维驾驶行为评估(MDBA)模块。这些模块主动引导、优化并迭代改进基于MAPPO的多车辆合作决策模型。
**基于MAPPO的多车辆合作决策模型**
本节介绍了多智能体近端策略优化(MAPPO)算法(Zhou等人,2019年)的基础原理,作为所提框架的理论基础。然后,开发了一种基于MAPPO的匝道合并多车辆合作决策模型,该模型具有定制的状态空间、动作空间、奖励函数和网络架构。这个基于MAPPO的模型是所提框架的基础版本,用作基准。
**基于预试行为调整的多智能体近端策略优化框架**
本节介绍了一个集成PTBA和MDBA的框架(MAPPO-PTBA)。首先,PTBA模型接收MAPPO输出的初始决策动作,并评估这些初始动作是否存在碰撞风险;接着,PTBA模型根据优先级机制依次执行预试行为,以获得多样化的未来车辆状态;最后,MDBA模型评估探索结果并选择最优动作作为车辆的最终动作。
**实验细节**
从NGSIM数据集中选择了多条原始车辆轨迹,每条轨迹持续50至70秒,然后将这些轨迹划分为50个5秒的片段,代表多种不同的驾驶场景。其中35个片段用于训练多维驾驶行为评估模型,15个片段用于测试,在测试过程中训练模型评估并选择候选轨迹,并将其与原始人类驾驶行为进行比较。
**结论**
本文提出了MAPPO-PTBA,这是一种基于预见性的、增强安全性的多车辆合作决策算法,适用于混合高速公路匝道合并场景。为了解决非合作HDV行为带来的风险,我们引入了预试行为机制和基于IRL的多维行为评估(MDBA)模块。PTBA模型主动模拟潜在的情景演变,并优先处理高风险互动,实现不安全行为的早期识别和缓解。
**作者贡献声明**
Qingsong Wei:撰写——原始草稿、软件开发、方法论、概念化;
Xianyi Xie:数据整理;
Lisheng Jin:监督;
Xin Zhao:验证、调查;
Yewei Shi:验证、调查;
Guofeng Luo:验证、调查;
Yaping Liao:撰写——审稿与编辑、资源准备。
**资助**
本研究得到了国家自然科学基金(52472440)、河北省自然科学基金(F2024203112)和中央政府引导地方科技资金(254Z0801G)的支持。
**利益冲突声明**
作者声明没有已知的竞争性财务利益或个人关系可能影响本文报告的工作。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号