基于参数化深度Q网络的编队式C-V2X中考虑信息年龄的资源分配

《Internet of Things》:AoI-Aware Resource Allocation for Platoon-Based C-V2X Using Parameterized Deep Q-Networks

【字体: 大 中 小 】 时间:2026年08月28日 来源:Internet of Things 7.1

编辑推荐:

   摘要 编队式蜂窝车联网(C-V2X)网络需要高效的资源分配,以在保持及时信息交换的同时优化自动驾驶车辆操作中的能耗。信息年龄(AoI)已成为量化安全关键型车载应用中信息新鲜度的关键指标,因为过时数据可能导致灾难性后果。资源分配问题涉及多个相互竞争的优化目标:最小化路边单元通

  

摘要

编队式蜂窝车联网(C-V2X)网络需要高效的资源分配,以在保持及时信息交换的同时优化自动驾驶车辆操作中的能耗。信息年龄(AoI)已成为量化安全关键型车载应用中信息新鲜度的关键指标,因为过时数据可能导致灾难性后果。资源分配问题涉及多个相互竞争的优化目标:最小化路边单元通信的AoI、确保编队内协同感知消息(CAM)的可靠传输,以及在动态信道条件下管理功耗。现有的强化学习方法,包括基准多智能体多任务框架,依赖于传统的深度确定性策略梯度(DDPG)算法,这些算法难以应对V2X系统固有的混合动作空间结构,其中离散决策(通信模式和信道选择)必须与连续参数(发射功率)联合优化。这一局限性导致在实际部署中出现训练不稳定和次优性能。本文采用文献[1]中的参数化深度Q网络(PDQN)公式,通过协调的Actor和Critic网络自然地处理混合动作空间,实现离散和连续决策变量的联合优化。所提出的框架在块设计协议下进行评估,使用五个独立仿真种子,与涵盖九种非学习启发式(随机、轮询、预调度、基于负载、最大SINR贪心、最近RSU优先、比例公平、AoI贪心、功率感知贪心)和两种混合动作空间强化学习替代方案(混合动作DDPG和独立近端策略优化IPPO)的十一个基准进行对比。报告指标包括回合回报的均值±标准差,以及作为独立物理服务质量指标的以秒为单位的系统平均AoI均值和95百分位数、生命周期CAM比特交付分数以及平均发射功率。不同策略之间的差异通过Friedman非参数秩检验进行评估。在报告的配置下,PDQN在所有评估策略中获得了最高的平均回合回报,而IPPO在学习策略中获得了最低的平均系统AoI(1.41秒)、最低的95百分位AoI和最低的平均发射功率;DDPG(平均AoI 1.79秒)居中,PDQN(2.35秒)为三者中最高,但三种方法均将平均系统AoI相对于启发式基准降低了数倍(轮询方式下为8.15秒)。支持V2V的策略实现了13%至15%范围的CAM比特交付分数。因此,PDQN在塑形回合回报目标上表现最佳,而非在物理指标上全面优于其他策略,在物理指标上IPPO领先。

引言

自动驾驶车辆和智能交通系统的出现推动了车联网(V2X)通信的重大进展,使其成为下一代移动解决方案的基石技术。在这些发展中,基于编队的车载网络作为一种特别有前景的范式脱颖而出,通过协调车辆运动来提升交通效率、减少能耗并改善道路安全[2]。这些系统严重依赖于编队成员之间以及与路边基础设施之间协同感知消息(CAM)的及时可靠交换,使得高效资源分配成为直接影响操作安全性和系统性能的关键挑战。

在车载网络中维持信息新鲜度的重要性不容小觑,尤其是在安全关键型应用中,过时数据可能导致灾难性后果。信息年龄(AoI)已成为时间关键型通信系统中衡量信息新鲜度的基本指标[3]。与主要关注吞吐量和延迟的传统服务质量指标不同,AoI通过测量自最近一次成功接收更新以来经过的时间来捕捉信息的时效相关性。在基于编队的C-V2X网络中,低AoI确保车辆基于新鲜的情境感知做出决策,从而实现安全和高效的自动驾驶操作。

基于编队网络中的资源分配非常复杂,因为优化问题本质上是多目标的,需要同时满足多个相互冲突的目标。编队领导者需要在维持与路边单元(V2I)的及时通信以获取安全关键更新,同时确保编队内可靠通信(V2V)以实现跟随者之间的协调[4]、[5]这两方面需求之间取得平衡。这一挑战因高度移动的车辆场景而进一步加剧,在该场景中,信道条件因车辆运动、交通密度和干扰分布而动态变化。传统的集中式方法虽然在理论上是最优的,但存在可扩展性问题且信令开销过大,使其不适合实际部署[5]、[6]。

机器学习尤其是强化学习(RL)的最新进展为应对这些复杂的资源分配挑战开辟了新的途径。RL智能体通过动态环境交互学习最优策略而无需系统动态的显式模型的能力,使其特别适用于解析解往往不可行的车载网络[7]。多智能体强化学习(MARL)将这一能力扩展到分布式系统,使个体智能体能够学习协同行为以优化局部和全局目标。然而,现有车载通信中的MARL方法通常依赖整体奖励函数,可能无法充分捕捉个体编队面临的不同目标和约束。

当前方法的一个关键局限性在于其对V2X资源分配问题固有动作空间结构的处理方式。实际车载通信系统需要涉及离散选择(如通信模式选择和信道分配)和连续参数(如发射功率级别)的决策。这种混合动作空间对传统强化学习算法提出了重大挑战,因为这些算法通常设计用于纯粹离散或纯粹连续的动作域[8]。已有专门针对参数化动作的算法被开发出来以消除这种不匹配,包括文献[1]中原始的参数化深度Q网络(P-DQN)、文献[9]中避免Critic过度参数化的多遍变体,以及将近端策略优化(PPO)适配于混合离散-连续输出的混合动作策略梯度方法[10]。这些进展促使了本文所采用的具体算法选择,并构成了评估中使用的比较集。然而,车载通信中大多数现有解决方案仍试图通过离散化连续参数或独立处理离散和连续决策来应对这种复杂性,这些方法往往导致次优性能和训练不稳定。

6G网络的出现及其与人工智能技术的整合有望进一步推动车载通信的革命,使更加复杂的资源管理策略能够适应日益复杂的网络条件[11]。这些未来网络将需要能够无缝处理日益增长的通信需求复杂性,同时保持自动驾驶车辆操作所必需的可靠性和低延迟的资源分配算法。先进传感能力、边缘计算资源和智能反射面的整合将进一步扩展资源分配问题的维度,需要更复杂的优化方法。

在此背景下,开发专门用于处理混合动作空间的强化学习算法对于推进车载通信的最前沿至关重要。这些算法不仅需要优化多个相互竞争的目标,还必须维持安全关键型应用部署所必需的训练稳定性和收敛保证。以原则化方式联合优化离散和连续决策变量的能力代表了应对V2X资源分配问题实际复杂性的重要一步。

本工作针对现有AoI感知编队C-V2X文献中的三个具体空白。首先,如[12]等基准研究依赖放宽离散输出的DDPG,仅报告聚合奖励,而缺少信息新鲜度的物理级统计。其次,比较通常限于一种DRL方法和少量启发式,混合动作替代方案和更强的信道感知启发式(最大SINR、比例公平)未得到探索。第三,多种子评估及正式方差分析未得到一致报告。在此背景下,本文的贡献是一个基于PDQN[1]的AoI感知资源分配框架,具有以下特征:(i)明确报告物理级指标,包括以秒为单位的系统平均AoI和CAM及AoI奖励分量,同时报告回合回报;(ii)扩展的基准集,包含九种非学习启发式(包括领域特定的AoI贪心和功率感知贪心规则)和两种混合动作DRL替代方案(DDPG和独立PPO[13]、[14]);(iii)块设计多种子协议(五个独立种子)和Friedman非参数秩检验[15]。我们还明确说明训练阶段的集中化假设,并概述了如何仅使用局部观测进行集中训练-去中心化执行(CTDE)扩展[16]。

本文的主要贡献总结如下:

- 我们将基于编队的C-V2X网络的AoI感知资源分配公式化为混合动作多目标优化问题,联合最小化系统平均AoI、最大化CAM交付成功率并限制发射功率,同时明确分离离散的信道和模式决策与连续的功率变量。

- 我们为这一问题实例化并部署了文献[1]中的参数化深度Q网络(PDQN),提供了完整的训练管道,包括双Q网络稳定化、观测值归一化和离散分支上的ε-贪心探索,以及面向可复现性的参数表。

- 我们在块设计协议下将PDQN与十一个基准进行对比(五个独立种子):九种非学习启发式(随机、轮询、预调度、基于负载、最大SINR贪心、最近RSU优先、比例公平、AoI贪心、功率感知贪心)和两种混合动作DRL替代方案(DDPG和IPPO)。评估报告了回合回报和以秒为单位的系统平均AoI的均值±标准差,以及CAM/AoI回合总量和基于每种子排名的Friedman检验。

- 我们提供了聚焦的敏感性和压力讨论,检验奖励权重变化的影响(包括高优先级CAM模式),并解释PDQN优势缩小的条件,为未来的自适应和约束多目标公式化提供动机。

本文其余部分组织如下:第2节回顾车载通信中的DRL、多智能体协作、边缘计算下的资源分配、V2X通信和AoI的相关工作。第3节介绍系统模型、MDP公式化和PDQN架构。第4节报告参数表、多种子评估和敏感性分析。第5节总结并概述未来方向。

章节摘要

相关工作与文献综述

近年来,强化学习技术在车载通信中的整合经历了显著增长,这得益于现代交通系统日益增长的复杂性以及对自适应资源管理策略的需求。本节对现有方法进行了全面综述,突出了从传统优化方法到先进机器学习技术的演进,并指出了促使我们研究的关键空白。

方法论

我们考虑一个高速公路场景,包含多个自动驾驶车辆编队??={1,2,…,??},其中每个编队??∈??由一个编队领导者(PL)和若干跟随车辆组成。在每个时隙??∈{1,2,…,??},PL必须联合确定:1. 通信模式:车对基础设施(V2I)或车对车(V2V)。2. 从资源池??中选择子信道。3. 发射功率级别。这些决策直接影响与路边单元(RSU)交换信息的新鲜度以及

实验结果与分析

本节对本文提出的PDQN方法进行全面的实验评估,该方法用于基于编队的C-V2X网络中信息年龄感知的资源分配。我们进行了大量实验以验证混合动作空间强化学习框架相对于传统基线方法和最先进混合动作算法的有效性。实验设计涵盖了详细的神经网络架构规范、精心调整的

结论

本文提出了一个基于参数化深度Q网络(PDQN)的框架[1],用于基于编队的蜂窝车联网(C-V2X)网络中信息年龄(AoI)感知的资源分配。我们将资源分配问题公式化为一个多目标优化挑战,在高速公路上运行的多个编队中同时最小化AoI、最大化协同感知消息(CAM)交付概率并优化功耗。

核心创新

资金

本研究由沙特阿拉伯利雅得诺拉公主·阿卜杜勒阿齐兹大学研究人员支持项目(编号PNURSP2025R125)资助。

CRediT作者贡献声明

AHMEDTHAIR SHAKIR:撰写—原稿、验证、方法论、形式分析、概念化。JITSINGH MANDEEP:撰写—审阅与编辑、监督、项目管理、方法论、调查。MONIA HAMDI:撰写—审阅与编辑、可视化、资源、资金获取、形式分析。NORFADZILAH ABDULLAH:撰写—原稿、验证、监督、方法论、资金获取。

利益冲突声明

作者声明不存在可能影响本文所述工作的已知竞争性经济利益或个人关系。

AHMEDTHAIR SHAKIR | JITSINGH MANDEEP | MONIA HAMDI | NORFADZILAH ABDULLAH
马来西亚国立大学(UKM)工程与建筑环境学院电气电子与系统工程系,雪兰莪州班底,43600,马来西亚
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号