动态毫米波环境中基于课程增强深度强化学习与事件触发信道重估计的混合波束成形技术

《IEEE Open Journal of the Communications Society》:Joint Curriculum-Enhanced DRL and Event-Triggered Channel Re-Estimation for Hybrid Beamforming in Dynamic mmWave Environments

【字体: 大 中 小 】 时间:2025年12月11日 来源:IEEE Open Journal of the Communications Society 6.1

编辑推荐:

  本文针对动态毫米波环境中由临时阻塞引起的高开销和信道状态信息(CSI)过时问题,提出了一种联合课程学习(CL)增强的深度确定性策略梯度(TD3)和事件触发的信道重估计方法,以设计接入点(AP)和用户设备(UE)的混合波束成形。该研究通过结构化课程训练智能体学习模拟射频(RF)波束成形策略,并利用优先级经验回放(PER)提升深度强化学习(DRL)性能。结果表明,所提方法在阻塞事件后能快速恢复总频谱效率(SE),其经验均值与阻塞前相同,且总SE累积分布函数(CDF)显著优于流形优化(MO)混合波束成形,性能接近全数字解决方案。

  
在第五代(5G)及未来无线网络的发展浪潮中,用户设备(UE)在高速移动场景下对无处不在的高吞吐量连接的需求日益迫切。毫米波(mmWave)通信因其巨大的带宽潜力被视为满足这一需求的关键技术。然而,毫米波频段固有的显著传播损耗,要求使用大规模天线阵列来提供可靠的连接,这进而推动了更实用的混合模拟-数字波束成形架构的采用。
尽管混合波束成形提供了硬件高效的解决方案,但其有效性 critically 依赖于波束间的精确对准。在高速移动的毫米波环境中,由于UE位置的快速变化和突然的宏观信道变化,保持持续且快速的波束调整充满挑战。宏观变化涉及信道在线视距(LoS)、非视距(NLoS)和阻塞状态之间的一系列转换。阻塞本身的发生率很高,因为毫米波信道特性限制了信号的衍射和穿透能力。阻塞事件发生后,快速的波束重新对准需要及时准确地获取信道状态信息(CSI)。因此,一个能够在频繁阻塞和过时CSI下有效运行,同时保持实际可实施性的自适应波束跟踪框架变得至关重要。
现有技术存在诸多局限。传统的混合波束成形设计方法专注于为给定的静态信道快照优化波束成形矩阵,其静态本质难以适应高动态环境。基于多臂赌博机(MAB)或监督学习的方案虽能提高效率,但通常依赖于完美信道信息或预训练模型,在理想化假设下工作。深度强化学习(DRL)框架如深度确定性策略梯度(DDPG)或双延迟深度确定性策略梯度(TD3)虽能通过与环境交互学习自适应波束成形策略,但往往缺乏对阻塞等突发严重链路退化的专门处理机制,可能导致过早触发信道重估计,即使有价值的更新不太可能发生,从而造成高开销。其他学习范式如迁移学习(TL)和元学习试图利用先验知识加速动态环境中的学习过程,但其有效性严重依赖于训练和部署环境之间的相似性。
为了解决上述问题,并提高在高度动态和不确定环境中的鲁棒性,本研究提出了一种联合课程增强DRL和事件触发信道重估计的策略,用于混合波束成形,以最大化移动UE在毫米波通信中的总频谱效率(SE)。
本研究采用了几项关键技术方法。首先,构建了一个全面的动态毫米波信道模型,该模型不仅包含平滑的时间相关衰落(如一阶自回归(AR1)模型),还包含了突然的结构性变化,如LoS到阻塞和LoS到NLoS的转换。其次,提出了一个基于TD3的DRL智能体,负责学习模拟射频(RF)波束成形策略,而数字基带(BB)波束成形器则根据奇异值分解(SVD)和迫零(ZF)准则解析计算。第三,引入了一种正式的课程学习(CL)策略,通过从简单的LoS场景逐步过渡到包含突发结构变化的复杂情况来训练DRL智能体,并采用优先级经验回放(PER)来增强学习效率。第四,设计了一种事件触发的信道重估计机制,仅在链路恢复被检测到时才执行信道重估计,从而减少不必要的开销,并迫使智能体在可能过时的CSI下学习鲁棒的波束成形策略。
系统模型
考虑一个上行链路多用户多输入多输出(MU-MIMO)通信系统。单个AP配备有均匀线性阵列(ULA),包含NAP个天线,由NAPRF条射频链支持。每个UE配备有NUE个天线的ULA和NUERF条射频链。通信过程分为波束训练与信道估计阶段以及数据传输阶段。信道模型采用基于几何的随机模型,并融入了角动态、时间衰落相关性以及大规模结构变化(如LoS、NLoS和阻塞状态之间的转换)。
波束成形问题
研究目标是优化UE和AP的混合波束成形,以最大化高速移动UE的总SE,同时在阻塞事件后快速恢复通信链路。问题表述为在满足模拟波束成形器的单位模约束、功率归一化约束以及阻塞后链路恢复约束的前提下,最大化总SE。该问题是一个具有非凸约束的联合收发波束成形设计问题,由于其高维可行性空间,传统算法难以在动态环境中实时实现,这促使我们采用DRL方法。
提出的方法
提出的框架将混合波束成形设计解耦。DRL智能体负责RF模拟级,而BB数字波束成形则解析计算。采用CL策略,通过一系列难度递增的阶段(从静态初始化、LoS干扰管理、NLoS跟踪、NLoS干扰管理,到适应复杂信道结构、增加中断频率以及最终鲁棒性训练)来逐步训练智能体。事件触发机制通过监测接收信号强度的历史平均值,仅在检测到链路恢复时才触发信道重估计,避免在深度衰落时进行低效的重估计。
结果与讨论
训练性能显示,与基线TD3和TD3+CNN相比,提出的TD3+CL方法在课程学习阶段表现出稳定的学习模式和快速适应能力。在Sum-SE性能方面,TD3+CL在测试场景(如LoS-阻塞-NLoS-LoS信道段序列)中表现出色。即使在阻塞和NLoS阶段,TD3+CL也能快速恢复并达到较高的SE水平,其性能显著优于流形优化(MO)算法,并接近全数字(FD)波束成形的性能上限。累积分布函数(CDF)分析进一步表明,TD3+CL的Sum-SE分布优于所有其他混合波束成形基线,显示了其卓越的鲁棒性和泛化能力。在计算复杂度方面,事件触发机制显著减少了信道重估计的次数,使得联合方案的总体复杂度保持在可接受范围内。实证训练时间表明,TD3+CL与TD3框架相比,并未增加额外的学习时间开销。
结论
本研究成功提出了一种联合课程增强DRL和事件触发信道重估计的方法,用于解决快速变化的毫米波上行链路信道下的多用户混合波束成形挑战。该方法能够利用可能过时的CSI有效预测混合波束成形器,在Sum-SE性能上超越了所有混合波束成形基线,并接近FD波束成形的性能。该方法能快速恢复阻塞后的通信,保持与阻塞前相同的经验平均Sum-SE,同时避免了不必要的波束训练和信道重估计开销。所有这些优势是在不引入CL策略额外计算复杂度的情况下实现的。未来研究方向包括将所提出的CL策略与其他先进的深度学习架构结合,研究更复杂的触发函数,以及将框架扩展到多小区场景以应对小区间干扰和切换管理等挑战。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号