基于强化学习的卫星下行链路无模型鲁棒波束成形技术研究

《IEEE Open Journal of the Communications Society》:Model-Free Robust Beamforming in Satellite Downlink Using Reinforcement Learning

【字体: 大 中 小 】 时间:2025年12月16日 来源:IEEE Open Journal of the Communications Society 6.1

编辑推荐:

  本文针对卫星通信中因信道状态信息(CSIT)不完美导致的波束成形性能下降问题,提出了一种基于强化学习(RL)的鲁棒预编码算法。研究人员通过改进Soft Actor-Critic(SAC)算法,使其适用于单星和协作多星场景下的波束成形优化。结果表明,该学习算法在不同CSIT误差模型下均能实现优于传统MMSE和SLNR预编码器的和速率性能,展现出卓越的环境适应性和鲁棒性。这项研究为6G非地面网络(NTN)中的动态资源分配提供了创新解决方案。

  
随着6G通信技术的快速发展,卫星通信正成为未来网络架构中不可或缺的组成部分。低地球轨道(LEO)卫星以其传输延迟低、建设成本相对较低的优势,在实现全球无缝覆盖方面展现出巨大潜力。然而,卫星通信系统面临着严峻的频谱资源挑战。为了提高频谱效率,空间分多址(SDMA)技术通过波束成形实现频率复用,允许卫星在同一频率上同时服务多个空间分离的用户。
但现实情况是,卫星通信系统的性能高度依赖于准确的信道状态信息(CSIT)。在快速移动的LEO卫星场景中,基于用户位置信息获取的CSIT往往存在误差,这些误差可能来源于用户定位不准确、卫星同步失配或信息传输延迟等因素。传统预编码算法如最小均方误差(MMSE)在完美CSIT条件下表现良好,但在存在CSIT误差时性能会急剧下降。虽然学术界已提出一些鲁棒预编码设计方法,但这些方法通常需要对优化问题进行简化或放松,且缺乏对不同场景的适应能力。
在这项发表于《IEEE Open Journal of the Communications Society》的研究中,Alea Schroder等研究人员探索了一种全新的解决思路——利用强化学习(RL)直接从数据中推导出鲁棒预编码算法,避免了复杂且可能不准确的数学模型建立过程。
研究人员采用Soft Actor-Critic(SAC)这一先进的强化学习算法,并对其进行了针对性改进,使其适用于卫星下行链路的波束成形问题。该方法的核心思想是让学习代理通过试错过程不断优化预编码策略:在给定CSIT估计值的情况下选择预编码矩阵,然后根据实现的和速率(即奖励信号)调整后续决策。这种数据驱动的方法不依赖于预定义的数学模型或标记数据集,能够灵活适应各种通信场景。
为了开展这项研究,团队主要采用了以下几个关键技术方法:首先设计了包含单星和多星协作的卫星通信系统模型,考虑了两种CSIT误差模型(用户位置误差和相位误差)以及三种局部信息模型(完全局部、有限信息1和有限信息2);然后改进了SAC算法,增加了输入标准化、批归一化和权重惩罚等机制以提升学习稳定性;最后通过大量数值仿真对比了学习算法与传统方法的性能差异,并分析了学习算法实现鲁棒性的内在机制。
系统模型与问题表述
研究建立了一个多维度的卫星下行链路模型,包括M颗LEO卫星协作向K个地面用户传输信号。每颗卫星配备N个天线的均匀线性阵列(ULA),用户设备为单天线手持终端。信道模型考虑自由空间路径损耗、大尺度衰落和由天线阵列几何结构决定的导向矢量。预编码矩阵W的设计目标是最大化系统和速率,同时满足卫星功率约束。该问题在存在CSIT误差时属于NP难问题。
强化学习预编码器设计
研究人员将预编码问题建模为马尔可夫决策过程(MDP),其中状态为估计的CSIT,动作为预编码矩阵,奖励为实现的和速率。关键创新点包括:将复数CSIT分解为幅度和相位信息作为神经网络输入;设计演员-评论家网络结构,其中演员网络输出预编码矩阵,评论家网络评估动作价值;采用经验回放缓冲区提高样本效率;以及针对卫星通信特点调整学习频率和正则化策略。
性能评估与结果分析
在单星场景下,当用户间距较大(dK=100km)时,学习算法与专门设计的鲁棒SLNR预编码器性能相当,但显著优于传统MMSE预编码器。更重要的是,在用户间距较小(dK=10km)的不利场景下,学习算法通过智能功率分配策略实现了比两种基准算法高约20%的和速率。
在多星协作场景中,学习算法同样展现出优越性能。即使在各卫星仅具有局部CSIT信息的分布式预编码情况下,学习算法仍能保持较高的和速率,而传统MMSE预编码器性能显著下降。
在混合误差模型测试中,当同时存在位置误差和相位误差时,学习算法表现出更强的鲁棒性,而两种基准算法由于超出其设计假设范围,性能急剧恶化。
算法机制分析
通过分析学习算法的神经网络权重,研究人员发现算法自动学会了将更多功率分配给受误差影响较小的中央天线元素,这与专门设计的鲁棒SLNR预编码器的策略相似。此外,算法还学会了在用户信道高度相关时优先服务边缘用户的功率分配策略,这是传统预编码器难以实现的智能行为。
计算复杂度比较
在实际运行效率方面,学习算法的计算时间与MMSE预编码器相当,远低于复杂的SLNR预编码器。经过压缩后,学习算法的神经网络模型仅需1.4MiB存储空间,适合在卫星硬件上部署。
研究结论表明,强化学习方法能够有效解决卫星通信中因CSIT不完美导致的波束成形性能优化问题。与传统模型驱动方法相比,数据驱动的学习算法具有三大优势:一是无需精确的系统数学模型,避免了数学难解性问题;二是能够自动适应各种通信场景和误差条件,表现出卓越的灵活性;三是所有学习算法共享相同的神经网络架构,只需更换参数即可适应不同需求,极大提高了实用性。
尽管当前深度学习方法的收敛性和可控性仍是开放性问题,可能导致学习算法无法在训练点达到完美性能,但这项研究证明了强化学习在卫星通信资源管理中的巨大潜力。随着专用AI芯片在卫星平台上的普及,这种学习驱动的波束成形技术有望成为未来6G非地面网络(NTN)的关键使能技术之一,为实现高效、智能的天地一体化通信网络奠定基础。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号