《Computer Networks》:Reinforcement Learning-Based Dynamic Spectrum Allocation for Efficient Cognitive Radio Network Management
编辑推荐:
针对认知无线电网络(CRN)中存在的动态交通、感知不完整、QoS严格、多智能体协作开销大、能耗受限及抗干扰能力弱等问题,提出基于强化学习的动态频谱分配(RL-DSA)框架。该框架通过图网络预测空闲频谱、分层多智能体控制实现快速功率调整、约束强化学习平衡能效,结合对抗训练和联邦元强化学习提升稳定性,数字孪生用于政策测试与可解释性,实验验证其有效降低碰撞概率、能耗,支持SDG 9可持续通信基础设施。
P. Venkatesan | N. Kumaratharan
电子与通信工程系,斯里文卡特斯瓦拉工程学院(自治),Pennalur,Sriperumbudur,泰米尔纳德邦,印度,邮政编码602117
摘要
认知无线电网络(CRNs)可以解决频谱稀缺问题,但在实际应用中仍面临诸多挑战,例如严重的动态流量、不完整且不可靠的频谱感知、严格的服务质量(QoS)/超低延迟通信(URLLC)要求、多智能体协作带来的开销、不同用户之间的公平性限制、物联网(IoT)边缘的能源约束,以及在密集的5G-Advanced/6G环境和RIS辅助环境中的干扰与对抗性脆弱性。为了解决这些问题,本文提出了基于强化学习(Reinforcement Learning, RL)的动态频谱分配(Dynamic Spectrum Allocation, RL-DSA)框架,用于控制、预测并确保CRN管理的安全性。首先,分层多智能体RL控制器从基于图网络的占用预测器获取上下文信息。多智能体控制器执行快速功率调整,以帮助实现长期目标。在分析过程中,结合了受限RL(Constrained RL)来平衡能源 trade-offs。随后,应用对抗性训练和联邦元强化学习(Federated Meta-RL)通过调度减少误差并稳定学习过程。最后,使用RL数字孪生(RL Digital Twins)进行策略压力测试,并通过注意力图(Attention Map)提高可解释性,从而在CRN拓扑中分配资源时确保信任。该框架的有效性通过实验结果进行评估,包括碰撞概率、能源效率和频谱效率。这些有效结果为下一代CRNs的DSA调控提供了路径。所提出的基于强化学习的动态频谱分配(RL-DSA)框架提高了频谱效率,并支持了鲁棒的认知无线电网络管理,从而为实现可持续发展目标9(产业、创新和基础设施)做出了贡献。
章节摘录
背景分析
由于分配静态频谱的政策僵化且效率低下,对无线服务需求的增加正在加剧频谱资源的紧张状况[1]。动态频谱接入(Dynamic Spectrum Access, DSA)[2]允许未经许可的次级用户[
系统模型
假设认知无线电网络包含多个主要用户[]和次级用户[,其中具有许可的主要用户可以在专用频谱频道上运行,而次级用户[]可以在不影响主要用户的情况下访问空闲频谱。可用频谱[被划分为M个正交频道CC1, C2, …, CM,每个频道被标记为“繁忙”或“空闲”。因此,在时间点t,频道的状态可以表示为Om1如果
基于强化学习的动态频谱分配(RL-DSA)框架
该RL-DSA框架的主要目标是解决认知网络中的多目标优化问题,考虑了对抗性脆弱性、能源约束和不确定性因素。通过集成图网络基础的占用预测器、分层多智能体学习控制器和数字孪生环境等不同层次的过程,提高了整体动态频谱分配效率。
结果与讨论
本节评估了RL-DSA框架在应对感知不确定性、动态流量、多智能体开销、服务质量要求、能源消耗、公平性和鲁棒性方面的有效性。仿真环境建立在定制的OpenAI Gym平台上,该平台连接了一个网络模拟器,模拟了包含10个主要用户[频道和15个异构次级用户[(包括高功率设备和能源受限设备)的动态无线电环境。
结论
本文通过利用图网络驱动的占用预测、多智能体RL控制器、对抗性训练和联邦RL的工作流程,提出了基于强化学习的动态频谱分配方法,有效解决了CRN中的高碰撞率和频谱稀缺问题。首先,使用图网络探索CRN环境,识别节点之间的空间和时间依赖关系。根据这些依赖关系,确定空闲频谱段的使用情况。
资金来源
本研究未获得任何公共、商业或非营利机构的特定资助。
未引用的参考文献
[24]
CRediT作者贡献声明
P. Venkatesan:撰写 – 审稿与编辑、原始稿撰写、可视化、方法论、正式分析、数据整理。N. Kumaratharan:监督、软件开发、资源管理、项目协调、正式分析、数据整理、概念构思。