基于强化学习的动态频谱分配:实现高效认知无线电网络管理

《Computer Networks》:Reinforcement Learning-Based Dynamic Spectrum Allocation for Efficient Cognitive Radio Network Management

【字体: 大 中 小 】 时间:2026年03月21日 来源:Computer Networks 4.6

编辑推荐:

  针对认知无线电网络(CRN)中存在的动态交通、感知不完整、QoS严格、多智能体协作开销大、能耗受限及抗干扰能力弱等问题,提出基于强化学习的动态频谱分配(RL-DSA)框架。该框架通过图网络预测空闲频谱、分层多智能体控制实现快速功率调整、约束强化学习平衡能效,结合对抗训练和联邦元强化学习提升稳定性,数字孪生用于政策测试与可解释性,实验验证其有效降低碰撞概率、能耗,支持SDG 9可持续通信基础设施。

  
P. Venkatesan | N. Kumaratharan
电子与通信工程系,斯里文卡特斯瓦拉工程学院(自治),Pennalur,Sriperumbudur,泰米尔纳德邦,印度,邮政编码602117

摘要

认知无线电网络(CRNs)可以解决频谱稀缺问题,但在实际应用中仍面临诸多挑战,例如严重的动态流量、不完整且不可靠的频谱感知、严格的服务质量(QoS)/超低延迟通信(URLLC)要求、多智能体协作带来的开销、不同用户之间的公平性限制、物联网(IoT)边缘的能源约束,以及在密集的5G-Advanced/6G环境和RIS辅助环境中的干扰与对抗性脆弱性。为了解决这些问题,本文提出了基于强化学习(Reinforcement Learning, RL)的动态频谱分配(Dynamic Spectrum Allocation, RL-DSA)框架,用于控制、预测并确保CRN管理的安全性。首先,分层多智能体RL控制器从基于图网络的占用预测器获取上下文信息。多智能体控制器执行快速功率调整,以帮助实现长期目标。在分析过程中,结合了受限RL(Constrained RL)来平衡能源 trade-offs。随后,应用对抗性训练和联邦元强化学习(Federated Meta-RL)通过调度减少误差并稳定学习过程。最后,使用RL数字孪生(RL Digital Twins)进行策略压力测试,并通过注意力图(Attention Map)提高可解释性,从而在CRN拓扑中分配资源时确保信任。该框架的有效性通过实验结果进行评估,包括碰撞概率、能源效率和频谱效率。这些有效结果为下一代CRNs的DSA调控提供了路径。所提出的基于强化学习的动态频谱分配(RL-DSA)框架提高了频谱效率,并支持了鲁棒的认知无线电网络管理,从而为实现可持续发展目标9(产业、创新和基础设施)做出了贡献。

章节摘录

背景分析

由于分配静态频谱的政策僵化且效率低下,对无线服务需求的增加正在加剧频谱资源的紧张状况[1]。动态频谱接入(Dynamic Spectrum Access, DSA)[2]允许未经许可的次级用户[SUi]动态访问未充分利用的许可频段,前提是他们不会对主要用户[(PUi)造成有害干扰[3],从而改变现有不平衡。高效CRN管理的挑战[4]凸显了对此类机制的需求。

系统模型

假设认知无线电网络包含多个主要用户[]和次级用户[,其中具有许可的主要用户可以在专用频谱频道上运行,而次级用户[]可以在不影响主要用户的情况下访问空闲频谱。可用频谱[被划分为M个正交频道CC1, C2, …, CM,每个频道被标记为“繁忙”或“空闲”。因此,在时间点t,频道的状态可以表示为Om1如果

基于强化学习的动态频谱分配(RL-DSA)框架

该RL-DSA框架的主要目标是解决认知网络中的多目标优化问题,考虑了对抗性脆弱性、能源约束和不确定性因素。通过集成图网络基础的占用预测器、分层多智能体学习控制器和数字孪生环境等不同层次的过程,提高了整体动态频谱分配效率。

结果与讨论

本节评估了RL-DSA框架在应对感知不确定性、动态流量、多智能体开销、服务质量要求、能源消耗、公平性和鲁棒性方面的有效性。仿真环境建立在定制的OpenAI Gym平台上,该平台连接了一个网络模拟器,模拟了包含10个主要用户[频道和15个异构次级用户[(包括高功率设备和能源受限设备)的动态无线电环境。

结论

本文通过利用图网络驱动的占用预测、多智能体RL控制器、对抗性训练和联邦RL的工作流程,提出了基于强化学习的动态频谱分配方法,有效解决了CRN中的高碰撞率和频谱稀缺问题。首先,使用图网络探索CRN环境,识别节点之间的空间和时间依赖关系。根据这些依赖关系,确定空闲频谱段的使用情况。

资金来源

本研究未获得任何公共、商业或非营利机构的特定资助。

未引用的参考文献

[24]

CRediT作者贡献声明

P. Venkatesan:撰写 – 审稿与编辑、原始稿撰写、可视化、方法论、正式分析、数据整理。N. Kumaratharan:监督、软件开发、资源管理、项目协调、正式分析、数据整理、概念构思。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号