提升低地球轨道辅助无人机集成感测与通信网络中的能效公平性及信息峰值延迟问题:基于注意力机制的多智能体近端策略优化方法

《Engineering Applications of Artificial Intelligence》:Enhancing fairness in energy efficiency and peak age of information in low earth orbit-aided unmanned aerial vehicle-integrated sensing and communication networks: Attention-aided multi-agent proximal policy optimization approach

【字体: 大 中 小 】 时间:2026年07月02日 来源:Engineering Applications of Artificial Intelligence 9.0

编辑推荐:

  金澈昌|李正润 韩国忠清大学智能能源与工业系,韩国首尔东滩区赫克苏克路84号,邮编17546 摘要 将无人机集成到空天地一体化网络中,已成为实现灵活高效的集成感知与通信系统的一种极具前景的方案。然而,在此类系统中同时优化能效和信息时效公平性仍是一项重大挑战,尤其是在具有部分可观

  金澈昌|李正润 韩国忠清大学智能能源与工业系,韩国首尔东滩区赫克苏克路84号,邮编17546

摘要
将无人机集成到空天地一体化网络中,已成为实现灵活高效的集成感知与通信系统的一种极具前景的方案。然而,在此类系统中同时优化能效和信息时效公平性仍是一项重大挑战,尤其是在具有部分可观测性和动态用户环境的非正交多址网络中。本文研究了在空天地一体化网络中的无人机辅助集成感知与通信系统中,时间平均能效与信息时效公平性的联合最大化问题,构建了一个多变量优化问题,涉及无人机轨迹、波束成形向量、用户设备关联以及模式选择,同时需满足能量预算、最低感知要求、服务质量保障以及无人机移动性约束。该问题被转化为一种分散式部分可观测马尔可夫决策过程,并通过一种基于注意力机制的多智能体近似策略优化算法来解决。注意力机制旨在合理权衡不同用户设备的贡献,以应对部分可观测情况下可观测用户设备的差异。性能评估表明,所提出的A-MAPPO算法在同时优化能效和信息时效公平性方面优于包括MADDPG、传统MAPPO、多智能体动态QMIX以及梯度搜索在内的其他基准方法。此外,对时间平均能效与信息时效公平性之间权衡的分析显示,实现信息时效公平性通常比实现能效公平性更为可行。

引言
随着无线通信技术的进步,各种应用领域对关键通信性能及实时感知/监控的需求日益增加,例如虚拟环境、灾难管理以及数字制造等领域(Kalor等人,2024;Hasan等人,2024)。然而,这一发展也带来了诸多挑战,包括用户设备数量不断增加以及频谱资源日益稀缺等问题(Ning等人,2025)。近年来,集成感知与通信技术作为解决下一代无线通信中这些问题的关键方案应运而生(Zhu等人,2024)。集成感知与通信技术将感知与通信功能整合在一个系统中,使基站能够在提供高质量连接的同时实现高精度感知(X. Li等人,2025)。具体而言,通过将感知与通信功能应用于共享的频谱资源,集成感知与通信技术提升了频谱效率与能效(Meng等人,2025;He等人,2025)。

尽管集成感知与通信网络具有巨大潜力,但由于其基础设施固定,地面集成感知与通信网络仍面临诸多挑战(González-Prelcic等人,2025)。在人口密集、地形复杂或存在众多障碍物且地面海拔变化较大的地区,这些网络难以充分发挥其感知能力,从而导致无法准确定位远处目标(Meng等人,2023)。为了解决这些难题,无人机作为一种具有高机动性且能够建立强视距连接的空中集成感知与通信平台,被视为提升服务覆盖范围和感知性能的理想选择(Tang等人,2025)。此外,无人机的功能日益多样化,其在控制性能和结构完整性方面也取得了显著提升(Fikadu Assefa等人,2025;Yareshe等人,2025;Gedefaw等人,2025;Terefa等人,2025)。然而,空中集成感知与通信框架也带来了一个重要的设计挑战,即无人机平台面临着严格的能量限制,这制约了它们的通信、感知能力以及运行时长。因此,合理优化无人机辅助集成感知与通信网络中的无人机能耗至关重要。

在集成感知与通信网络中,无人机根据其运行需求会以不同的速率消耗能量,这些需求包括飞行操作、为用户设备提供服务以及发送位置辅助信息等。这种不均衡的能耗分布会导致公平性问题,因为有些无人机的能量储备会比其他无人机更快耗尽。结果,某些无人机可能需要频繁充电,而其他无人机则可能未被充分利用。这可能导致吞吐量下降、覆盖范围变差以及服务不稳定。因此,切实提升无人机之间的能效公平性十分重要。

在多无人机网络中,为了解决上述能效公平性问题,同时实现高效的资源分配和高精度感知,无人机、用户设备以及感知目标之间的协同至关重要。然而,由于电池容量和高度限制,无人机的感知与通信范围存在局限性。因此,引入低地球轨道卫星来提供协同支持,有助于提升无人机的导航能力。由于从低地球轨道卫星获取位置辅助信息会带来额外的能量消耗,无人机应仅在必要时才请求这类信息。通过将低地球轨道卫星提供的位置辅助数据与集成感知与通信功能相结合,采用这种机会主义的低地球轨道辅助模式选择策略,无人机能够以资源高效的方式最大化其感知与通信能力,进而实现更均衡的能效表现。

虽然能效及其公平性对于网络的持续运行和稳定性至关重要,但信息 freshness也是另一个重要的性能指标,因为无人机辅助的集成感知与通信服务,如目标跟踪、态势感知绘图以及协作感知等,都需要使用最新信息来进行决策。信息年龄直接反映了数据流的“新鲜度”(Kaul等人,2012),因此它与能效一起构成了重要的设计目标。此外,在无人机辅助的集成感知与通信系统中,峰值信息年龄尤为重要,因为它能够反映在更新之前最严重的信息陈旧问题,而平均信息年龄则无法体现这一点。与平均信息年龄相比,后者可能在某些情况下显得较低,但却可能掩盖由于移动性、遮挡或感知与通信竞争导致的罕见但持续时间较长的信息更新间隔,而峰值信息年龄则能够揭示那些真正导致安全与控制问题的中断情况,因此在无人机辅助的集成感知与通信网络中,它是一个更有意义的指标。从公平性角度来看,有偏的轨迹规划、调度或资源分配可能会提高某些用户或任务的峰值信息年龄,从而导致服务质量不均以及安全风险。因此,设计时应考虑峰值信息年龄公平性,以确保所有用户和任务都能获得同等程度的信息新鲜度。

在本节中,我们回顾了一些关于集成感知与通信技术以及在基于无人机的网络中的发展成果。Jing等人(2024)研究了多无人机集成感知与通信网络,其中无人机同时承担通信和雷达功能,研究目的是优化无人机的轨迹和带宽分配。他们采用了归一化加权优化方法和多阶段设计方法,得到了局部最优解。研究结果表明,在实际运行的集成感知与通信系统中,性能与能耗之间的权衡对无人机的飞行模式有着重要影响。相应地,Jing等人(2024)还尝试协调飞行路径设计与频谱分配,以在能量限制条件下实现最大效率,但他们使用的能耗模型较为简单。Hazarika和Rahmati(2024)的研究则侧重于通过优化带宽管理和感知能力来提升无人机的响应速度,但这种方法需要较高的计算资源。Jiang等人(2021)提出了一种基于扩展卡尔曼滤波的集成感知与通信方法,通过“识别友军或敌军”技术实现雷达感知与数据传输的同步,从而降低延迟并提高目标识别精度。

近年来,无人机技术在控制系统、通信架构以及自主运行方面都取得了快速发展。Fikadu Assefa等人(2025)和Yareshe等人(2025)分别提出了基于自适应神经模糊推理系统的滑模控制控制器,用于四旋翼和固定翼无人机,这些控制器在动态条件下显著提升了轨迹跟踪的精度和系统稳定性。Gedefaw等人(2025)的综述指出,结合自适应机制和学习型算法的混合策略是实现可扩展无人机控制的最佳途径。在提升空气动力效率方面,Terefa等人(2025)证明,在小型风力涡轮机中,混合翼型叶片配置相比传统的单翼型设计具有更高的功率系数。在自主控制方面,Adde等人(2026)结合了粒子群优化、强化学习以及滑模控制技术,实现了在轨道上捕获目标时的亚度数级跟踪精度。最后,Delelew等人(2026)提出了一种基于强化学习的模型预测控制架构,用于潜艇推进电机,与传统的模型预测控制相比,该架构显著降低了谐波失真和稳定时间。

Zhu等人(2023)和Xu等人(2023)提出的信息新鲜度优化框架利用无人机轨迹设计和资源管理来降低信息年龄,但并未考虑无人机的能效问题。Liu等人(2023)提出了一种用于地面用户设备检测和数据中继的无人机集成感知与通信框架,他们以雷达互信息作为感知性能的衡量指标,并构建了一个兼顾能效与最低雷达互信息的公平性优化问题。

在公平性优化方面,Liu等人(2023)的研究致力于解决多标准资源分配问题,目标是同时优化能效和最低雷达互信息。虽然Liu等人(2023)考虑了无人机集成感知与通信系统中的能效和感知公平性,但他们所定义的感知公平性是通过每个用户的最低雷达互信息约束来体现的,而非基于具体的公平性指标。更重要的是,Liu等人(2023)没有考虑信息新鲜度问题,这使得信息时效这一重要性能指标完全没有得到关注。Samir等人(2020)研究了无人机辅助的物联网网络,其目标是降低所有物联网设备的预期加权信息年龄总和。Messaoudi等人(2024)则通过利用无人机作为数据收集器和无线电力传输器,并在需要时部署地面车辆为无人机充电,来解决物联网设备的能耗限制问题。

表1对比了现有研究在能效、信息年龄/信息时效、公平性、强化学习/多智能体深度强化学习以及注意力机制等方面的进展情况。Rizwan等人(2025)以及Saif等人在2024年、2023b年和2023a年的研究虽然考虑了能效问题,但却忽视了信息年龄以及正式的公平性概念;Jing等人(2024)和Liu等人(2023)则只考虑了能效问题,而没有涉及公平性;Zhu等人(2023)和Xu等人(2023)则专注于降低信息年龄,但未考虑能效或公平性;Qin等人(2023)则采用了强化学习技术,但未设定公平性目标。而本研究则是首次运用基于注意力机制的强化学习框架,在空天地一体化网络支持的多无人机集成感知与通信网络中,同时最大化能效和信息时效的Jain公平性。

多无人机集成感知与通信网络面临的主要挑战在于能效与信息时效之间的固有权衡。为了保持较低的传输延迟,往往需要无人机频繁调整位置并提高功耗以维持连接,而过度节省能量则可能会降低服务质量和信息新鲜度。除此之外,由于这两项指标之间存在矛盾,要确保它们之间的公平性也同样具有挑战性。

基于上述讨论,并考虑到集成感知与通信无人机能够为无人机网络提供高效能且节省频谱资源的通信方式,本研究致力于多无人机集成感知与通信网络中能效与信息时效的公平性最大化问题。在所研究的网络中,无人机配备了双功能天线,能够同时实现通信和目标感知功能。与之前Jing等人(2024)、Hazarika和Rahmati(2024)、Jiang等人(2021)、Zhu等人(2023)、Xu等人(2023)、Liu等人(2023)、Yilmaz等人(2024)、Qin等人(2023)、Samir等人(2020)以及Messaoudi等人(2024)仅单独研究能效、信息年龄、感知公平性或公平性问题的研究不同,本研究则同时考虑了多无人机集成感知与通信网络中能效与信息时效方面的公平性问题。据我们所知,这是首项在多无人机集成感知与通信网络中同时优化能效和信息时效公平性的研究。本研究的主要贡献如下:

1. 我们提出了一种系统模型,该模型包含多架双功能无人机,它们在部分可观测环境中为多个地面用户设备提供感知和通信服务。为了解决多无人机之间的协调问题以及感知和通信范围的限制,我们还引入了低地球轨道卫星,当地面感知能力不足时,该卫星可以提供有关周边无人机和用户设备的位置辅助信息。

2. 我们提出了一个能效与信息时效公平性最大化问题,通过共同优化无人机的波束成形向量轨迹、用户设备关联以及低地球轨道卫星的模式,同时还要满足无人机能量限制、最低感知要求以及最低信息年龄等约束条件。据我们所知,这是首项在集成感知与通信无人机网络中同时最大化能效与信息时效公平性的研究。

3. 我们提出了一种基于注意力机制的多智能体近似策略优化算法,用于解决能效与信息时效公平性最大化问题。通过利用Transformer架构中的注意力机制,我们改进了所提出的MAPPO算法的输入状态,提升了无人机智能体的决策能力。

4. 我们将所提出的A-MAPPO算法与MAPPO、MADDPG、多智能体动态QMIX以及梯度搜索等其他算法进行了性能对比。数值实验结果表明,随着无人机数量的增加,所提出的A-MAPPO算法在时间平均能效和信息时效公平性方面均优于其他同类算法。此外,通过不同权重因子值的评估表明,所提出的A-MAPPO在各类可比算法中实现了最佳的性能平衡。本文的其余结构如下:第2节介绍SAGIN中ISAC-UAV的系统模型及问题建模;第3节阐述MADRL框架的设计;第4节介绍所提出的MADDPG算法,第5节则对A-MAPPO算法进行详细说明;第6节探讨所提方法的性能评估;最后,第7节总结全文并讨论该研究的未来方向。

ISAC-UAV系统模型
图1展示了所提出的ISAC-UAV系统模型,该模型包括一颗低地球轨道卫星。在空间层,这颗卫星通过专用频段为无人机提供定位辅助信息,以避免与空地通信层产生干扰。在空地层,多架ISAC-UAV为用户设备提供服务,同时接收反射的ISAC信号以用于感知。这些反射的电磁波具有双重功能,既能用于目标定位,又能用于目标特性分析。

多智能体深度强化学习
在本节中,我们提出基于MADRL的方法来解决联合时间平均能效与功率分配公平性最大化问题。MADRL使得多个自主智能体能够通过神经网络和基于经验的奖励机制学习最优决策策略,同时还能考虑共享环境中的智能体间相互作用。在我们的方法中,每架无人机都被视为多智能体框架中的一个智能体,而ISAC网络则作为环境。这些无人机智能体共同调整各自的决策。

多智能体深度确定性策略梯度
MADDPG将DDPG与多智能体学习技术相结合,用于解决离散概率马尔可夫决策过程问题。它通过为每个智能体配备演员-评论家网络,降低了在共享的、非静态环境中同时训练多架无人机智能体的不稳定性。

所提出的注意力辅助MAPPO框架
在本节中,我们详细介绍了用于解决相关问题的A-MAPPO框架及其训练流程。在此框架中,每架无人机都作为智能体,通过协作决策来最大化时间平均能效与功率分配公平性。选择MAPPO作为A-MAPPO的核心算法,是因为它非常适合解决相关问题中的能效与功率分配公平性联合优化问题。MAPPO利用最新收集的状态转移数据来进行训练,这在非静态环境中非常重要,因为该环境中的状态参数会不断变化。

性能评估
在本节中,我们比较了所提出的A-MAPPO算法与MAPPO、MADDPG以及GS算法的性能。GS是一种迭代优化方法,通过沿着目标函数负梯度所指的最陡下降方向来最小化函数值。GS用于优化波束成形向量、用户设备关联以及模式选择等参数,而MAPPO则负责处理无人机轨迹参数,这类参数存在于高维且稀疏的解空间中。

结论
本研究针对SAGIN环境中的ISAC-UAV网络,提出了一个联合时间平均能效公平性与功率分配公平性优化问题,并通过协同控制无人机轨迹、波束成形、用户设备关联以及模式选择来解决问题。这种协同控制至关重要,因为能量失衡会缩短网络使用寿命,而信息过时则会降低关键决策的可靠性,而且这两类问题无法单独解决。该问题被重新表述为离散概率马尔可夫决策过程问题,随后得到了有效解决。

作者贡献声明
Kimchheang Chhea:撰写原始稿件、可视化处理、验证、软件开发、方法设计、研究实施、形式化分析。Jung-Ryun Lee:撰写审阅稿与编辑工作、验证、监督、项目管理、方法设计、资金申请。

利益冲突声明
作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。

致谢
本研究部分得到了韩国科学和信息通信技术部通过信息技术研究中心支持计划提供的资助,项目编号为IITP-2026-RS-2024-00436248,该计划由信息与通信技术规划评估研究所负责监管。此外,本研究还得到了韩国国家研究基金会提供的资助,项目编号为RS-2026-25480938,该资金由韩国政府科技部提供支持。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号