《Aerospace》:Spacecraft Safe Proximity Policy Based on Graph Neural Network Safe Reinforcement Learning
Heng Zhou,
Jingxian Wang,
Monan Dong,
Yong Zhao,
Yuzhu Bai and
Rong Chen
编辑推荐:
:
在轨服务(On-Orbit Servicing, OOS)技术对于未来的太空探索至关重要,而服务航天器的安全近距离轨迹规划与控制是其中的核心挑战。然而,动态空间环境中存在目标航天器和空间碎片等多种障碍物,且服务航天器受限于控制输入饱和与状态约束,这使得传统
:
在轨服务(On-Orbit Servicing, OOS)技术对于未来的太空探索至关重要,而服务航天器的安全近距离轨迹规划与控制是其中的核心挑战。然而,动态空间环境中存在目标航天器和空间碎片等多种障碍物,且服务航天器受限于控制输入饱和与状态约束,这使得传统方法难以兼顾安全性与最优性。为此,研究人员提出了一种基于图神经网络(Graph Neural Network, GNN)的约束软演员-评论家(Constrained Soft Actor-Critic, CSAC)算法,以实现服务航天器的自主安全近距离接近。首先,构建了服务航天器在障碍环境下的近距离动力学模型,并将相对运动方程转化为状态空间表达式。其次,引入图论来描述服务航天器与周围物体间的交互关系,利用GNN提取特征以适应不同数量的障碍物。随后,将轨迹规划问题建模为约束马尔可夫决策过程(Constrained Markov Decision Process, CMDP),并结合拉格朗日乘子法(Lagrangian method)对CSAC算法进行优化,在满足安全约束的前提下最大化期望回报。仿真结果表明,该方法能够有效处理时变数量的障碍物,在保证安全距离的同时成功到达期望点,且控制性能优于传统SAC算法及模型预测控制(Model Predictive Control, MPC)方法。
研究背景与意义
随着太空活动的日益频繁,在轨服务(On-Orbit Servicing, OOS)、碎片清理及交会对接等任务对航天器的自主操作能力提出了更高要求。在这些任务中,服务航天器需要在复杂且动态变化的环境中安全地接近目标。然而,空间环境中充满了未知或不可预测的空间碎片及其他障碍物,这对服务航天器的轨迹规划与自主避障能力构成了严峻挑战。此外,服务航天器本身还受到诸如控制输入饱和、燃料限制以及严格的终端姿态和位置精度等多重物理约束。传统的基于规则和优化的轨迹规划方法在面对高维、非线性且充满不确定性的动态环境时,往往计算量大且难以保证实时性与全局最优性。因此,开发一种能够在线适应环境变化、有效规避障碍物并严格满足各种约束的智能轨迹规划与控制算法显得尤为迫切。本文发表于《Aerospace》期刊,针对这一关键问题展开了深入研究。
关键技术方法
为了实现上述目标,研究人员采用了以下几个核心技术与方法:
- 1.
相对轨道动力学建模:建立了服务航天器与目标及障碍物之间的相对运动方程(基于Clohessy-Wiltshire方程),并将其转化为适用于强化学习的标准状态空间表达式。
- 2.
图结构环境表征:创新性地引入了图论(Graph Theory)来构建服务航天器的环境感知模型。将服务航天器自身、期望点以及周围障碍物抽象为图中的节点(Node),它们之间的相对位置关系和影响力映射为边(Edge)。这种表征方式能够灵活应对观测范围内障碍物数量的变化。
- 3.
图神经网络特征提取:利用图神经网络(Graph Neural Network, GNN)强大的处理能力,从动态变化的图结构中自动提取固定维度的特征向量。这使得智能体能够理解不同数量和类型的环境实体对其产生的综合影响。
- 4.
约束强化学习框架:将轨迹规划问题形式化为一个约束马尔可夫决策过程(Constrained Markov Decision Process, CMDP)。研究人员选用软演员-评论家(Soft Actor-Critic, SAC)算法作为基础框架,因其具有良好的探索性和稳定性。为了处理安全约束,研究人员将其扩展为约束软演员-评论家(Constrained SAC, CSAC)算法,通过引入代价函数(Cost Function)和拉格朗日乘子法(Lagrangian Method)来将硬约束转化为优化目标中的惩罚项,从而在追求高回报的同时确保约束满足。
研究结果
2.1 相对轨道动力学模型
研究人员详细推导了服务航天器在近距离操作场景下的相对运动学模型。考虑到空间碎片的特性,模型不仅包含了位置信息,还引入了速度变量。通过对Clohessy-Wiltshire方程的改写,建立了包含状态变量和控制输入的线性时不变系统状态空间方程,为后续的控制算法设计奠定了数学基础。
2.2 服务航天器安全接近任务的图结构
本节重点阐述了如何将复杂的空间环境抽象为图结构。研究人员定义了三类节点:服务航天器(编码为0)、期望点(编码为1)和障碍物(编码从2到N-1)。节点间的连接边分为两类:一类连接服务航天器与期望点,代表吸引力;另一类连接服务航天器与障碍物,代表排斥力。这种图结构是动态的,当新的障碍物进入观测范围或旧障碍物离开时,图会相应更新。GNN则负责处理这些图数据,输出包含全局环境信息的特征向量。
2.3 约束马尔可夫决策过程
研究人员将连续时间内的轨迹规划问题离散化,定义为CMDP。状态空间(State Space)包含了服务航天器的位置、速度误差以及GNN提取的环境特征;动作空间(Action Space)为航天器的三轴控制加速度;奖励函数(Reward Function)设计为引导航天器接近目标并减少燃料消耗;代价函数(Cost Function)则与安全距离约束挂钩,当距离小于安全阈值时产生代价。通过定义状态转移概率、折扣因子等要素,CMDP完整地刻画了这一序贯决策问题。
2.4 基于GNN的CSAC算法
这是本文的核心贡献。研究人员设计了GNN-CSAC算法架构。策略网络(Policy Network)和价值网络(Value Network)均以GNN提取的特征作为输入。在训练过程中,算法不仅最大化累计奖励,还通过拉格朗日乘子动态调整代价项的权重,以确保平均代价不超过预设上限。这种方法有效地平衡了任务完成度与安全性。
讨论与结论
研究人员通过一系列对比仿真实验验证了所提算法的有效性。实验设置了不同数量的静态和动态障碍物场景。结果显示,传统的SAC算法虽然能完成任务,但无法保证安全距离;模型预测控制(Model Predictive Control, MPC)方法在简单场景下表现尚可,但在障碍物增多或环境动态性增强时,其实时性和优化效果均不如GNN-CSAC。而本文提出的GNN-CSAC算法,在所有测试场景中均能成功避开障碍物,安全抵达目标点,且控制输入平滑,满足实际应用需求。
结论翻译
综上所述,本文针对服务航天器在安全接近任务中面临的复杂环境适应与多重约束满足难题,提出了一种融合图神经网络与约束强化学习的创新解决方案。通过构建基于图论的环境交互模型和CMDP框架,实现了对动态障碍物数量的自适应处理与安全约束的有效嵌入。仿真结果确证了该算法在保障任务安全性与提升控制自主性方面的显著优势,为未来智能化在轨服务任务提供了可靠的理论依据与技术支撑。