面向移动边缘计算服务功能链放置的Transformer增强型演员-评论家强化学习
《Computer Networks》:Transformer-Enhanced Actor–Critic Reinforcement Learning for Service Function Chain Placement in Mobile Edge Computing
【字体:
大
中
小
】
时间:2026年10月22日
来源:Computer Networks 4.7
编辑推荐:
• 基于Transformer增强的PPO实现了MEC网络中SFC的高效可扩展部署。
• 基于NFP的子SFC并行化显著降低了端到端服务时延。
• 能量感知奖励设计提升了接受率与资源利用率。
## 引言
沉浸式多媒体服务、工业自动化、自主系统及实时数据分析等对时延敏感的应
• 基于Transformer增强的PPO实现了MEC网络中SFC的高效可扩展部署。
• 基于NFP的子SFC并行化显著降低了端到端服务时延。
• 能量感知奖励设计提升了接受率与资源利用率。
## 引言
沉浸式多媒体服务、工业自动化、自主系统及实时数据分析等对时延敏感的应用日益普及,对现代通信网络提出了越来越严苛的性能要求[1]。为应对这些需求,移动边缘计算(MEC)通过将计算与存储资源推向终端用户,有效降低了端到端时延并提升了服务质量(QoS),已成为一种颇具前景的范式[2,3]。近年来的研究进一步证明了以边缘为中心的架构在支撑大规模物联网(IoT)系统[4]、智能网络切片以及下一代网络中的动态资源管理[5,6]方面的重要性。在此背景下,网络功能虚拟化(NFV)使得网络服务能够以基于软件的虚拟网络功能(VNF)形式实现,并部署在共享的物理基础设施之上。一项完整的网络服务通常被组织为服务功能链(SFC),流量需依次穿越有序的VNF序列以满足特定的服务要求[7,8]。
在基于NFV的MEC环境中,SFC的部署是一个极具挑战性的优化问题,其复杂性源于组合爆炸特性与边缘网络动态变化的双重影响。有限的计算资源、波动的流量需求以及严格的时延约束显著加大了VNF编排的难度[9]。此外,VNF的串行执行本身会因服务链长度增加而推高端到端时延,严重削弱时延敏感服务的性能[2,3]。尽管传统的基于优化的方法与启发式方法已得到广泛研究,但它们往往存在可扩展性差、难以适应动态网络条件等问题,因而不适用于大规模且时变的环境。
为突破传统优化方法的局限,深度强化学习(DRL)[10,11]近年来被引入SFC部署领域,使其能在动态网络条件下进行自适应决策[12,13]。现有DRL方法在服务接受率、时延及资源利用率等目标优化方面均展现出令人振奋的性能[1]。然而,大多数方法本质上是顺序VNF部署问题,即每个VNF主要依据资源可用性被独立地映射到边缘节点[[14], [15], [16]]。这种建模方式对MEC环境而言并不充分,因为边缘基础设施本身资源受限、异构性高且变化频繁。因此,现有方法往往难以刻画VNF之间的复杂依赖关系以及服务结构与变化网络状态之间的相互作用,导致部署决策效率低下、QoS恶化。另一方面,Transformer能够捕捉长程依赖并有效表征VNF关系与网络状态[17,18]。将其与演员—评论家(Actor–Critic)DRL结合,可在动态环境中实现协同且依赖感知型决策[[19], [20], [21], [22]]。
此外,尽管网络功能并行(NFP)通过允许独立VNF并发执行来有效降低服务时延,但现有基于NFP的方法主要依赖预定义并行化规则,缺乏智能协同机制[12]。这一局限性在MEC场景中尤为关键,因为额外的通信开销、同步延迟以及有限的边缘资源可能抵消并行执行带来的收益[14]。因此,面向MEC的有效SFC部署框架应同时应对三个核心挑战[2,23]:(1) 将顺序SFC进行依赖感知的分解,得到可执行并行子SFC;(2) 对VNF依赖关系与动态网络状态进行全局建模;(3) 协同部署决策,在时延降低、资源效率与部署开销之间取得平衡。这些挑战在需要自适应资源管理、流量预测与鲁棒无线感知决策的动态边缘网络中进一步放大[[24], [25], [26], [27]]。
基于上述挑战,本文提出了一种面向基于NFV的MEC环境的SFC部署框架——基于NFP的Transformer增强型演员—评论家强化学习框架(TEACRL)。与执行独立VNF部署的传统DRL方法不同,TEACRL通过向演员—评论家架构中集成基于Transformer的自注意力机制,实现协同的SFC级决策。该框架能够捕捉VNF与网络资源间的长程依赖关系,执行依赖感知的SFC划分以实现并行执行,并采用前向路径子SFC组装机制在降低部署时延的同时保持服务连通性。这些能力使TEACRL能更好地应对MEC环境中的资源约束、动态条件及时延敏感需求。
本文的独特贡献如下:
• 提出了一种Transformer增强型演员—评论家DRL框架,通过捕捉子SFC之间的长程依赖关系实现SFC级部署决策。不同于传统的逐VNF部署方法,所提框架执行协同的部署决策,从而减少误差传播并提升整体部署效率。
• 将依赖感知的NFP策略集成到DRL框架中,在考虑资源约束与部署开销的前提下联合优化VNF部署与并行执行,实现对MEC资源更高效的利用。
• 设计了一种依赖感知的SFC划分机制,将顺序SFC分解为可并行执行的子SFC。该方法在保持VNF间原始依赖关系的同时提升了执行并发度。
• 引入了一种前向路径子SFC组装机制,以增量方式建立路由路径并维持已部署子SFC之间的拓扑连通性。通过在部署过程中构建服务路径,所提机制在确保正确服务执行的同时降低了端到端时延。
本文其余部分组织结构如下:第2节综述相关工作;第3节对SFC部署问题进行建模;第4节介绍基于NFP及Transformer增强型演员—评论家算法的SFC部署框架;第5节进行仿真实验并评估所提框架;最后在第6节给出结论与未来研究方向。
## 相关工作
近年来,聚类[[28], [29], [30]]、神经网络[31]与进化算法[32]等智能方法在解决复杂现实问题方面受到了广泛关注。早期关于SFC部署的研究主要依赖启发式与基于优化的方法[33]。尽管这些方法能够产生高质量的解,但受迅速增长的行动空间与高昂计算成本的限制,其可扩展性有限。随着MEC网络日益动态化……
## 系统模型与问题建模
本节首先介绍系统模型,随后通过明确部署约束与优化目标,将SFC部署问题建模为马尔可夫决策过程(MDP)。表2汇总了本文使用的关键符号。
底层网络被建模为无向图 Gs=(Vs, Es),其中 Vs={vi|i=1,2,…,|Vs|} 为底层节点集合,vi 表示第 i 个节点,|x| 表示集合 x 的基数[44]。每个节点 v∈Vs 都具有可用资源……
## 所提框架
本节介绍TEACRL——一种Transformer增强型演员—评论家DRL框架,旨在联合解决MEC环境中的SFC部署与并行化问题。TEACRL基于PPO型演员—评论家架构,采用Transformer编码器在SFC层级捕捉VNF之间复杂的依赖关系。不同于依赖顺序信息传播的长短期记忆(LSTM)网络,Transformer利用自注意力机制更有效地建模长程依赖……
## 实验分析
为评估所提框架的有效性,我们针对具有代表性的基线方法进行了全面的性能评估。仿真实验在MATLAB平台上完成,所有实验结果均为25次独立运行的平均值。仿真设置与实验结果详见以下各小节。
## 结论
本文提出了TEACRL——一种Transformer增强型演员—评论家深度强化学习框架,旨在解决MEC网络中SFC部署与并行执行所面临的挑战。与传统的DRL方法不同,TEACRL在演员与评论家网络中均使用Transformer编码器,从而有效建模VNF之间的复杂依赖关系,实现更具全局协同性的部署决策。为进一步提升服务性能……
## 作者贡献
Mingsheng Ling:开发并实现了Transformer增强型演员—评论家框架,开展实验评估,分析实验结果,并参与论文修订。Wenjuan Wang:协助实现所提框架,参与实验验证与数据分析,解释研究发现,并参与论文的修订与完善。Ding Chen:提出研究思路,设计研究方法论,指导整体研究工作,并……
## 数据可用性
本文稿件中未附有任何数据。
## 资助项目
1. 中国大学产学研用协同创新基金,教育部科技发展中心。弹性云平台背景下高职软件基础课程理论与实践融合研究,项目编号 2021ITA09029。
2. 2025年度全国职业技术教育学会科研重点课题。多类型混合助教平台设计研究。
## CRediT作者贡献声明
Mingsheng Ling:撰写—审阅与编辑、可视化、验证、方法论、获取资助。
Wenjuan Wang:撰写—审阅与编辑、可视化、验证、资源提供、方法论。
Ding Chen:撰写—审阅与编辑、撰写—原稿撰写、可视化、项目管理、方法论。
Mingsheng Ling|Wenjuan Wang|Ding Chen
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号