边缘计算系统中无服务器函数工作流的混合调度
《Future Generation Computer Systems》:Hybrid scheduling for serverless function workflows in edge computing system
【字体:
大
中
小
】
时间:2026年10月22日
来源:Future Generation Computer Systems 6.2
编辑推荐:
**摘要**
函数即服务(FaaS)计算范式通过将复杂的工作流程分解为一系列函数,并以容器化的方式部署在边缘计算系统中,实现了细粒度的资源调度。这些工作流程的时间约束需要得到满足,其中对延迟敏感的工作流程和对延迟容忍的工作流程通过优先级感知机制进行调度。我们关注资源受限的边缘节
**摘要**
函数即服务(FaaS)计算范式通过将复杂的工作流程分解为一系列函数,并以容器化的方式部署在边缘计算系统中,实现了细粒度的资源调度。这些工作流程的时间约束需要得到满足,其中对延迟敏感的工作流程和对延迟容忍的工作流程通过优先级感知机制进行调度。我们关注资源受限的边缘节点,这些节点的特点是能源供应和计算能力有限。在边缘节点上通过优化部署的函数来实现响应延迟和能源消耗之间的最优平衡,以调度不可预测的进入工作流程是一个挑战。这个问题被构建为一个在线截止日期感知的函数部署模型,采用了高效的稳定性队列和李雅普诺夫优化技术。通过不断更新系统状态、选择调度动作和评估相应的奖励,构建了一个马尔可夫决策过程。我们开发了一种基于深度Q学习的作业流调度(称为DQLWS)技术,以实现自适应的混合作业流调度,同时考虑长期响应延迟和能源效率。在延迟敏感工作流程与延迟容忍工作流程的不同比例、延迟-能源权重设置、边缘节点数量的可扩展性和长期调度性能方面进行了广泛的实验。评估结果显示,我们的方法在多个比较维度上优于现有的最佳方法,包括响应延迟、能源消耗、时间违规率和算法稳定性,从而实现了接近最优的调度解决方案。
**引言**
函数即服务(FaaS)是一种新型的无服务器架构,它能够将用户需求分解为一系列具有顺序依赖性的函数[1][2]。这些函数由资源受限的边缘节点部署和支持,例如用于工业视频处理的边缘计算网关和用于工业机器人的嵌入式处理单元。用户需求也以工作流程的形式表示,并以协作的方式得到满足。通常,工作流程是基于正式的需求规范和预定义的可接受响应截止日期制定的,并且可以进一步分类为延迟敏感型和延迟容忍型。作为一个典型的例子,自动化视频处理应用程序通常包括组织在管道或有向无环图中的多个任务。为了支持多样化的工业服务,视频处理工作流程必须满足广泛的延迟要求和其他性能指标。例如,在车辆互联网场景中部署的系统用于检测交通流中的车辆和行人,这些是延迟敏感的任务,因为它们需要支持自动驾驶系统的报警响应要求。相反,常规监控系统是延迟容忍的。在资源受限的边缘计算系统中,混合调度优化以保证延迟性能和能源效率的同时部署复杂功能是一个挑战。
在边缘计算系统中,作业流调度和函数部署专注于按需资源分配,以平衡响应延迟和能源消耗[3][4]。现有技术主要探索最小化平均或总体延迟的工作流调度方法,无法满足个性化的时间约束。此外,一些离线工作流调度机制通常只关注有限的独立时间间隔,采用静态算法,没有考虑当无法提前观察到全局工作负载信息时的机会主义需求[5]。现有的工作流调度算法由于启发式限制而常常不够完善,导致调度解决方案次优[6]。基于强化学习的方法通常用于在资源受限的在线工作流调度环境中优化所有工作流实例的平均完成时间[7]。实际上,工作流执行过程经常与动态到来的工作流交错进行批量处理,导致资源竞争,并可能损害用户响应的及时性[8]。在计算资源有限的情况下有效安排连续到达的工作流的混合调度方案尚未得到充分探索。由于工作流调度涉及非周期性到达和不可预测的工作负载,在资源受限的边缘计算系统中很难在高峰期间执行所有工作流。因此,需要根据不同类型的工作流自适应地部署它们,特别是它们不同的时间和资源需求,以实现资源利用高峰的削峰。李雅普诺夫优化方法被应用于解决动态、不确定环境中的资源分配和调度问题,特别适用于无法准确预测未来状态的复杂系统,同时确保队列稳定性。标准李雅普诺夫优化在理论上被证明是有效的。然而,这种策略无法在实时任务传输和每个边缘节点上的处理之间的能源约束下实现平衡的权衡。因此,我们增加了一个考虑约束的机制来卸载预定任务,并严格执行各个边缘节点的能源预算约束。我们开发了一种基于在线学习的混合工作流调度机制,将功能决策约束、节点容量约束、工作流时间约束和能源预算约束纳入传统的李雅普诺夫优化目标中。我们的贡献总结如下:
- 我们根据硬执行时间和建立的时间约束,将分解为多个逻辑相关函数并由容器封装的工作流分类为延迟敏感型和延迟容忍型。这些截止日期感知的工作流被放入队列中,确保每个进入的工作流都有特定的优先级,同时需要满足这些工作流的时间约束。
- 我们将工作流混合调度构建为一个长期受限的优化问题,综合考虑资源受限边缘计算系统中的响应延迟和能源消耗。通过将优化目标纳入李雅普诺夫漂移加惩罚框架,分别为延迟敏感型和延迟容忍型工作流构建了两个虚拟队列,将长期优化问题转化为可处理的每个时隙调度问题,同时确保队列稳定性并制定自适应调度策略。
- 我们开发了一种基于深度Q学习的作业流调度(DQLWS)机制,通过将李雅普诺夫优化与基于DDQN的决策制定相结合。所提出的机制将工作流部署建模为一个马尔可夫决策过程,其中DDQN不断更新系统状态,选择部署动作,并评估奖励,以高效解决离散函数放置决策。通过利用理论上推导出的优化目标,DQLWS在动态边缘环境中实现了响应延迟、能源消耗和长期系统稳定性之间的接近最优权衡。
进行了广泛的实验,评估结果显示,与现有的最佳方法相比,我们的DQLWS机制在能源消耗和响应延迟方面都有显著的改进。
**本文的其余部分结构如下:**第2节介绍了一些相关工作。第3节介绍了我们的系统模型。第4节介绍了问题的构建和分析。第5节开发了我们的基于李雅普诺夫的优化模型和基于DDQN的工作流调度机制。第6节将我们的方法与基线算法进行了评估。最后,第7节总结了本文。
**相关工作**
工作流提供了一种有效的方式,将不同的服务组合和连接起来,为用户请求构建一系列逻辑目标[9]。基于函数的边缘容器服务作为新的边缘资源供应范式更加灵活,广泛应用于工作流调度中。Jiang等人[10]提出了一种基于遗传算法的相对编码机制,用于异构分布式计算系统中解决工作流调度问题。
**系统模型**
我们讨论了通过图1所示的在线函数部署来调度服务请求到边缘计算系统的方法。服务请求以工作流的形式呈现,并根据它们的时间紧急性分为延迟敏感型和延迟容忍型。延迟敏感型工作流需要严格的时间保证,而延迟容忍型工作流可以容忍相对较长的执行延迟。从工作流中提取的函数分别部署在...
**问题的构建和分析**
在本节中,我们对实施工作流函数部署时的约束条件进行了分析,包括功能决策约束、节点容量约束、能源预算约束和工作流时间约束。工作流函数部署被构建为一个目标优化问题。
**在线工作流调度方法**
在本节中,我们讨论了将上述问题转化为李雅普诺夫优化模型,解耦在线系统中进入工作流队列的时间耦合。构建了一个马尔可夫过程,并采用基于DQL的方法来解决工作流调度策略,形成我们的工作流调度机制。李雅普诺夫优化将随机的长期受限问题转化为一系列漂移加惩罚子问题,并暴露了虚拟队列积压...
**实现和评估**
在一个配备Intel i7-6700 CPU(3.4 GHz)、8 GB内存和64位Windows系统的桌面上实现了原型。网络环境由开源云计算模拟平台CloudSim模拟,参数设置列在表1中。
**结论和未来工作**
本文研究了一个高效的工作流调度框架,用于实现不同特征工作流的混合部署,这些工作流可以分为延迟敏感型和延迟容忍型,需要满足时间约束。挑战被构建为一个马尔可夫决策过程,并使用李雅普诺夫优化技术获得具有漂移加惩罚功能的优先级感知任务的高效调度策略。
**CRediT作者贡献声明**
Mengyu Sun:写作 - 审查与编辑,写作 - 原稿,方法论,概念化。Gang Lu:调查,形式分析,概念化。Zhilan Huang:可视化,数据整理。Shuo Quan:方法论。Yaqiang Zhang:方法论,形式分析。Yukai Tan:可视化。
**利益冲突声明**
作者声明他们没有已知的竞争财务利益或个人关系可能影响本文报告的工作。
Mengyu Sun是中国电信研究院的副高级工程师,北京。她的研究兴趣包括服务计算、云计算和资源调度。电子邮件:sunmy1@chinatelecom.cn
Mengyu Sun | Gang Lu | Zhilan Huang | Shuo Quan | Yaqiang Zhang | Yukai Tan
中国电信研究院,北京,中国
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号