云边协同计算中无服务器工作流的自适应容器调度

《Journal of Parallel and Distributed Computing》:Adaptive container scheduling for serverless workflows in cloud-edge collaborative computing

【字体: 大 中 小 】 时间:2026年07月08日 来源:Journal of Parallel and Distributed Computing 3.4

编辑推荐:

  雷雅敏|侯宇成|张一欣|王双•为提升无服务器工作流的平均用户满意度,本文设计了一种集成式的容器调度框架。•AUHS采用端到端的非执行延迟驱动启发式方法,用以确定函数级别的最优调度方案。•实验结果表明,AUHS在调度效果和效率方面均优于其他对比算法。 引言在对延迟敏感的物联网应用

  雷雅敏|侯宇成|张一欣|王双•为提升无服务器工作流的平均用户满意度,本文设计了一种集成式的容器调度框架。•AUHS采用端到端的非执行延迟驱动启发式方法,用以确定函数级别的最优调度方案。•实验结果表明,AUHS在调度效果和效率方面均优于其他对比算法。

引言在对延迟敏感的物联网应用中,用户请求通常会触发多阶段处理流程。这类流程通常以三层层次结构的无服务器工作流形式组织[1]。每个工作流由多个相互依赖的任务组成,而每个任务又可进一步分解为可并行执行的函数。在线视频分析就是这类工作流的一个典型应用[2],它能够自动处理来自监控摄像机的视频流,从而回答用户关于时空事件的查询(如交通状况和安全事件)。对于这类复杂的分析工作流,云处理虽然能提供充足的计算资源,但会导致较大的传输延迟;而边缘处理虽能减少传输延迟,却受限于有限的资源。云边协作平台(如AWS Wavelength[3]和Azure IoT Edge[4])则为这一问题提供了有效解决方案。它们通过细粒度的函数即服务架构,实现函数在云资源和边缘资源之间的灵活部署[5]。为确保良好的服务质量,每个无服务器工作流都需在规定的响应时间内完成任务。即便无法在此时间内完成,虽然不会影响分析精度,但会显著降低用户满意度。大量研究表明,低效的调度是导致此类情况发生的主因[6],[7],[8],[9],[10]。然而,现有的大多数调度方法都侧重于优化以服务提供商为中心的指标(如资源成本和能耗),未能准确反映延迟响应所带来的用户满意度逐步下降的问题。对于面向用户的应用而言,应将用户满意度作为首要优化目标,而非次要考虑因素。尽管如此,以用户为中心的工作流调度研究仍然相对不足。

本文针对云边计算环境中的工作流调度问题展开研究,旨在最大化所有无服务器工作流的平均用户满意度。独立的无服务器工作流由用户请求触发,以随机方式到达地理位置分散的边缘基站。与传统的以任务作为基本调度单元的工作流不同[6],[7],[8],[9],[10],[11],[12],[13],[14],[15],这些无服务器工作流是在函数级别执行的。这种细粒度的执行模式使得函数能够灵活地部署在计算节点上的轻量级容器中,从而减少因粗粒度任务调度带来的等待时间,为对延迟敏感的应用提供更快速的响应。不过,容器是按需创建的,且在执行完成后仅能存活有限时间以便后续重用。这种短暂的生命周期使得容器选择与函数卸载决策紧密关联。正是这些特点,使得云边环境中的无服务器工作流调度变得尤为复杂。

主要挑战源于多级序列关联、庞大的调度空间以及动态的运行时条件。具体而言:(i)由于无服务器工作流具有复杂的层次结构,因此必须同时确定工作流级、任务级和函数级的调度顺序。但由于任务到达时间、响应时间窗口、任务拓扑结构以及函数组合方式的差异,要找到全局最优的调度顺序在计算上极为困难。(ii)由于函数可以被卸载到任何计算节点,并在该节点的任意可用容器中执行,因此每个函数的调度空间都相当大。由于不同计算节点上容器状态和资源可用性的差异,不同的调度方案会导致不同的处理延迟。要确定最优调度方案需要综合考虑这些因素,难度较大。(iii)由于无服务器工作流是以随机方式被触发的,且对时效性有严格要求,因此调度决策必须在运行时做出,而非预先确定。然而,由于计算节点的资源可用性会随时间变化,且不同函数的资源需求也各不相同,实时调度本身就极具挑战性。对某个函数有效的调度方案,可能对另一个函数来说并非最优。

为应对这些挑战,我们提出了一种自适应的用户满意度驱动启发式调度算法AUHS,该算法能够针对特定函数进行实时调度,从而最大化平均用户满意度。其主要贡献包括:•针对具有随机到达特性的无服务器工作流,设计了一种集成式的容器调度框架。基于该框架,结合资源可用性、任务依赖关系、函数原子性执行以及单并发容器分配等约束条件,将最大化平均用户满意度的调度问题进行了数学建模。•AUHS采用了跨工作流的迭代排序机制来确定批量级的全局最优调度顺序,同时提出了端到端的非执行延迟驱动启发式方法,用于自动确定函数级别的最优调度方案。该启发式方法能够综合考虑函数资源需求、卸载开销以及不同计算节点上的资源可用性。•通过运用多因素方差分析技术,对基于真实数据生成的随机实例进行系统校准,从而优化AUHS的各个组成部分。随后,通过与其他六种代表性算法的广泛对比实验,验证了AUHS在调度效果和效率方面的优势。

本文的其余部分结构如下:第2节回顾相关研究,第3节阐述问题建模,第4节详细介绍所提出的AUHS算法,第5节分析实验结果,最后第6节给出结论及未来工作方向。

相关研究分布式计算资源上的工作流调度问题通常属于NP难问题[16],因此吸引了众多研究者的关注。现有研究可从三个主要维度进行分类:(i)计算环境(纯云或混合云);(ii)工作负载结构(独立任务、两级或三级工作流);(iii)调度算法(静态调度或动态调度)。移动边缘计算[17]和雾计算[15]则作为云计算的补充方案应运而生。

系统架构与问题描述针对所研究的问题,我们设计了如图1所示的综合性容器调度框架,并建立了相应的数学模型,在满足资源可用性、任务依赖关系、函数执行以及容器分配等方面的七项约束条件下,最大化平均用户满意度。表1汇总了文中常用的符号含义。

提出的算法由于无服务器工作流是以随机方式到达边缘基站的,且其对应的函数具有不同的资源需求,因此每个计算节点上的资源可用性会随时间发生变化。在这种动态环境中,所有函数的全球最优调度顺序和函数级别的最优调度方案都必须通过实时计算来确定,而非预先设定。为此,本文提出了一种自适应的用户满意度驱动启发式调度算法AUHS。对于在每个调度周期内到达各个边缘基站Ss(s=1,?,|S|)的|Ws(k)|个工作流,该算法能够...

性能评估为全面评估AUHS的调度性能,我们在随机生成的场景实例上进行了大量对比实验。评估重点围绕三个研究问题展开:(i)AUHS的关键组件应如何配置?(ii)AUHS在不同场景配置下的表现如何?(iii)与现有的工作流调度算法相比,AUHS的性能如何?

结论与未来工作本文研究了云边协作环境中,针对随机到达的无服务器工作流进行实时容器调度的问题,目标是为最大化平均用户满意度。本文提出了一种函数级别的启发式算法AUHS,能够在运行时自适应地确定调度顺序、卸载节点以及执行容器。基于AUHS,我们构建了一个完整的调度框架,该框架能够自动将每个函数分配到选定节点上的相应容器中。

作者贡献声明雷雅敏:撰写——审阅与编辑、可视化、验证、软件、方法论、研究、形式化分析。侯宇成:验证、软件、方法论、形式化分析、数据整理。张一欣:撰写——初稿撰写、软件、方法论、研究、概念设计。王双:撰写——审阅与编辑、监督、软件、资源管理、方法论、资金筹集、概念设计。

利益冲突声明作者声明不存在任何可能影响本文研究成果的已知财务利益或个人关系。雷雅敏分别于2018年和2021年在中国南京的南京科技大学计算机科学与工程学院获得学士和硕士学位,目前她正在中国南京的东南大学计算机科学与工程学院攻读博士学位。2024年至2025年,她还曾在新加坡南洋科技大学的计算与数据科学学院担任访问博士生。她的研究领域包括...
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号