跨厂商多节点竞价实例动态:一项公有云数据归档服务与分析
《Future Generation Computer Systems》:Cross-vendor multi-node spot instance dynamics: A public cloud data archive service and analysis
【字体:
大
中
小
】
时间:2026年10月22日
来源:Future Generation Computer Systems 6.2
编辑推荐:
摘要
云抢占式实例以不可预测的中断换取大幅的价格节省,理解其可用性模式是使用的核心关切。现有工作主要涵盖单一云厂商上的单节点可用性,尚未表征多节点配置动态,也未验证云厂商提供的可用性分数是否真的能预测实际结果。本文旨在通过系统性的跨厂商数据收集、多节点可用性分析和实际配置验证
摘要
云抢占式实例以不可预测的中断换取大幅的价格节省,理解其可用性模式是使用的核心关切。现有工作主要涵盖单一云厂商上的单节点可用性,尚未表征多节点配置动态,也未验证云厂商提供的可用性分数是否真的能预测实际结果。本文旨在通过系统性的跨厂商数据收集、多节点可用性分析和实际配置验证来弥补这两个差距。为此,首先构建了一个收集系统,以持续监控主要云厂商的抢占式实例可用性,并通过厂商特定的查询优化算法降低查询开销,从而在当前的 API 速率限制内实现实用的长期收集。使用生成的跨厂商数据集,分析了各厂商多个抢占式指标的表征,揭示价格和中断频率作为长期稳定性信号,而实时可用性指标则在单节点和集群规模上跟踪本地供需周期。在两个云厂商上拟合退化模型进一步揭示了一种结构性不对称,即 AWS 上可用性随集群规模迅速下降,而 Azure 上显示的退化极小且可用性下限更高。为了验证收集到的指标是否真的代表实际的抢占式实例配置行为,在两个云厂商上进行了超过 215,000 次实际配置尝试,确认相同的可用性分数在不同的提供商上具有不同的实际运行含义。收集的数据集和系统通过公共网页和开源仓库发布。
引言
云计算通过按需、随用随付的计费模式改变了资源利用范式。该模式允许组织动态扩展资源,而无需大量的前期硬件投资。得益于仅为消耗的资源付费的灵活性,企业越来越多地从传统本地基础设施迁移到云服务。为了优化闲置容量的利用并提供大幅的价格降低,公共云厂商通过抢占式实例提供剩余的算力资源。这些实例呈现了一个关键的权衡:显著的价格折扣与突然实例中断的可能性。
抢占式实例最初采用市场驱动的交易机制,要求用户管理突然终止带来的固有波动和风险。云厂商提供抢占式实例价格历史作为主要数据集,以预测可用性,帮助用户管理价格节省与潜在中断之间的权衡。波动的抢占式实例价格变化引发了大量研究 [1]-[6],涉及价格预测模型、最佳竞价策略 [7]-[9] 以及中断缓解技术,领域包括大数据处理 [10]-[12]、深度学习 [13] 和批处理 [14]-[15]。然而,定价操作策略的变化稳定了抢占式实例价格并减少了波动 [16]-[17],使得大多数基于价格的文献过时 [18]。
这种范式转变需要新的可用性指标,云厂商引入了实时可用性分数和历史中断统计来取代基于价格的预测。最近的研究努力系统地收集和存档这些指标,以网络服务的形式提供 [19]-[20]。虽然这些新数据集提供了有价值的抢占式实例可用性信息,但现有系统主要关注单一云厂商的单节点可用性指标和分析 [21],使得多云环境下的多节点配置动态在很大程度上尚未被探索。
这些单节点可用性洞察对于在多节点集群环境中运行的生产工作负载来说是不够的,其中高的单节点可用性并不能保证大集群的成功配置 [22]。虽然这一差距已在单一云厂商上得到证明,但相同的退化模式是否跨厂商成立,以及退化的程度是否存在结构性差异,仍是一个未解决的问题。主要云提供商最近引入了多节点可用性指标 [23]-[24],使得此类跨厂商研究成为可能,但回答这个问题需要跨厂商的多节点收集,这带来了额外的挑战。查询空间增长了几个数量级,且每个云厂商施加的 API 速率限制不同,使得全面监控不切实际 [19]。
在多个云厂商上构建具有成本效益的大规模抢占式实例集群,需要深入了解可用性在多节点规模上的行为,以及云厂商提供的指标是否可靠地指导资源选择。此外,云厂商提供的这些可用性指标是否真的能预测实际的配置结果尚未得到独立验证,基于这些指标构建的评分或推荐系统继承了关于其预测能力的任何未经验证的假设。为此,本文解决了以下研究问题。
RQ-1 在多个云厂商上收集抢占式实例可用性数据有哪些实际挑战,需要什么样的收集策略才能在当前的 API 约束下组装准确、长期的多厂商数据集?
RQ-2 抢占式实例的成本效益和可用性特征如何在厂商、区域和实例类别之间变化?
RQ-3 抢占式实例可用性是否表现出特定的时间变化模式?如果是,这些模式在厂商之间有何不同?
RQ-4 多节点抢占式实例可用性如何随集群规模增加而退化,以及跨厂商有何差异?
RQ-5 云厂商提供的可用性指标是否可靠地预测实际的抢占式实例配置成功?
为了回答这些问题,我们构建了一个无服务器收集系统,持续监控 AWS 和 Azure 上的抢占式实例可用性,并在 GCP 上进行补充的价格收集。提出的系统持续监控并存储历史可用性模式,建立了首个用于多节点抢占式实例的长期跨厂商数据集(RQ-2)。为了在严格的 API 约束内实现实用的数据收集,厂商特定的优化算法通过智能采样和聚合策略将查询需求减少了 60% 以上。该系统还采用了一种高效的表示方法,在捕获集群级别的可用性退化模式(RQ-4)的同时,显著降低了存储和监控开销(RQ-1)。
使用从提出的系统中持续收集的广泛数据,系统的跨厂商分析揭示了可用性随集群规模增加而退化的根本差异,有些提供商在不同节点数量下保持一致的性能,而另一些则在大规模部署中显示快速退化(RQ-4)。时间分析进一步揭示了提供商在高峰和非高峰时段之间特有的波动(RQ-3),并检查了影响监控策略的数据集更新特征(RQ-1)。为了验证这些收集到的指标是否真的代表实际的配置行为,在两个提供商上进行了超过 215,000 次尝试的现实世界实验,确认相同的可用性分数在不同的提供商上具有不同的实际运行含义(RQ-5)。这些发现表明,数据驱动的资源选择对于优化多云部署至关重要。为了支持研究人员和从业者,本工作提供了一个公开访问的数据集存档服务 1,包含多个云平台的综合历史数据,使大规模抢占式实例的使用能够实现知情决策。
核心贡献总结如下。
• 实施厂商特定的查询优化算法,减少抢占式实例放置分数 (SPS) 查询预算,并在当前的每账户 API 速率限制内启用长期多节点收集(RQ-1)。
• 构建并公开发布首个长期跨厂商多节点抢占式可用性数据集,通过 SpotLake 存档服务托管以供持续重新分析(RQ-1, RQ-2)。
• 发现多节点可用性退化中的跨厂商结构性不对称,通过拟合到两个云厂商的多节点 SPS 作为目标集群规模函数的逆模型捕获,并在独立的配置实验中再次观察到(RQ-3, RQ-4)。
• 首次在单节点和多节点规模上对 AWS 和 Azure 的云厂商提供的可用性分数进行现实世界验证,包括由此产生的 215,000 次尝试配置数据集,可用于检查未来对这些分数的任何分析(RQ-5)。
章节片段
抢占式实例机制与数据集
公共云厂商通过抢占式实例以较低的价格提供剩余的算力资源,包括 AWS Spot Instances、Azure Spot Virtual Machines (VMs) 和 Google Cloud Spot VMs。提供商可以随时收回容量,因此用户以可靠性换取价格节省 [2]。
云厂商提供三类数据集来帮助用户管理这种权衡。首先,抢占式实例价格历史反映了抢占式实例随时间的成本。AWS 提供最多三个月的价格变更历史。
数据收集方法
系统性收集抢占式实例数据集面临三类挑战,总结在表 3 中。首先,大多数指标缺乏历史数据,需要持续实时收集。虽然 AWS 提供最多三个月的抢占式实例价格历史,但 AWS 和 Azure 均未提供可用性分数或中断率的历史数据。其次,严格的查询约束限制了数据吞吐量。AWS 限制每个账户每天唯一的 SPS 查询为 50 次,Azure 允许...
数据集与指标
本节定义了整个后续分析中使用的数据集范围、指标定义和时间分析约定。
收集系统验证
产生上述 2025 年 6 月单节点数据集的收集系统沿三个维度进行评估,即查询优化有效性、操作开销和数据集质量。
表征数据集波动性
在收集系统验证并确认数据集质量后,剩余的实际问题是系统必须多么频繁地采样每个指标以避免错过有意义的变化。本节通过分析指标更新的时间动态来解决 RQ-1,以告知最佳收集策略。
单节点抢占式数据集分析
在建立收集方法、系统验证和采样策略之后,本文其余部分转向分析收集到的数据集。本节通过分析厂商之间单节点抢占式实例数据集的空间和时间特征来解决 RQ-2 和 RQ-3,为多节点分析建立基线。
多节点可用性分析
本节通过分析云厂商之间抢占式实例可用性随集群规模增加而退化的差异来解决 RQ-4。在 AWS 和 Azure 上拟合逆退化模型,以启用对退化形状、陡峭程度和可用性下限的直接定量比较。
现实世界验证实验
本节通过独立测试云厂商提供的 SPS 值是否预测实际的配置结果来解决 RQ-5。现有研究尚未解决此问题。先前的工作要么将这些指标作为评分和推荐系统的输入而不验证其预测能力,要么仅在单一云厂商上验证可用性。现实世界的可用性通过让每个工作节点发出抢占式实例请求、记录请求是否被满足并终止...
讨论
本节综合所有分析的结果并讨论局限性。
结论
本研究出现了两个主要发现。首先,多节点抢占式可用性在 AWS 和 Azure 上退化方式存在结构性差异。逆模型很好地拟合了两个云厂商,但 AWS 曲线在小型集群端陡峭程度大约相差一个数量级,跨类别的初始下降率大 12 到 45 倍,并且收敛到一个比 Azure 低得多的下限,因此集群规模感知的云厂商选择是一个具有后果的决策,而不是边际优化。其次,相同的...
CRediT 作者贡献声明
Jaeil Hwang:写作 – 审阅与编辑,写作 – 原稿,可视化,验证,软件,项目管理,方法论,形式化分析,数据整理,概念化。Taeyoon Kim:写作 – 审阅与编辑,可视化,形式化分析,数据整理。Kyungyong Lee:写作 – 审阅与编辑,监督,资源,项目管理,资金获取,概念化。
利益冲突声明
作者声明以下可能被视为潜在利益冲突的财务利益/个人关系:Kyungyong Lee 报告说获得了信息与通信技术规划与评估院 (IITP) 的财务支持。如果有其他作者,他们声明没有已知的竞争财务利益或个人关系,这些关系可能会影响本报告中工作。
致谢
本工作由韩国政府 (MSIT) 资助的信息与通信技术规划与评估院 (IITP) 资助 (RS-2020-II201373, RS-2022-00144309, RS-2025-25441560, 和 RS-2026-25507506) 支持。
Jaeil Hwang 是韩国首尔汉阳大学人工智能系的博士生。他的研究兴趣包括性能优化、云计算和机器学习。他获得了韩国首尔国民大学计算机科学硕士学位。
Jaeil Hwang|Taeyoon Kim|Kyungyong Lee
韩国首尔,04763,汉阳大学人工智能系
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号