基于协同过滤与奇异值分解的服务器无感知工作负载动态资源配置方法AgnoSVD研究

《Array》:AgnoSVD: Dynamic resource allocation for serverless workloads using collaborative filtering

【字体: 大 中 小 】 时间:2025年12月28日 来源:Array 4.5

编辑推荐:

  本文针对服务器无感知计算中资源分配优化难题,提出了一种名为AgnoSVD的新方法。该方法利用奇异值分解(SVD)和协同过滤技术,通过隐式学习工作负载与资源配置之间的潜在关联,实现了对未知工作负载最优资源配置的预测。研究在Apache OpenWhisk和AWS Lambda平台上进行了验证,使用99个功能工作负载进行测试。结果表明,AgnoSVD仅需2次反馈迭代即可收敛,平均成本降低32.41%,平均速度提升5.18%,在预测准确性和效率上均优于现有先进方法。该研究为服务器无感知环境下的资源自动优化提供了高效、低开销且保护隐私的新思路。

  
在云计算领域,服务器无感知(Serverless)计算模式以其按需分配、自动扩缩容和成本效益高等特点受到广泛关注。然而,这种便利性背后隐藏着一个核心挑战:如何为千变万化的函数工作负载分配合适的计算资源?传统的服务器无服务平台通常采用“一刀切”的资源分配策略,或者将资源配置的责任推给开发者,这不仅导致了资源浪费和成本增加,也违背了服务器无感知“减轻用户管理负担”的初衷。更复杂的是,现实中的工作负载差异巨大,从简单的数据处理到复杂的人工智能模型训练,其资源需求模式各不相同,且输入参数的变化会进一步影响性能。现有的解决方案,如基于监控的方法或穷举搜索策略,要么引入显著的性能开销和隐私担忧,要么因搜索空间过大而效率低下。
为了应对这些挑战,来自孟加拉国工程技术大学(BUET)的研究团队在《Array》期刊上发表了他们的研究成果。他们开发了名为AgnoSVD的系统,其核心创新在于将推荐系统中成熟的协同过滤(Collaborative Filtering)技术应用于服务器无感知资源的配置预测。AgnoSVD的独特之处在于其“函数无关(Function-Agnostic)”的特性——它不需要深入了解函数内部的代码逻辑或资源使用细节,而是通过分析不同函数在各种资源配置下的执行历史(如执行时间),挖掘出工作负载和资源配置背后的“潜在因子(Latent Factors)”,从而预测新函数在未尝试过的配置上的性能。这种方法大大降低了对系统内部可见性的依赖,并减少了性能剖析的开销。
为了验证AgnoSVD的有效性,研究人员进行了一系列严谨的实验。他们选取了来自FunctionBench和ServerlessBench基准测试集的99个具有代表性的工作负载,涵盖了从微基准测试(如矩阵乘法、加密解密)到真实应用(如图像处理、视频转码),乃至机器学习模型训练和推理等多种场景。实验平台包括开源系统Apache OpenWhisk和商业平台AWS Lambda。研究团队比较了两种核心的学习算法:随机梯度下降(Stochastic Gradient Descent, SGD)和交替最小二乘法(Alternating Least Squares, ALS),并设定了三种优化目标:最小化执行时间(性能最优)、最小化执行成本、以及权衡性能与成本(成本*性能最优)。
关键技术方法
本研究的关键技术方法主要包括:1) 构建性能矩阵:将工作负载(行)在不同资源配置(列,如CPU核数和内存容量组合)下的归一化执行时间构建为稀疏矩阵。2) 矩阵分解模型:应用奇异值分解(SVD)将原始矩阵分解为工作负载潜在因子矩阵和资源配置潜在因子矩阵。3) 学习算法:采用交替最小二乘法(ALS)和随机梯度下降(SGD)两种算法来最小化预测值与实际观测值之间的正则化均方误差(RMSE)。4) 在线反馈机制:系统将函数在推荐配置上的实际执行结果作为反馈数据,增量更新训练矩阵,实现模型的自适应优化。5) 系统集成:将AgnoSVD作为预测插件与OpenWhisk控制器和调用器集成,实现资源配置的自动决策。
研究结果
6.3. 预测准确性
实验结果表明,AgnoSVD能够高效地预测接近最优的资源配置。在允许15%(T=15%)的误差阈值下,采用ALS算法的AgnoSVD(AgnoSVD: ALS)预测接近最优性能配置的概率达到90%,预测接近最优成本配置的概率达到85%,显著优于采用SGD的版本。将CPU和内存资源配置合并为一个联合矩阵进行建模(单一资源维度),相较于将两者分离为独立矩阵进行处理(分离资源维度),在捕捉资源间非线性交互方面表现更好,尤其在纯性能优化目标上优势明显。经过一轮反馈迭代后,模型的预测准确性得到进一步提升。
6.4. 与其他策略的比较
研究人员将AgnoSVD与几种现有方法进行了对比。与基于贝叶斯优化(Bayesian Optimization)的COSE方法相比,AgnoSVD在多维资源(CPU和内存)配置场景下表现更优,而COSE仅在单维资源(如内存)优化时效果较好。与依赖明确资源使用特征监控的Sizeless方法相比,AgnoSVD因其函数无关的特性,在面对复杂、异构的真实应用工作负载(如机器学习管道)时表现出更好的泛化能力,避免了Sizeless因特征工程不匹配导致的性能下降。总体而言,AgnoSVD: ALS实现了32.41%的平均成本降低和5.18%的平均性能加速,综合表现最佳。此外,AgnoSVD在剖析开销、训练时间和运行时开销方面均低于对比方法。
6.5. 变化输入大小下的性能
为了测试模型对工作负载动态变化的适应性,研究评估了当函数输入参数大小改变时AgnoSVD的表现。当训练集和测试集使用不同输入大小时,系统初始预测准确性会受到影响。然而,通过将新输入大小下的执行数据作为反馈纳入训练,模型能够快速适应,通常在一到两轮反馈后准确性即显著恢复。这证明了AgnoSVD在线学习和适应动态工作负载特征的能力。
6.6. 敏感性分析
通过对训练矩阵密度(行密度指工作负载被剖析的配置数量占比,列密度指用于训练的工作负载数量)的影响分析,研究发现AgnoSVD具有较好的鲁棒性。当行密度达到80%-90%时,模型性能趋于稳定。在训练数据量有限(冷启动场景)时,采用基于方差(Variance)或相似度(Similarity)的主动学习(Active Learning)策略选择训练数据,比随机选择策略能更快地达到可接受的预测精度。
研究结论与意义
本研究成功地将协同过滤和矩阵分解技术应用于服务器无感知计算资源分配领域,开发出高效、低开销的AgnoSVD系统。其主要结论在于:1) 基于潜在因子模型的协同过滤能够仅凭稀疏的性能剖析数据,有效学习工作负载与资源配置之间的复杂关系,实现准确的近最优配置预测。2) 交替最小二乘法(ALS)在大多数场景下比随机梯度下降(SGD)表现更稳定、更准确。3) AgnoSVD能够在极少(2次)的反馈迭代内收敛,并显著降低执行成本(平均32.41%)和提升性能(平均5.18%),优于现有的先进方法。4) 该系统设计为函数无关,避免了内部代码监控,减少了性能开销并增强了隐私保护。
这项研究的重要意义在于为服务器无感知平台提供了一种切实可行的自动化资源优化方案。它降低了用户的管理负担,使开发者能够更专注于业务逻辑,同时帮助云服务提供商提高资源利用率和系统性能。AgnoSVD所展示的基于隐式反馈和潜在因子学习的思想,对于构建更智能、更自适应、更“无感知”的下一代云计算基础设施具有重要的启示作用。未来,将该方法扩展到更大规模的异构环境、整合更先进的预测模型以处理非平稳性、以及支持更多维度的资源类型,将是进一步研究的方向。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号