基于深度强化学习的热点检测以实现增强的虚拟机整合

《Computer Communications》:Deep reinforcement learning-based hotspot detection for enhanced VM consolidation

【字体: 大 中 小 】 时间:2026年10月22日 来源:Computer Communications 4.2

编辑推荐:

   摘要在云数据中心中,过载的物理主机(称为热点主机)可能导致服务级别协议(SLA)违规和过高的能源消耗。虚拟机(VM)整合是解决这些问题的一项关键方案,而在此过程中,准确且及时地检测热点主机是关键的第一步。鉴于有效的资源管理对维持服务质量和能源效率的重要性,本文聚焦于数据中心中

  

摘要

在云数据中心中,过载的物理主机(称为热点主机)可能导致服务级别协议(SLA)违规和过高的能源消耗。虚拟机(VM)整合是解决这些问题的一项关键方案,而在此过程中,准确且及时地检测热点主机是关键的第一步。鉴于有效的资源管理对维持服务质量和能源效率的重要性,本文聚焦于数据中心中热点的及时且准确的检测。为应对这一挑战,我们提出了一种基于深度强化学习(DRL)的智能且主动的方法。具体而言,我们采用深度Q网络(DQN)使一个集中式智能体能够通过持续的环境交互来学习最优的过载检测策略。智能体接收状态信息并学会采取适当的动作,以防止过载发生同时提升整体效率。为了更有效地引导智能体的学习,我们定义了一种混合奖励结构,结合了反映局部决策精度的主机级奖励以及捕捉系统整体性能指标(如能源消耗和SLA违规)的全局奖励。在真实和合成工作负载上的仿真结果表明,所提出的方法在SLA违规和能源消耗方面均显著优于现有的虚拟机整合流程,降幅显著。

引言

基于云的服务的快速扩展已将数据中心转变为关键基础设施,其必须在保持高服务质量的同时高效管理资源 [1]。随着云工作负载变得越来越动态且难以预测,数据中心面临着维持性能和最小化能源消耗的重大挑战。其中一个关键问题是热点的发生,即主机因CPU或内存使用过度而变得过载。这些过载会导致响应时间增加、服务质量(QoS)下降以及SLA违规。然而,对此类事件的延迟或不恰当的反应可能导致不必要的虚拟机迁移,并进一步增加能源消耗 [2]。
在大规模云环境中,工作负载不平衡是一个常见问题。一些服务器可能面临很高的资源需求,而另一些服务器则处于低利用率状态。这种差异不仅危及性能,还导致能源使用效率低下和资源浪费。在此类环境中,有效的资源管理需要及时且准确地检测过载和轻载主机。具体而言,必须尽早识别热点主机,以便迁移虚拟机以防止SLA违规;而冷点或轻载主机则应通过关闭主机或切换到低功耗模式进行整合以减少功耗 [3]。即使是能源效率的适度改善,例如3%的降低,也能在谷歌、亚马逊和Facebook等公司运营的超大规模数据中心中带来可观的成本节约 [4]。
动态虚拟机整合已成为优化云数据中心资源管理的一项有效策略 [2]。该过程涉及四个主要子问题:(i) 识别过载主机,(ii) 识别轻载主机,(iii) 选择要迁移的虚拟机,以及 (iv) 确定虚拟机的合适目的地(虚拟机放置)。在这些阶段中,过载检测已通过被动和主动两种方法进行了研究 [5]。改进每个阶段都有助于提升整合性能和数据中心效率 [3]。本文聚焦于第一阶段,并提出了一种智能且主动的热点检测方法。
近年来,机器学习(ML)技术已被广泛用于云资源管理。传统的机器学习方法(如监督学习和无监督学习)在工作负载预测和异常检测方面展现了一定的潜力。然而,这些模型在需要基于实时反馈做出决策的动态环境中往往表现不足。强化学习(RL)通过与环境交互和奖励反馈来学习,更适合此类序贯决策任务。然而,像Q学习这样的经典RL算法在高维状态和动作空间中可能变得计算上不可行 [6]。
深度学习近期的进展在多个应用领域中展现了非凡的成功,包括计算机视觉 [7]、[8]、自然语言处理 [9]、[10] 以及软件安全。尽管如此,云资源管理由于其动态和序贯决策的特性而面临独特挑战,使得深度强化学习成为主动热点检测和虚拟机整合更为合适的方法。DRL利用深度神经网络作为价值函数或策略的函数逼近器,实现在高维和复杂环境中的学习。深度学习的泛化能力与强化学习的适应性相结合,使DRL成为数据中心资源管理的一个非常有效的工具。
本文提出了一种利用DQN算法的智能且主动的数据中心热点检测方法,DQN是DRL方法中最具代表性的算法之一。DQN将经典Q学习与深度神经网络相结合,使智能体能够在动态和不确定的环境中学习有效的决策策略。与监督学习方法不同,DQN不需要明确标注的数据;相反,它通过与环境交互并接收以奖励形式反馈的信号来学习最优行为。这一特性使智能体能够适应变化的工作负载、不同的资源利用情况甚至从未见过的条件,从而提供更有效的响应。此外,所提出的混合奖励函数整合了局部和全局目标,使DQN智能体能够及时做出热点检测决策,同时提升SLA合规性、减少能源消耗并最小化不必要的虚拟机迁移。总之,本文的贡献如下:
  • •
    对近期主动虚拟机整合方法进行了全面分类和综合,重点阐述了其在热点检测方面的优势和局限性。
  • •
    提出了一种基于DQN的主动热点检测框架,将过载主机检测建模为序贯决策问题,实现在动态云工作负载下的自适应检测。
  • •
    设计了一种同时纳入局部主机条件和全局数据中心目标的奖励函数,以提升SLA合规性和能源效率,同时减少不必要的虚拟机迁移。
  • •
    进行了全面的实验评估,证明了所提出的热点检测框架在能源消耗、SLA违规和虚拟机迁移开销方面优于现有方法。
本文其余部分结构如下:第2节回顾相关文献。第3节介绍所提出的模型架构和实现细节。第4节介绍仿真环境配置和评估指标。第5节提供实验结果和性能评估。最后,第6节总结全文并讨论未来工作方向。

各章节内容摘要

文献综述

在本节中,我们首先回顾深度强化学习的概念和基础。然后,我们回顾与提升虚拟机整合效率相关的工作,特别是在云数据中心中检测热点方面的研究。

所提方法

在本节中,我们首先描述作为我们方法基础的系统模型。然后,我们介绍用于检测数据中心中过载主机(热点)的DRL智能体,从而实现主动资源管理。接着,我们以数学形式表述该问题,定义目标函数和约束条件。最后,我们介绍学习算法并概述所提出的热点检测机制的整体工作流程。

实验评估

为了验证所提出的基于深度学习的热点检测方法的有效性和鲁棒性,我们使用CloudSim工具包进行了一组全面的仿真。CloudSim是一个成熟的云基础设施建模仿真框架。本节介绍仿真配置、所使用的真实工作负载数据特征、性能评估指标以及实验结果。

仿真结果与统计分析

在本节中,我们对不同算法获得的仿真结果进行了对比分析。为评估所提出的DRL_SH算法的有效性,我们采用了多种现有方法作为对比,包括来自参考文献[18]的线性回归(LR)、阈值法(THR)、中位绝对偏差(MAD)和四分位距(IQR)作为基准算法,以及参考文献[42]中提出的GNN(粒度神经网络)算法,该算法代表了最新的

结论与未来工作

本文提出了一种DRL-HD方法,用于云数据中心的高效资源管理。所提出的系统采用集中式决策和分布式执行框架,其中DRL智能体定期观测整体系统状态并识别过载主机以启动虚拟机迁移。该智能体使用DQN算法进行训练,并考虑了物理主机的CPU利用率模式。
我们的实验评估使用CloudSim以及真实和

CRediT作者贡献声明

Somayeh Rahmani:撰写——审稿与编辑,撰写——初稿,验证,软件,资源,方法论,概念构思。Vahid Khajehvand:撰写——审稿与编辑,撰写——初稿,验证,形式化分析。Mohsen Torabian:撰写——审稿与编辑,验证,方法论,形式化分析。

利益冲突声明

作者声明,他们没有已知的可能影响本文所报告工作的竞争性经济利益或个人关系。
Somayeh Rahmani|Vahid Khajehvand|Mohsen Torabian
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号