《Telematics and Informatics Reports》:Transfer learning for IT operations: A comparison of statistical and neural time-series models for CPU utilization forecasting
编辑推荐:
中文翻译:
人工智能驱动的IT运维(AIOps)需要能够在异构云基础设施中兼具预测精度与低计算开销的预测模型。然而,现有研究很少在迁移学习(TL)和部署导向约束下对统计模型、循环神经网络模型和基于Transformer的预测模型进行比较。本文针对虚拟机和容器化
中文翻译:
人工智能驱动的IT运维(AIOps)需要能够在异构云基础设施中兼具预测精度与低计算开销的预测模型。然而,现有研究很少在迁移学习(TL)和部署导向约束下对统计模型、循环神经网络模型和基于Transformer的预测模型进行比较。本文针对虚拟机和容器化环境中的CPU利用率预测问题,提出了一种统计模型与神经时间序列预测模型的比较评估。研究人员分析了ARIMA、RNN、LSTM、双向LSTM(Bidirectional LSTM)、Informer、时间融合Transformer(TFT)以及VM-时间Transformer,并利用Microsoft Azure Trace与Alibaba Cloud Trace数据集之间进行迁移学习(TL)。模型在Azure虚拟机工作负载上进行预训练,并在Alibaba容器轨迹上进行微调,以评估跨异构基础设施的可移植性。结果表明,基于注意力的架构实现了具有竞争力的预测精度,其中Informer达到最小平均绝对误差(MAE)0.0267。然而,这些收益需要更高的推理延迟和更大的内存占用。相比之下,基于LSTM的架构在精度、推理速度和存储效率之间提供了最佳权衡,实现了亚毫秒级推理延迟(0.2361 ms)和紧凑的201 KB模型大小,同时在多个预测时域上保持了稳健的性能。研究表明,迁移学习(TL)能够实现虚拟机与容器化环境之间的有效知识迁移,提高了云和边缘基础设施工作负载预测模型的可移植性。除精度外,本文还提供了面向部署的延迟、存储占用和适应性分析,为资源受限的AIOps场景中选择预测架构提供了实用指南,以支持弹性和可持续的数字基础设施。
论文解读
一、研究背景与动机
随着现代网络物理系统和云原生架构的规模与复杂性不断增长,实时监控已成为关键任务。数据中心、边缘计算和物联网平台持续产生高频、高维的遥测数据,包括CPU利用率、内存消耗、磁盘I/O和网络吞吐量。这些大数据为通过人工智能模型管理IT运维提供了重要机遇。AIOps作为一种自主管理IT运维的方法论,利用基于历史应用与基础设施数据、系统日志和事件的预测、异常检测和根因分析模型,实现运维自动化。近年来,云原生计算的快速发展,特别是基于Kubernetes的编排和微服务架构的普及,进一步增加了系统复杂性和工作负载动态性。然而,计算资源的异构性以及云和边缘环境中工作负载的不确定性,给基于历史数据流的资源管理带来了重大挑战。准确预测工作负载对于防止服务降级、预判服务中断、确保系统弹性至关重要,同时能够支持预测性自动扩缩容机制,在性能瓶颈出现前动态分配资源,提高服务可用性和基础设施利用率。
尽管已有大量研究提出了从统计模型(如ARIMA、SARIMA、PROPHET)到神经网络模型(如RNN、LSTM、Bi-LSTM、Transformer)等多种计算资源预测方法,但现有文献尚未解决虚拟机与容器之间的训练迁移问题。随着容器化技术被广泛采用,资源分配必须适应更细粒度和更动态的执行环境。虽然容器比虚拟机具有更好的弹性和更快的编排能力,但其波动性大的工作负载给预测过程带来了新的挑战。当两种虚拟化方法结合使用(如计算连续体场景)时,还会产生更多挑战。因此,弥合为虚拟机开发的资源利用预测模型与容器需求之间的差距是一个重要课题。本文旨在研究两种虚拟化方法之间迁移学习的可能性——即探索在虚拟机工作负载轨迹上训练的预测模型如何有效适应容器化环境,从而解决跨异构虚拟化层泛化这一开放研究挑战。
二、研究内容与结论
本研究提出了一种统计模型与神经预测模型的系统比较框架,以解决CPU利用率预测问题,并采用从虚拟机到容器的迁移学习策略。研究在真实世界数据集上开展评估,具体而言,模型先在Microsoft Azure虚拟机轨迹上进行预训练,再在Alibaba容器轨迹上进行微调,从而实现跨不同虚拟化层的知识迁移。研究评估涵盖多种预测方法,包括经典统计模型(ARIMA)、循环神经网络(RNN、LSTM、Bi-LSTM)以及近期基于注意力的时间序列预测架构(如Informer、TFT、VM-Temporal Transformer)。与现有比较基准研究不同,该评估框架超越了单纯预测精度,同时评估推理延迟和存储占用,为资源受限云环境中的模型选择提供了面向部署的实证依据。
实验结果表明,基于注意力的架构能够实现具有竞争力的预测精度,其中Informer在源域迁移后达到最低MAE 0.0267;在目标域Alibaba数据集上,LSTM在所有测试配置中取得最佳整体性能,R2值介于0.9149至0.9458之间。然而,注意力机制带来的性能优势需要更高的推理延迟和更大的内存占用。相比之下,基于LSTM的架构在精度、推理速度和存储效率之间提供了最佳平衡,实现了亚毫秒级推理延迟(0.2361 ms)和紧凑的201 KB模型大小,同时在多个预测时域上保持稳健性能。研究证明,迁移学习能够实现虚拟机与容器化环境之间的有效知识迁移,提高跨异构云和边缘基础设施的工作负载预测模型可移植性。该研究为资源受限的AIOps场景中预测架构的选择提供了实用指南,支持构建弹性、可持续的数字基础设施。
三、关键技术方法
本研究采用以下主要技术方法:(1)利用Microsoft Azure Trace数据集(选自虚拟机轨迹)和Alibaba Cloud Trace数据集(选自容器轨迹)作为迁移学习的源域和目标域;(2)对数据进行预处理,包括从原始文件中提取单个虚拟机/容器的CPU利用率序列,并将Alibaba数据通过非重叠300秒窗口均值聚合重采样,以对齐Azure原生300秒采样间隔;(3)采用最小-最大归一化将数据缩放到[0,1]范围,并按70%、15%、15%划分为训练集、验证集和测试集,同时在训练集和验证集之间引入间隙以防止信息泄漏;(4)构建并训练多种预测模型,包括ARIMA(作为局部统计基线,采用ARIMA(2,1,0)配置,基于MLE估计系数)、RNN(两层堆叠、64隐藏单元、dropout 0.2)、LSTM(2层LSTM单元)、Bi-LSTM(双向LSTM层,前后向隐藏状态拼接)、TFT(门控残差网络、变量选择网络、LSTM编码器-解码器、4头自注意力、128隐藏单元)、VM-Temporal Transformer(3层堆叠时间Transformer层、8个注意力头、d_model=192、因果掩码、可学习的VM嵌入和时间嵌入)以及Informer(4头多尺度自注意力、sinusoidal位置编码、d_model=64、前馈网络维度256);(5)采用两阶段训练策略:先在Azure数据集上预训练,再在Alibaba数据集上微调,微调学习率降低一个数量级,并采用早停机制防止过拟合;(6)通过R2、MSE、RMSE、MAE、平均推理延迟和模型存储大小等多维度指标评估模型性能。
四、研究结果
5.3 Azure数据集预测精度:在Azure数据集上使用专门训练的模型进行测试时,神经模型在测试的回看窗口和预测时域上表现出稳定的预测性能。LSTM在大多数配置中取得最低的MSE、RMSE和MAE值,而TFT和Bi-LSTM在若干情况下获得最高的R2值。该结果表明循环架构在源域数据上具有较强的时间依赖捕捉能力。
5.4 迁移学习后Azure数据集预测精度:在迁移学习阶段之后对Azure数据集进行测试时,迁移模型在源域上保持了可比较的性能,其中Bi-LSTM在多种配置中获得最佳R2值,Informer在W=12且h=1配置下取得最低MAE值0.0267。该发现表明微调过程未导致严重的灾难性遗忘,模型的源域知识得到了较好的保留。
5.5 Alibaba数据集预测精度:在Alibaba数据集上微调后进行测试时,LSTM在所有配置中取得最佳性能,R2值范围从0.9149到0.9458。ARIMA在所有测试窗口和时域上的精度均低于神经模型。该结果证明通过迁移学习,模型能够有效适应容器化目标环境,其中LSTM展现出最优的跨环境泛化能力。
5.6 推理延迟与模型大小:RNN和LSTM实现了最低的平均推理延迟,分别为0.1673 ms和0.2361 ms。基于Transformer的架构要求更高的延迟,其中VM-Temporal Transformer为1.2748 ms,TFT为1.0342 ms,而ARIMA的推理时间最高,达到18.8515 ms。在存储占用方面,RNN最小(53 KB),其次为LSTM(201 KB),VM-Temporal Transformer最大(3.2 MB)。该结果表明LSTM在部署效率方面具有显著优势。
5.7 定性预测结果:在Azure数据集和Alibaba数据集上的定性比较显示,各模型预测曲线总体能够跟随真实利用率的时序模式。循环模型在局部波动期间提供的预测与真实信号保持接近,而基于注意力的模型在部分高度波动区域倾向于产生更平滑的轨迹。附加的Azure比较图进一步表明,该行为在不同利用率状态(包括突发型工作负载、中等利用率轨迹和低利用率轨迹)中得以保持。
五、讨论与结论
讨论部分指出,AIOps工作负载预测的模型选择不应仅由预测精度驱动,还需要考虑推理延迟、内存占用、跨预测时域的稳健性以及跨异构环境的可移植性等部署约束。注意力架构虽能捕捉长程时间依赖,但其额外建模能力可能带来更高的推理延迟和更大的存储需求。相反,LSTM架构在预测精度和部署效率之间提供了最佳平衡,这与循环架构在建模短期依赖和非线性工作负载动态方面的有效性一致。研究还表明,迁移学习能够有效将虚拟机环境中学习的时间工作负载模式部分迁移到容器化环境,从而减少在引入新基础设施层或部署范式时从头训练模型的需求。与ARIMA的比较进一步阐明,尽管ARIMA作为可解释基线仍有价值,但其局部拟合程序导致推理速度显著低于神经模型,不适合大规模低延迟AIOps流水线。定性分析支持了LSTM在捕捉局部波动和短期变化方面的有效性。
研究结论指出,实验结果凸显了模型复杂度与运营效率之间的显著权衡。基于LSTM的模型被证实是在模型精度、推理时间和内存占用之间取得最佳平衡的方案,非常适合资源约束是服务部署与管理关键因素的AIOps场景。传统统计基线如ARIMA由于平均推理延迟约18.8515 ms,比LSTM慢近80倍,且在各回看窗口下R2分数普遍较低,被证明不适用于实时连续体应用。通过结合两个不同数据集进行迁移学习并考虑模型适应性,研究验证了深度学习模型能够有效捕获跨不同抽象层(虚拟机与容器)的通用工作负载模式。该研究为AIOps模型选择提供了实践性证据,强调应基于精度、延迟、内存占用和跨异构环境可迁移性的均衡评估而非仅依赖预测精度。未来工作将向多元预测扩展,纳入内存和网络利用率等其他资源指标,考虑更多虚拟机与容器及更长历史以增加窗口大小,并整合联邦与分布式学习策略以实现边缘的隐私保护去中心化工作负载预测,最终将模型嵌入预测性调度与编排框架以评估其对真实连续体基础设施的影响。