异构混合服务器上并行混合程序的并发正交软件功耗计:实现精准运行时能耗分析的新方法

《IEEE Transactions on Parallel and Distributed Systems》:Concurrent and Orthogonal Software Power Meters for Accurate Runtime Energy Profiling of Parallel Hybrid Programs on Heterogeneous Hybrid Servers

【字体: 大 中 小 】 时间:2025年12月09日 来源:IEEE Transactions on Parallel and Distributed Systems 6

编辑推荐:

  本文针对异构混合服务器上并行混合程序运行时能耗分析不准确的问题,提出了一种开发并发且正交的平台级软件功耗计的方法论。研究通过性能事件构建线性能量预测模型,在三种包含Intel多核CPU和Nvidia GPU的服务器上验证表明,动态能耗的平均预测误差仅为2.5%,为异构计算的能耗优化提供了可靠工具。

  
在高性能计算(HPC)集群、数据中心和云平台等高端数字平台中,配备加速器的异构混合服务器已无处不在。然而,在这些服务器上对并行混合程序进行运行时能耗分析一直是个棘手难题。传统方法要么成本高昂,要么精度不足,难以准确捕捉程序中不同并行计算和通信活动所消耗的能量。这就像试图在嘈杂的工厂里分辨出每台机器独自的耗电量——背景噪音太大,单独测量又太费时费力。
目前主流的能耗分析方法主要有三种:使用外部功耗计进行系统级物理测量、利用片上功率传感器读数,以及基于性能事件的能量预测模型。其中,基于性能事件的软件功耗计因其成本效益和高精度潜力而备受关注。它们通过监测运行时可测量的软硬件活动(即性能事件)来预测能耗,就像通过观察汽车的转速、油耗等指标来估算其总能耗一样,既直接又高效。
然而,现有的软件功耗计在应对并行混合程序时却显得力不从心。当程序中的计算和通信活动同时进行时,这些功耗计无法准确、可靠地分别测量每个活动的能耗。问题的核心在于,它们缺乏两个关键特性:并发性(Concurrency)和正交性(Orthogonality)。并发性指的是多个功耗计能否同时收集各自的性能事件;正交性则要求测量不同活动的功耗计互不干扰,即使这些活动并行执行,也能给出准确的独立能耗读数。没有这两把“刷子”,动态优化异构服务器上程序的性能和能耗就无从谈起。
为了解决这一瓶颈,研究人员在《IEEE Transactions on Parallel and Distributed Systems》上发表了他们的最新成果。他们旨在开发一种新颖的方法论,用于构建具有并发性和正交性的平台级软件功耗计,从而实现对异构混合服务器上并行混合程序运行时能耗的精准分析。
为开展研究,研究人员主要应用了几项关键技术方法。首先,他们提出了一种快速的性能事件选择流程,该流程结合了基于处理器架构的自然分组、可加性测试、能量预测模型理论以及高正相关性分析,以筛选出适合构建并发正交功耗计的性能事件集合。其次,他们利用Likwid性能分析工具包提供的性能事件,为CPU计算和CPU与GPU之间的数据传输活动构建了平台级的线性动态能量预测模型。对于GPU计算活动,则采用了Nvidia管理库(NVML)提供的片上传感器读数,因为研究发现从A40 GPU一代开始,其精度已足够可靠。该研究在三种不同的异构混合服务器(Haswell K40c, Skylake P100, Icelake A40)上进行了验证,并使用了矩阵加法(HDGEADD)、矩阵乘法(HDGEMM)和二维快速傅里叶变换(HFFT2D)三种并行混合程序作为测试用例,通过严格的统计方法(如Student‘s t-test)确保实验数据的可靠性。
并发性与正交性的定义与重要性
研究首先明确定义了软件功耗计的并发性和正交性。并发性要求所有功耗计能够在其感测的计算和通信活动并发执行时,同步且准确地收集各自的性能事件集合。正交性则意味着,一对用于测量两个独立供电活动的功耗计,无论这些活动是串行还是并行执行,都能精确可靠地测量其能量消耗,且互不影响。实现正交性的一个关键条件是功耗计使用的性能事件集合必须互不相交。这些属性的定义为后续方法论奠定了基础。
构建并发正交软件功耗计的方法论
研究人员提出了一套详细的方法论来构造满足上述属性的软件功耗计。该方法论的核心是一个四阶段的快速性能事件选择流程:第一阶段基于复合应用程序筛选出高可加性(可加性误差≤A)且与动态能耗高度正相关(≥ρ)的性能事件;第二阶段根据处理器架构(Likwid定义的性能监控计数器组)和活动类型(CPU计算、主机到GPU传输、GPU到主机传输),将筛选出的事件划分到不同的集合中,并利用阈值τ确保事件对特定活动具有高特异性;第三阶段使用精心设计的合成并行混合基准程序,分析并行执行独立活动对性能事件计数的干扰,剔除那些计数会受到其他并行活动影响的事件,以强化正交性;第四阶段则通过分析事件组内和组间的相关性,剔除冗余事件,确保所有事件能在单次程序运行中同时被采集,从而实现并发性。该方法论最终输出适用于特定平台的、并发且正交的性能事件集合,用于构建线性能量预测模型。
软件功耗计API的设计
为了便于集成和使用,研究还设计了一套软件功耗计应用程序编程接口(API)。该API提供了创建计算功耗计(hcl_create_power_cmeter)和数据传输功耗计(hcl_create_power_dmeter)的函数,以及启动(hcl_start_power_meters)、停止(hcl_stop_power_meters)和释放(hcl_free_power_meters)功耗计操作的函数。研究人员通过一个在Icelake A40 GPU服务器上运行的并行混合矩阵乘法应用示例,演示了如何利用该API对程序中并发的CPU计算、GPU计算以及双向数据传输活动进行能耗监控。
实验验证与结果分析
实验结果表明,研究所提出的软件功耗计在三种异构混合服务器上均表现出高精度。在Icelake A40服务器上,CPU计算功耗计的平均预测误差为2.5%,四种数据传输(CPU与两个A40 GPU之间的双向传输)功耗计的平均预测误差也为2.5%。对于GPU计算,虽然基于NVML的功耗计平均预测误差稍高(5%),但仍处于可接受范围。相比之下,直接使用硬件功耗计三次重复测量的平均值与真实值相比,误差高达25%。更重要的是,研究证实了这些功耗计确实具备并发性和正交性:当特定活动未发生时,相应的功耗计报告可忽略的能耗;当活动并行发生时,各功耗计能准确报告其目标活动的能耗,且能耗之和与程序在该时段的总动态能耗一致。研究还指出,相同的平台级功耗计无需任何修改即可准确分析三种不同的并行混合程序,证明了其通用性。
本研究成功定义并实现了软件功耗计的关键属性——并发性与正交性,并提出了一套行之有效的方法论来构建此类功耗计。实验在三种不同代的异构混合服务器上验证了其高准确度(平均预测误差2.5%)和有效性。这项工作解决了并行混合程序在异构平台上运行时能耗精准分析的难题,为动态优化此类程序的性能和能效提供了强有力的工具。所开发的软件功耗计API也为其实际应用提供了便利。未来工作可探索将类似方法论应用于GPU计算的能量预测模型,以进一步提升其精度,并利用这些功耗计进行实际的运行时能耗优化。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号