《Parallel Computing》:Performance evaluation of the OpenACC API targeting multi-GPU data transfers: A case study of porting parallel 3D sweeping algorithms for geological folding
编辑推荐:
现代计算中GPU日益普及,既带来了性能机遇,也带来了编程挑战。异构CPU+GPU编程的复杂性以及将现有代码适配到特定架构所耗费的时间,常常阻碍性能优化。研究人员针对在单个计算节点内使用多个GPU的场景,对OpenACC API在各种数据传输方法下的性能进行了评
现代计算中GPU日益普及,既带来了性能机遇,也带来了编程挑战。异构CPU+GPU编程的复杂性以及将现有代码适配到特定架构所耗费的时间,常常阻碍性能优化。研究人员针对在单个计算节点内使用多个GPU的场景,对OpenACC API在各种数据传输方法下的性能进行了评估。通过一组微基准测试,研究人员首先定量研究了OpenACC支持的多种数据通信场景,涵盖高层级和低层级API,其中低层级API包括同步、异步及点对点(P2P)变体。随后,研究人员展示了如何利用OpenACC将三维并行推进法(3DPMM)——一种用于绘制地壳图的地质褶皱算法——卸载到GPU上执行。在多个GPU之间并行化所涉及的三维模板计算时,需要同时支持GPU间边界面的标准halo通信以及GPU之间的非标准体积数据重排。因此,正确使用OpenACC API至关重要。为研究3DPMM算法的并行能力,研究人员采用了三维计算域,并评估了各方向网格大小从128到1280的情况。研究结果表明,对于不超过7683的网格大小,单GPU配置的性能优于使用2个和4个GPU的配置,后者分别出现最高50%和35%的性能下降。相反,对于大于7683的问题规模,使用4个GPU相比1个和2个GPU表现出性能优势,平均加速比约为25%。
**论文解读:OpenACC多GPU数据传输性能评估——以3DPMM地质褶皱算法移植为例**
**1. 研究背景与问题**
现代超级计算机普遍配备GPU以追求高浮点运算性能,单个计算节点内常集成多块GPU(如4块H100提供高达320GB显存),使得中等规模科学计算可在单节点内完成。然而,将现有C/C++或Fortran科学代码移植到GPU架构面临重大挑战:低层编程模型(CUDA、OpenCL、SYCL)虽性能优越,但需大量重写代码且难以通用化;高层指令式模型(如OpenACC)有望以较低编程复杂度获得接近低层模型的性能。在多GPU场景下,节点内GPU间数据传输(经由CPU中转或直接P2P)的效率成为关键瓶颈,而现有研究对OpenACC多GPU数据传输的系统评估尚不充分。为此,研究人员提出以下问题:OpenACC API在多GPU数据传输中是否与特定架构和编译器兼容?相比单GPU,多GPU能否带来实际性能提升?CPU-GPU及GPU-GPU(P2P)传输可达到何种带宽?同步与异步传输在不同场景下是否符合预期?本研究旨在通过微基准测试和真实应用案例回答这些问题。
**2. 研究内容与结论**
研究人员以OpenACC为编程模型,针对单节点多GPU环境,系统评估了多种数据传输方法(同步、异步、P2P)的性能,并以地质褶皱模拟算法3DPMM为实例,实现了多种OpenACC多GPU并行版本,与CUDA版本进行对比。主要结论包括:同步和异步(经由PCIe)数据传输中OpenACC与CUDA性能相当;P2P(经由NVLink)传输中OpenACC显著慢于CUDA(4 GPU全交换时约慢9倍);在3DPMM应用中,网格规模>7683时4 GPU配置相比单GPU平均加速约25%,而≤7683时单GPU更优。OpenACC在多GPU编程中具有可行性和易用性,但P2P支持及内核执行效率(SIMD类模型)逊于CUDA(SIMT模型)。
**3. 关键技术方法**
研究人员使用了多项关键技术方法。首先设计了三类微基准测试(Microbenchmark-1同步内存拷贝、Microbenchmark-2异步内存拷贝、Microbenchmark-3 P2P内存拷贝),分别评估CUDA和OpenACC在单GPU、双GPU、四GPU等不同场景下的数据传输带宽。其次,在硬件平台(单节点4块NVIDIA A100 40GB SXM GPU,NVLink-3连接,PCIe Gen 4)上,使用Nvidia HPC SDK 23.7(OpenACC)和CUDA 12.2(CUDA),编译并运行了3DPMM算法的多种实现变体。具体实现包括:OpenACC单GPU高/低层API版本、多GPU基础版、流版、OpenMP多线程版和P2P版,以及对应的CUDA多GPU参考版本。研究还采用了成本模型(数据传输时间公式\(T_{\text{transfer}}(N)=V(N)/\text{BW}\))和幂律模型(\(T_{\text{SG}}^{\text{pred}}=\alpha N^{\beta}\))对多GPU执行时间进行预测和验证,并在NVIDIA H100 GPU上重复了性能测试以验证结论的普适性。
**4. 研究结果**
**4.1 OpenACC各版本性能比较**:通过对比图6中不同网格规模(5123至12803)下各OpenACC版本的运行时间,发现单GPU Version-1(高层API)比Version-2(低层API)平均慢约30%,低层API直接显存分配带来约35%的性能提升。多GPU Version-1(基础同步版)因数据划分和halo通信开销而慢于单GPU;Version-2(流版)通过流实现重叠略有改善;Version-3(OpenMP多线程版)因并行启动多个GPU内核而显著提速;Version-4(P2P版)在进行数据重排时采用P2P传输,进一步缩短计算时间。2-GPU Version-4仍慢于单GPU,但4-GPU Version-4在网格≥7683时开始超越单GPU,在10243及更大规模下平均加速约25%。
**4.2 计算块与数据传输时间分析**:通过图7对不同计算块(x、y、z方向扫描及数据重排)的时间分解,发现数据重排是多GPU执行中最耗时的部分。P2P传输虽在OpenACC中效率不如CUDA,但仍优于同步/异步方式。并行启动多设备显著减少了执行时间,流与多线程结合在4-GPU设置下效果更明显。
**4.3 CUDA与OpenACC对比**:图8显示CUDA版本整体快于OpenACC版本。差异来源包括:顺序执行API时OpenACC有明显延迟;异步内存拷贝两者带宽接近,但内核计算OpenACC约慢25%;P2P效率方面CUDA显著占优,表2显示OpenACC P2P时间远超CUDA(例如7683规模2 GPU时CUDA 0.1005s vs OpenACC 0.5831s);内核执行模型上CUDA的SIMT模式优于OpenACC的SIMD类模式(表3);数据重排调用中尽管无算术计算,CUDA仍快于OpenACC(表4)。
**4.4 数据传输时间分析**:利用微基准测试测量的P2P带宽(2 GPU时19.023 GB/s,4 GPU时21.981 GB/s)和公式(2)(3),估算了16次数据重排步骤的传输时间,与实测误差在-0.65%至-5.45%之间,验证了微基准带宽可用于精确预测实际应用中的数据传输成本。
**4.5 多GPU时间模型**:基于幂律拟合单GPU时间(\(\alpha=1.787\times10^{-7}, \beta=0.889\)),并结合数据传输模型(5)预测4-GPU执行时间,预测值在网格≥7683时低于单GPU预测值,与实际测量(表6)一致,表明模型能有效捕捉多GPU加速趋势。
**4.6 新架构验证**:在NVIDIA H100 GPU上重复测试,结果与A100性能模式相似(图11),总体运行时间更低,表明OpenACC跨NVIDIA GPU架构具有良好的可移植性和一致性。
**5. 总结与讨论**
讨论部分指出,OpenACC在同步和异步(经PCIe中转)数据传输中与CUDA性能接近,但P2P能力受限于编译器实现和NVLink集成,导致性能远低于CUDA。内核执行方面,OpenACC的SIMD类模型与CUDA的SIMT模型存在差异,使得嵌套循环计算慢约25%。对于多GPU使用策略,数据重排开销是主要瓶颈,P2P虽改善但仍不及CUDA。整体而言,OpenACC提供了比CUDA更友好的编程接口,适合快速移植科学代码,但追求极致性能时需依赖低层API并需接受部分功能(如P2P)的当前局限。
研究结论翻译:本研究中,研究人员开发并执行了微基准测试,以评估在同一计算节点内使用多个GPU时OpenACC的各种数据传输技术。研究结果表明,对于经由主机CPU通过PCIe进行的同步和异步操作,OpenACC与CUDA API的性能相当。然而,在通过NVLink直接进行P2P通信的场景下,CUDA表现出优于OpenACC的性能。例如,当四个GPU同时相互发送和接收数据时,OpenACC的P2P实现比CUDA慢约9倍。这一差异可归因于NVHPC编译器中OpenACC API的具体实现方式及其与NVLink技术的集成方式。此外,在真实应用3DPMM的多GPU配置中,异步数据传输方法(经主机CPU中转)在CUDA和OpenACC之间表现出相似性能,尽管CUDA仍保持性能优势。造成这一差异的重要因素是执行模型:CUDA采用SIMT方法,而OpenACC依赖类似SIMD的模型,导致OpenACC卸载的内核计算比CUDA慢约25%,特别是在3DPMM应用中涉及的嵌套循环情况下。进一步地,研究人员对OpenACC多GPU Version-4(4 GPU,P2P)的性能分析显示,与单GPU实现的最佳结果相比,在网格规模1024及以上时平均加速25%。这凸显了在模板计算(如3DPMM)中使用多GPU可获得的显著性能提升,特别是在大规模高性能计算模拟中。