多GPU系统综合调研综述
《Parallel Computing》:A comprehensive survey on multi-GPU systems
【字体:
大
中
小
】
时间:2026年09月30日
来源:Parallel Computing 1.1
编辑推荐:
提供了现代多GPU系统的首个全面综述。回顾了体系结构设计、内存、缓存和互连方面的挑战。分析了近期针对多GPU性能的硬件/软件优化。指出了可扩展性、编程和安全方面的开放研究问题。概述了高效多GPU计算的未来方向。
引言
图形处理单元(GPU)越来越多地被用作多种新兴技术中的
提供了现代多GPU系统的首个全面综述。回顾了体系结构设计、内存、缓存和互连方面的挑战。分析了近期针对多GPU性能的硬件/软件优化。指出了可扩展性、编程和安全方面的开放研究问题。概述了高效多GPU计算的未来方向。引言图形处理单元(GPU)越来越多地被用作多种新兴技术中的主要处理器,以提升吞吐量和性能。GPU最初旨在处理渲染图像和视频所需的密集并行性,现已演变为功能强大的通用加速器。这种转变彻底革新了多个领域,如科学计算、人工智能(AI)、机器学习(ML)和模拟,实现了传统基于CPU的系统无法达到的进步。其高度并行的架构能够同时处理数千个线程,使GPU非常适合涉及大规模、数据密集型和计算密集型应用的任务。这种演变在研究和技术领域开辟了巨大的机遇,使复杂的模拟和数据分析成为可能。气候变化建模、分子动力学和天体物理学等领域现在都受益于GPU集群的强大性能,而这些性能此前只能通过超级计算机获得[1], [2], [3], [4], [5]。在深度学习和神经网络训练中,GPU通过加速矩阵运算大幅缩短了训练时间[6], [7]。GPU设计的持续进步,如流式多处理器(SM)数量的增加和单个GPU链路带宽的提升,在CMOS技术带来更高晶体管密度的推动下,进一步推动了这一进展。然而,摩尔定律的终结所带来的限制[8]制约了单GPU的可扩展性[9],向单个GPU添加更多计算资源已不再具有成本效益[10]。因此,大量研究工作致力于探索扩展GPU性能的新方法。多GPU系统最近作为一种有前景的解决方案出现,以应对现代应用日益增长的计算需求[11], [12]。单GPU架构在扩展以适应现代工作负载需求方面面临挑战。与此同时,多GPU系统通过提供更高的计算能力和更大的内存容量,提供了一个极具吸引力的解决方案。这些系统对于非常大的和深度神经网络、大规模模拟以及复杂的数据处理任务尤为有利。然而,向多GPU系统的转变带来了新的挑战,特别是GPU间通信效率低下和内存管理问题,这些限制了性能提升[13]。当前的技术,如首次接触需求分页,通常导致内存页面分布不平衡,以及由于频繁的数据迁移而产生的过多开销。这些低效率导致了负载不平衡和系统性能下降[13]。近期的进展引入了统一内存模型和程序员透明的解决方案,以简化多GPU编程并提升性能。这些解决方案通过自动化数据放置和迁移过程,将程序员的干预降至最低。例如,Griffin[13]是一种整体的硬件-软件解决方案,通过提高基于NUMA的多GPU系统中页面迁移的效率来解决这些挑战。通过采用新颖的运行时页面迁移和负载均衡机制,Griffin在最小化实现开销的同时显著提升了系统性能。尽管取得了这些进展,多GPU系统仍面临持久性的挑战,特别是需要重新工程化原本为单GPU环境优化的应用。点对点(P2P)访问[14]等技术提供了应对此类挑战的解决方案,但它们往往需要对现有代码库进行大量修改,阻碍了其广泛应用[15]。向多插槽设计的转变也可能需要新的编程范式,要求开发者适应复杂的NUMA配置[15]。多GPU系统日益增长的人气也归因于模拟工具的发展,例如在[16]中开发的工具,这些工具使探索多GPU架构变得更加可行。历史上,多GPU研究有限,早期工作通过特定实际应用展示可行性,而非提供广泛、系统的实验或对多GPU行为的全面探索[17], [18], [19]。早期确定的一个关键瓶颈是GPU之间以及GPU与CPU之间通信和内存管理的复杂性。值得注意的是,Kim等人提出了统一内存网络来解决这一挑战,将CPU和GPU内存整合到一个网络中以减少数据传输瓶颈[20]。这种方法继续启发当前的解决方案[13]。人工智能,特别是深度学习技术,正在快速演进,与此同时,模型规模也在显著增长。如图1所示,模型参数从2016年ResNet-50的2600万增长到了2025年Llama 4 Behemoth惊人的2万亿个[21], [22], [23], [24], [25], [26], [27], [28], [29], [30], [31], [32]。考虑到每个参数占用20字节的内存(在训练过程中)[21], [33],这意味着大模型需要40 TB的内存,这远远超出了单GPU的资源能力(例如NVIDIA A100只能使用80 GB的片上HBM,无法运行这些模型,即使使用高达数十TB的资源也不行)[21], [34]。因此,我们必须使用资源优化或分布式计算系统来处理如此庞大的模型。对多GPU分布式系统日益增长的依赖显著增加了GPU的需求,正如NVIDIA数据中心收入所示(图2),从2016年的3.39亿美元增长到2025年的1151亿美元[35], [36], [37], [38], [39], [40], [41], [42], [43], [44]。NVIDIA的DGX系统采用NVLink和NVSwitch技术,使多个GPU能够作为一个资源使用,从而构成多GPU系统,以满足分布式深度学习的密集计算需求。2024年发布的Blackwell GPU采用了多芯片模块(MCM)设计,实现了万亿参数模型和生成式AI应用的高效训练和部署[43]。这一转变是由ChatGPT和大型语言模型等工具的日益普及所推动的,使NVIDIA GPU在AI基础设施方面位居首位。正因如此,多GPU系统的需求超过了游戏业务对NVIDIA的需求[43]。在引言中概述的内存管理低效、通信瓶颈和负载不平衡等关键挑战的基础上,本综述对多GPU领域进行了全面考察。我们系统地探讨了奠定这一快速演变领域基础的基础概念和最新解决方案。本文的其余部分结构如下:第2节介绍了GPU和多GPU架构所需的背景知识,详细介绍了其核心组件和层次结构。第3节深入探讨了阻碍多GPU性能的主要挑战,重点关注内存和缓存管理、互连网络以及编程复杂性。针对这些挑战,第4节提供了对近期技术发展的深入回顾,分析了内存系统、互连、编程模型和安全方面的硬件和软件创新。最后,第5节概述了关键的未来方向,第6节为结论。章节片段背景现代GPU是专为并行计算设计的强大处理器,由数千个小核心组成,能够高效执行深度学习和数据密集型计算等复杂任务[45], [46]。第2.1节讨论了GPU的基本组件。多GPU系统通过组合多个GPU协同工作来扩展这一能力,显著加速处理速度,并提升自然语言处理等 demanding 应用的性能。多GPU系统的挑战在本节中,我们讨论了多GPU系统的挑战和局限性,包括:(1) 内存和缓存管理(3.1节),(2) 互连网络(3.2节),(3) 大规模部署(3.3节),(4) 编程(3.4节),以及(5) 安全(3.5节)。技术发展多GPU系统的技术进步涵盖多个关键领域,包括内存和缓存管理(4.1节)、互连技术(4.2节)、编程模型和编译器优化(4.3节),以及分布式环境中的安全(4.4节)。这些组件共同奠定了多GPU架构的性能、可扩展性和可靠性。本节介绍了最先进的多GPU技术,按照……进行分类。未来方向与趋势多GPU系统的未来演进与解决本综述中确定的架构和软件挑战密切相关。随着现代工作负载越来越多地超越单GPU平台的能力,可扩展的多GPU架构必须克服内存带宽、通信效率和可编程性方面的局限。新兴硬件技术,特别是内存层次结构和高性能互连方面的进展,预计将发挥重要作用。结论在本综述中,我们全面概述了多GPU系统,强调了它们在克服单GPU处理大规模、数据密集型应用局限性方面的重要作用。多GPU架构提供了增强的计算吞吐量和内存容量,这对于深度学习、科学模拟和大规模数据处理等 demanding 任务至关重要。尽管具有这些优势,这些系统仍面临重大挑战,包括……CRediT作者贡献声明**Atiyeh Gheibi-Fetrat:** 撰写——审阅与编辑,撰写——原稿,方法论。**Arad Maleki:** 撰写——原稿,方法论。**Sahand Zoufan:** 撰写——审阅与编辑,撰写——原稿,方法论。**Masoud Mohammadi-Lak:** 撰写——审阅与编辑,撰写——原稿,方法论。**Amirsaeed Ahmadi-Tonekaboni:** 撰写——原稿,方法论。**Mahdi Alinejad:** 撰写——原稿,方法论。**Komeil Yahyazadeh:** 撰写——原稿。**Mohammad Alizadeh:**利益冲突声明作者声明,他们没有已知的竞争性经济利益或个人关系,这些可能影响本文报告的工作。Atiyeh Gheibi-Fetrat | Arad Maleki | Sahand Zoufan | Masoud Mohammadi-Lak | Amirsaeed Ahmadi-Tonekaboni | Mahdi Alinejad | Komeil Yahyazadeh | Mohammad Alizadeh | Negar Akbarzadeh | Sina Darabi-moghaddam
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号