通过模式感知检查点/重启实现MPI记录重放的轻量级容错
《Future Generation Computer Systems》:Lightweight fault tolerance for MPI record-and-replay via mode-aware checkpoint/restart
【字体:
大
中
小
】
时间:2026年10月22日
来源:Future Generation Computer Systems 6.2
编辑推荐:
摘要随着高性能计算(HPC)进入百亿亿次时代,系统规模的指数级增长导致平均故障间隔时间(MTBF)急剧下降。像 rempi 这样的轻量级 MPI 记录与重放工具在调试非确定性并行应用程序方面发挥着重要作用。然而,这些工具缺乏原生容错能力,并且在记录和重放模式下都严重依赖日志的
摘要
随着高性能计算(HPC)进入百亿亿次时代,系统规模的指数级增长导致平均故障间隔时间(MTBF)急剧下降。像 rempi 这样的轻量级 MPI 记录与重放工具在调试非确定性并行应用程序方面发挥着重要作用。然而,这些工具缺乏原生容错能力,并且在记录和重放模式下都严重依赖日志的完整性。在处理大量日志时,传统的故障恢复需要从头开始完全重新记录或重新读取,产生了巨大的 I/O 开销并浪费了相当多的计算资源。此外,通用检查点/恢复(C/R)技术采用的统一状态保存策略无法适应此类工具的双模式执行特性。为了解决这一局限性,我们提出了 rempi-C/R,这是一种专门针对 MPI 记录与重放工具量身定制的模式感知容错方案。该机制为两种执行模式采用定制化的差异化 C/R 策略,仅捕获反映执行进度所需的最小状态。为了展示其非侵入式可移植性,该方案通过动态库注入无缝集成到 VELOC 框架中,实现了无需修改应用程序代码的透明调用。在日本理化学研究所部署的 HOKUSAI BigWaterfall2 超级计算机上使用五个经典 HPC 基准进行的实验表明,rempi-C/R 在所有测试的节点规模和工作负载场景中均实现了鲁棒的故障恢复。该机制将存储开销限制为每个进程仅 12 字节,并引入低于 3% 的增量运行时开销,为多样化的 MPI 应用程序提供了高度可扩展且轻量的基础,显著降低了重启成本和调试开销。
引言
随着高性能计算(HPC)系统持续向百亿亿次规模扩展,其节点数和核心数大幅增长 [1]。基于消息传递接口(MPI)的并行应用程序已成为解决科学模拟 [2]、天气预报 [3]、量子计算 [4] 和生物医学 [2] 等领域计算密集型问题的必要载体。然而,系统复杂度的增加直接导致了故障频率的急剧上升,包括硬件故障、软件异常和网络中断 [5], [6], [7], [8]。当前 peta 级 HPC 系统的平均故障间隔时间(MTBF)已降至天级,而对于百亿亿次系统则进一步缩短至分钟级 [9]。由故障引起的程序中断不仅浪费了巨大的计算资源,还迫使长时间运行的 MPI 应用程序从零开始完全重新启动 [3]。
检查点/恢复(C/R)[10], [11], [12], [13] 技术作为 HPC 领域最成熟的容错方法 [14],有效减少了故障造成的计算损失。它通过定期捕获并持久存储应用程序执行状态,然后在故障发生后从最近的检查点恢复计算,而不是从零开始 [15]。这项技术已超越传统 HPC,扩展到机器学习和大数据分析等分布式计算场景 [16],成为支持大规模并行应用程序稳定运行的基础系统。
rempi [17] 是一种轻量级 MPI 应用程序记录与重放工具,它通过 PMPI(性能分析 MPI)接口拦截并记录 MPI 通信事件的时间特性,并确保进程在重放阶段按照记录的事件顺序执行。这种方法实现了 MPI 应用程序非确定性执行轨迹的精确重现 [3]。这些能力使 rempi 成为调试并行应用程序中非确定性错误、验证并行算法正确性以及优化应用程序性能的有效工具。与传统的 MPICH Debug 模式相比,其性能开销减少了约 30%,在调试中小型 MPI 应用程序方面具有显著优势 [9]。然而,rempi 缺乏原生容错能力。其记录和重放过程严重依赖日志完整性:如果在记录阶段程序崩溃,必须重新执行并完整记录所有 MPI 事件。如果在重放阶段发生节点故障,系统必须从记录文件的开头重新读取并执行。对于在生产调试场景中可能达到 GB/TB 规模的日志量,这一局限性带来了巨大的 I/O 开销 [18]。此外,rempi 的记录和重放模式在操作逻辑、数据依赖和 I/O 特性方面存在根本差异。通用 C/R 技术采用统一的状态保存范式,这与 rempi 的双模式执行语义根本不兼容。直接未经修改的集成会触发致命的状态不一致,完全使 rempi 的记录和重放管道失效。
为了解决这些问题,本文提出了一种模式感知的 rempi 检查点和恢复机制(rempi-C/R)。该机制针对 rempi 记录和重放双模式的差异化特性设计了定制的 C/R 策略,仅捕获反映 rempi 执行状态的最小必要信息。这种方法以极低的存储和操作开销增强了其容错能力。同时,该机制无缝集成到 VELOC(极低开销检查点系统)[13] 中。在保留 VELOC 原始接口和功能的同时,实现了对普通 MPI 应用程序和 rempi 应用程序的 C/R 功能的统一调用。用户可以通过动态库注入启用 rempi-C/R 功能,而无需修改应用程序代码。
本文的贡献如下:
- 1.
双模式差异化检查点设计:对于记录模式,仅保存文件偏移量,以便与 VELOC 协同恢复 MPI 状态和 rempi 记录进度。对于重放模式,提出了一种基于事件队列锁定的偏移量计算模型,以生成精确的检查点并避免大量的日志 I/O 开销。
- 2.
轻量级 rempi 状态捕获与恢复:每个进程检查点仅占用 12 字节,实现了严格的每进程 O(1) 复杂度。设计了同步状态写入和线程安全的队列锁定机制,以保证检查点的一致性和可靠性。
- 3.
与原生 VELOC 的无缝集成:提出了一种“函数重命名 + 串行嵌入”方案。原生 VELOC 的函数被重命名为 PVELOC_* 并保留全部功能,并在关键的检查点/恢复节点嵌入了专用的 rempi-C/R 接口。集成后的框架被封装为动态库,并通过 LD_PRELOAD 透明调用。
- 4.
实验验证:在 1–64 个节点上的经典 HPC 基准进行评估,rempi-C/R 机制在所有测试场景中成功完成故障恢复。通过跳过故障前已完成的重冗余 I/O 和计算,恢复特定开销仅占总运行时间的很小一部分。
为了表述清晰,本文明确区分了该框架的两种变体:原始的 VELOC 框架称为 原生 VELOC,而扩展了本工作提出的模式感知 rempi-C/R 机制的 VELOC 框架称为 提出的 VELOC。这种区分纯粹是为了叙述清晰,与实现中使用的函数名无关,函数名在第 3.3 节中描述。
章节片段
容错模型与 C/R 技术
百亿亿次计算系统的容错设计必须解决三个基本组成部分:故障检测、状态保存和故障恢复 [19]。C/R 技术是实现状态保存和恢复的主要手段。其原理是将应用程序的执行状态以“快照”的形式定期写入持久存储 [20],使程序能够在故障发生后从最新快照恢复运行 [21]。
对于 MPI 并行
提出方法
rempi-C/R 设计的一个基本前提是记录文件采用未压缩的二进制格式,其中每个 MPI 事件遵循严格的固定长度结构,包含八个整数字段(如图 1 所示)。在未压缩模式下,记录文件偏移量随事件数量线性扩展,支持确定性的偏移量驱动状态捕获和恢复。虽然 rempi 支持用于跟踪归档的可选压缩,但压缩是在事件块上进行的。这种块级压缩是
硬件和系统软件
本文中的所有实验均在日本理化学研究所部署的 HOKUSAI BigWaterfall2 (HBW2) 超级计算机系统上进行。所有测试均在系统的大规模并行计算机(MPC)CPU 分区上进行。
硬件平台
HBW2 系统的 MPC CPU 分区总计 312 个标准计算节点。单个作业可提交的最大节点数为 64。单个节点的硬件配置如下:
- •
CPU:双通道 Intel Xeon Max 9480
结论
本研究提出了 rempi-C/R 机制,旨在为 MPI 记录与重放工具 rempi 构建原生轻量级容错能力,并解决其在大尺度、长时间运行应用场景中的固有局限性。提出的 rempi-C/R 机制的创新体现在三个关键设计选择上:一种针对 rempi 记录和重放模式固有差异量身定制的双模式差异化状态捕获和恢复策略,以解决状态不一致
CRediT 作者贡献声明
Xiang Fu: 撰写 – 审阅与编辑,资源,项目管理,方法论,形式分析。Guoyuan Jia: 撰写 – 审阅与编辑,撰写 – 初稿,可视化,软件,调查,数据整理。Hui Li: 验证。Guanghong Xu: 验证。Xin Huang: 撰写 – 审阅与编辑,可视化,监督,资源。Kento Sato: 撰写 – 审阅与编辑,监督,资源,方法论,资金获取,概念化。
利益冲突声明
作者声明他们没有已知的竞争财务利益或个人关系可能会被认为影响本报告中工作的结果。
致谢
本工作得到了理化学研究所超级计算机系统 HOKUSAI BigWaterfall2 (HBW2) 提供的计算资源支持。
Xiang Fu|Guoyuan Jia|Hui Li|Guanghong Xu|Xin Huang|Kento Sato
南昌航空大学,中国南昌
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号