《Journal of Parallel and Distributed Computing》:Faster Recovery of Distributed Stream Processing Services through Coordinated Data Placement of Stream State Checkpoints
编辑推荐:
分布式流处理系统(DSPS)已成为大规模实时数据处理不可或缺的基础设施。确保这些系统在故障情况下的可靠性和高可用性是一项重要的研究工作[1], [2], [3], [4], [5], [6]。尽管过去提出了几种DSPS容错方法[5],检查点回滚(checkpo
分布式流处理系统(DSPS)已成为大规模实时数据处理不可或缺的基础设施。确保这些系统在故障情况下的可靠性和高可用性是一项重要的研究工作[1], [2], [3], [4], [5], [6]。尽管过去提出了几种DSPS容错方法[5],检查点回滚(checkpoint-rollback)已成为当今大多数广泛部署的DSPS中的首选方法[1], [2], [3]。
DSPS中快速故障恢复的重要性在延迟敏感、数据密集型的DSPS部署中最为明显。考虑一个实时金融欺诈检测服务,每秒处理数百万笔交易,并为异常评分维护每账户状态窗口:节点故障后的缓慢恢复意味着欺诈警报的延迟,从而产生直接的财务影响。同样,在工业物联网监控中,来自工厂车间或智慧城市基础设施的传感器流持续更新大型算子状态,即使几秒钟的停机也会转化为错过的异常或违反的服务水平协议(SLA)。在线拍卖平台(例如由NEXMark基准测试[7]建模的平台)代表了另一个引人注目的案例:持续的出价和拍卖事件流为有状态窗口查询提供数据,这些查询的算子状态随拍卖量成比例增长,使得恢复延迟对最终用户直接可见且具有财务后果。在所有此类场景中,检查点状态在每个节点上很容易达到数十GB,而恢复的主要成本是将该状态从远程分布式数据存储传输回恢复节点。
目前,大多数最先进的DSPS将流作业管理为分布式任务的集合,并采用检查点机制来保证容错,如图1-(a)所示。这些机制在每個DSPS节点上本地持久化检查点状态(以便在节点重启后可用时快速恢复),然后通过文件系统接口异步将其远程复制到分布式数据存储(DDS)[8], [9]。DDS对表示检查点状态的文件进行分区和复制,将其分布到多个节点上,例如,在图1-(a)的示例中,一个检查点被划分为块B0和B1并复制两次。在这项工作中,研究人员假设物理机器同时托管DSPS任务管理器和用于检查点的DDS存储节点,这在这类设置中通常是这种情况。因此,单个物理服务器既充当DSPS节点,执行DSPS任务并获取其本地算子状态的本地检查点,又充当DDS节点,存储通常属于其他DSPS节点的状态检查点副本。
下载:下载高分辨率图片(488KB)下载:下载全尺寸图片
图1. (a) DSPS通常包含多个任务管理器(TM),每个任务管理器在本地检查算子状态,然后使用DDS远程检查。 (b) 当TM崩溃时,DSPS将任务重新定位到新的TM并恢复检查点状态,通常通过网络进行。
如果DSPS节点崩溃且宿主机无法重新启动(图1-(b)所示的情况),则恢复任务将部署在另一个DSPS节点上,并从DDS检索算子状态。在这种情况下,将恢复状态作为DDS上的文件访问通常需要远程网络访问(例如,B0需要从机器2检索)。与本地访问相比,这会导致更长的恢复时间。
在这项工作中,研究人员通过允许恢复任务本地检索所有检查点状态(尽管访问是通过DDS进行的)来改善DSPS中的任务恢复时间。为了实现这一点,研究人员提出了一种新的本地性驱动的DDS数据放置策略,以确保任务恢复所需的所有状态都可以在单个节点内找到(但仍为可靠性而复制),如图2所示。研究人员还将DSPS恢复任务放置策略与DDS数据放置策略对齐,以便DSPS获知哪些节点包含任务的完整检查点状态(例如,图2中的机器2或3),并在恢复期间使用它们。
下载:下载高分辨率图片(476KB)下载:下载全尺寸图片
图2. Aligned-Recovery以这样一种方式放置算子状态检查点和恢复任务,使得所有恢复状态都可以在恢复节点本地检索,而无需网络访问。
因此,DSPS和DDS之间的对齐需要:(a) 在将DSPS任务恢复状态写入DDS时,使用特殊的文件放置策略,以确保每个任务的所有恢复状态可以整合到一定数量的完整状态副本中(即,避免将检查点分解为多个块分散到多台机器上);以及(b) DSPS能够识别存储每个任务完整状态检查点副本的数据节点,并在崩溃后选择其中一个节点作为重启任务的目标。实现(a)和(b)需要两个系统(DSPS、DDS)之间的跨层协调,以便DSPS的任务恢复决策利用DDS在创建所需远程状态检查点时主动采取的放置决策。
通过将恢复任务放置在存储了恢复所需所有状态的DDS节点所在的同一节点上,与当前依赖(通常)远程节点恢复状态的DSPS相比,研究人员显著提高了恢复过程的效率。由此产生的架构,研究人员称之为Aligned-Recovery,在DSPS和DDS之间执行跨层协调,而无需对任一软件系统进行重大修改。
在设计Aligned-Recovery时,研究人员面临两个关键挑战:首先,需要控制DSPS内的任务恢复决策和任务放置。其次,必须控制DDS块在DDS数据节点上的放置,并向DSPS提供有关信息。研究人员在Aligned-Recovery的设计中描述了如何在一般情况下解决这些挑战,并在以Hadoop分布式文件系统(HDFS)作为分布式检查点存储的广泛部署的Flink DSPS中展示了它们的实现。
这项工作的贡献如下:
• 设计了Aligned-Recovery,一个系统,它提出DSPS和DDS之间的对齐,以避免恢复期间的网络数据传输,并确保本地恢复尽可能高效。
• 实现了Aligned-Recovery,在Flink DSPS和HDFS DDS之间执行跨层协调。
• 对Aligned-Recovery进行了评估,将研究人员的原型与未修改的Flink-HDFS在两种类型的现代分布式基础设施(一个内部5节点高性能集群和一个10节点Amazon Web Services部署)上使用两种类型的应用(WordCount的实现和NEXMark基准测试)的恢复时间进行了比较。研究人员的实验研究表明,通过减少数据移动(网络和节点内数据传输)成本,与默认(未修改的)Flink-HDFS实现相比,状态恢复时间最多可加快~4.4倍。
本文的其余部分安排如下:第2节讨论相关工作。第3节介绍实现DSPS和DDS之间对齐的设计考虑和要求。第4节介绍利用Apache Flink和HDFS的Aligned-Recovery原型实现,第5节和第6节介绍其实验评估。最后,第7节进行总结。
**论文解读:基于协调数据放置的分布式流处理服务快速恢复机制**
**一、研究背景与问题**
分布式流处理系统(DSPS)已成为大规模实时数据处理的核心基础设施,广泛应用于金融欺诈检测、工业物联网监控、在线拍卖等延迟敏感型场景。此类应用通常维护大量算子状态(如每账户状态窗口、传感器流聚合状态),单个节点的检查点状态可达数十GB。当节点发生不可恢复的故障时,系统必须从远程分布式数据存储(DDS)中检索完整状态以恢复任务,这一过程涉及大量网络数据传输,成为恢复延迟的主要瓶颈,直接影响服务可用性并可能导致违反服务水平协议(SLA)。
当前主流的DSPS(如Apache Flink、Apache Samza、MillWheel)均采用检查点回滚机制实现容错:每个任务管理器(TM)在本地持久化检查点状态(用于快速本地恢复),并异步将状态副本复制到远程DDS(如HDFS)以实现故障转移。然而,DDS通用文件放置策略会将检查点文件分块并分散存储于多个节点,当原节点永久失效时,恢复任务需通过网络从多个远程节点拉取所有状态块,导致恢复时间随状态规模线性增长。此外,即便状态在本地可用,从本地HDFS块复制到本地RocksDB实例的节点内数据移动也会产生显著开销。因此,如何通过优化DDS数据放置与DSPS恢复调度,最大化恢复过程中的数据本地性,成为提升DSPS故障恢复性能的关键挑战。
**二、研究目标与核心思想**
针对上述问题,研究人员提出了Aligned-Recovery系统,其核心思想是实现DSPS与DDS之间的跨层协调:一方面,设计本地性驱动的DDS数据放置策略,确保单个任务的完整检查点状态被集中放置在少量(等于DDS复制因子RF)节点上,每个节点持有全部状态的完整副本;另一方面,修改DSPS的恢复调度策略,在任务重启时优先选择与持有完整状态副本的DDS节点共置的TM,从而实现完全本地化的状态恢复,消除网络传输开销,并为零拷贝数据访问创造条件。
**三、关键技术方法**
Aligned-Recovery的实现基于Apache Flink(DSPS)和Hadoop文件系统(HDFS,DDS),主要在两方面进行扩展,构建了跨层协调机制,其中Flink JobManager(JM)对应协调器,TaskManager(TM)对应工作者,HDFS NameNode(NN)对应元数据服务器,DataNode(DN)对应存储节点,本地状态后端使用RocksDB实例。具体而言:(1) **自定义HDFS块放置策略(BlockPlacementPolicyAffinity)**:该策略通过维护TM客户端IP地址与DataNode列表的映射关系,将同一TM创建的所有检查点文件块的所有副本(每个副本对应一组DN)持久化到相同的DN集合上,同时排除请求节点自身以避免创建崩溃后不可用的本地副本,并在创建首个块时选定副本节点组后,后续所有块复用该放置决策,且当集群资源不足时优雅回退至默认策略。(2) **基于HDFS fsck命令的本地化恢复调度**:研究人员修改了Flink的恢复路径,在故障发生后、选择恢复TM之前,通过HDFS的fsck报告API(`hdfs fsck -files -blocks -locations`命令)查询检查点文件各块的副本位置,识别持有完整状态副本的DN节点,并有针对性地选择与其共置的健康TM执行恢复任务。当恢复状态在本地文件系统可用时,进一步采用两种优化路径替代Flink默认的Java Streams数据复制:其一为直接文件到文件的`cat`命令复制;其二为通过`ln -s`创建符号链接引用HDFS块文件,实现真正的零拷贝数据恢复。
**四、研究结果**
**4.1 WordCount应用的实验评估(5节点本地集群)**
实验基于5节点高性能集群(Intel Xeon Bronze 3206R 8核CPU、32GB内存、10Gb/s网络),共4个TM-DN共置节点。通过生成不同规模的输入数据(129K至5000MB记录,对应状态规模从2.7MB到11.9GB),系统性比对了未修改Flink-HDFS的远程恢复、本地恢复与Aligned-Recovery两种变体(Aligned Cat和Aligned Symbolic links)的恢复时间。实验结果显示:1) 未修改系统的本地恢复一致优于远程恢复,验证了数据本地性的优势,但优势并未随状态增大而显著扩大(最大差距约2秒),这归因于本地I/O密集导致的尾部延迟升高;2) 使用`cat`命令优化节点内数据路径(Aligned Cat)在数据恢复时间(RestoreDataTime)上小幅优于默认路径(最高约1.3秒),但HDFS fsck命令引入的2-2.5秒额外延迟抵消了整体恢复时间(RecoveryTime)的收益;3) 采用符号链接实现零拷贝数据恢复(Aligned Symbolic links)后,数据恢复效果显著提升,与未修改本地恢复相比加速比达到3.2x至21.9x(绝对增益高达16.3秒);在考虑整体恢复时间时,当输入规模超过2GB(状态约5GB),Aligned Symbolic links开始超越本地恢复,且在5GB输入(状态12GB)时实现约3.9x加速(绝对增益14.5秒);4) 与典型的未修改远程恢复相比,Aligned Symbolic links在5GB输入规模时实现了约4.3x的整体恢复时间加速(绝对增益超过16.5秒),且其优势随状态规模增长而显著扩大。
**4.2 NEXMark基准测试的实验评估(10节点AWS云集群)**
实验采用10个AWS c5.4xlarge实例(16 vCPU、32GB内存、10Gb/s连接),并行度为8,使用NEXMark基准中最复杂的有状态查询Q7(查找最近时期最高出价)和Q9(查找每个拍卖的获胜出价),验证了系统在更复杂工作负载和部分故障场景下的表现。
**4.2.1 完全应用故障恢复**
当单个TM崩溃导致整个应用失败时(需恢复全部应用状态),对比未修改远程恢复:1) 未修改本地恢复在9GB状态规模下比远程恢复快约7.8秒;2) Aligned Cat在数据恢复时间上小幅优于本地恢复(最高1.1秒),同样受fsck开销(3-3.5秒)影响;3) Aligned Symbolic links较未修改本地恢复,在6GB和9GB状态规模下实现约2.4x和4.8x恢复时间加速(绝对增益约39.4秒);4) 与典型的未修改远程恢复相比,Aligned Symbolic links在6GB和9GB状态规模下分别实现约2.8x和4.4x恢复时间加速(绝对增益超过47.7秒)。此外实验观察到,RocksDB为TM承载的每个任务槽创建独立目录,导致fsck命令因多个状态句柄而被多次调用,开销随并行度增加而增大(1到8个任务槽对应1-1.5秒到3.5秒的开销)。
**4.2.2 部分应用故障**
调整每个TM的任务槽数(TSPTM)为2、4、6,使应用状态在多个TM间分布,通过终止一个TM模拟故障,研究部分状态恢复(对应25%、50%、75%的应用状态)。结果表明:1) 恢复25%状态时(2/8任务槽失败),Q7和Q9的Aligned Symbolic links较未修改远程恢复实现约7.2x至9x的数据恢复时间加速,但整体恢复时间加速仅为1.04x至1.1x(绝对增益0.2-0.75秒),受fsck开销影响明显;2) 恢复50%状态时(4/8任务槽失败),Q7和Q9的数据恢复时间加速高达37.1x至49.3x(绝对增益约16秒),整体恢复时间加速约2.7x(绝对增益13.3-13.6秒);3) 恢复75%状态时(6/8任务槽失败),Q7和Q9的数据恢复时间加速达到63.1x至87.6x(绝对增益33.8-37.9秒),整体恢复时间加速约3.4x至3.5x(绝对增益32-33.4秒)。此外,Q7和Q9的结果趋势相似且在部分故障场景下Aligned的优势随需恢复状态比例增加而增强。
**五、讨论与结论**
Aligned-Recovery通过协调DDS块放置与DSPS恢复任务调度,成功将分布式流处理系统的故障恢复转变为完全本地化的数据访问,从根本上避免了代价高昂的网络传输,并通过零拷贝机制消除了恢复节点内的数据复制开销。尽管在执行HDFS fsck命令获取文件块位置时会产生少量固定开销(随任务槽数量增加而增加),但这在状态规模较大时被显著压缩的数据移动时间完全抵消。该方法的可靠性并不劣于传统方案,甚至因避免了DDS通用放置策略中“任一块副本丢失即不可恢复”的多故障组合风险而略具优势。
研究结论明确指出,这种跨层对齐策略,辅以节点内数据移动优化的零拷贝机制,为提升DSPS在真实世界应用中的可靠性和效率提供了一种有效方案,在两个应用和多种故障场景下验证了高达约4.4x的恢复时间加速。未来工作将优化与HDFS的交互以避免多次调用fsck的延迟,并探索将Aligned-Recovery应用于主动重配置场景,进一步挖掘DSPS与DDS协调在数据迁移和复制决策中的潜力。