AdaTX:针对混合工作负载下基于RDMA的分布式内存的自适应事务协议调整机制
《Future Generation Computer Systems》:AdaTX: Adaptive transaction protocol adjustment for RDMA-based disaggregated memory under mixed workloads
【字体:
大
中
小
】
时间:2026年06月28日
来源:Future Generation Computer Systems 6.2
编辑推荐:
李文涛|赵杰|朱松泉|张正|李贺|郑伟
中国河南省南阳市南阳师范学院人工智能学院
摘要
基于RDMA的分布式内存通过资源池化提升了数据中心的内存利用率和扩展性。但在实际的在线事务处理场景中,读写比例和竞争程度会快速变化,导致固定的并发控制策略难以达到最优效果:在写操
李文涛|赵杰|朱松泉|张正|李贺|郑伟
中国河南省南阳市南阳师范学院人工智能学院
摘要
基于RDMA的分布式内存通过资源池化提升了数据中心的内存利用率和扩展性。但在实际的在线事务处理场景中,读写比例和竞争程度会快速变化,导致固定的并发控制策略难以达到最优效果:在写操作密集的情况下,乐观并发控制会导致频繁的中止/重试以及网络开销增加;而在读操作占主导时,悲观并发控制则会出现锁等待现象,降低并行处理能力。我们提出了AdaTX,这是一种自适应的协议调整机制,能够实时根据动态工作负载调整基于RDMA的分布式内存的运行策略。AdaTX采用低开销的感知-决策-执行循环:它采集工作负载和系统指标,通过两级决策引擎选择并发控制模式并调整关键参数,同时通过基于时间周期的切换边界实现平滑的OCC/PCC切换,确保每种策略仅应用于新启动的事务,从而将切换开销控制在毫秒级。此外,AdaTX还结合了RDMA通信调度和自适应锁机制,进一步降低带宽使用量和切换成本。我们在RDMA集群原型上实现了AdaTX,并通过TPC-C、SmallBank和TATP测试,在静态工作负载和动态负载切换情况下对其进行了评估。与HDTX、FORD和FaRM相比,AdaTX将平均延迟降低了21.7%–57.6%,吞吐量提升了24.1%–109.9%,99百分位延迟则下降了22.0%–53.7%。在动态负载切换过程中,吞吐量波动幅度保持在稳态值的10%以内,体现了更好的稳定性和对不同工作负载的适应性。
引言
高速网络和远程直接内存访问技术的成熟,推动了现代数据中心采用资源分布式架构[1][2][3]。基于RDMA的分布式内存将计算资源和内存资源视为独立的资源池,并通过低延迟、绕过内核的远程访问方式将它们连接起来,从而提升内存利用率、弹性及故障隔离能力。对于金融交易、电信计费等关键性的在线事务处理应用而言,跨节点的分布式事务处理是保障数据一致性的基础,而其吞吐量和稳定性决定了分布式内存系统的实际价值[4][5]。同时,单向RDMA操作和原子操作为远程访问和同步提供了高效的支持,使得在分布式内存上实现高吞吐量、低延迟的事务处理变得越来越可行[6][7][8]。
尽管具有这些优势,但在真实的在线事务处理负载下保持稳定的事务性能仍面临挑战。实际生产环境中的负载通常是混合的且不断变化:读写比例、热点分布以及竞争程度都可能随时间和服务阶段的不同而发生显著变化。当系统从以读操作为主、竞争较少的状态转变为以写操作为主、竞争激烈的状态时,通常会出现两种性能下降现象:首先,事务中止和重试次数急剧增加,加剧网络和RNIC的压力,进一步延长延迟;其次,锁等待和序列化路径问题变得更加突出,导致吞吐量下降和性能波动加剧。这些现象表明,固定的并发控制策略很难在所有工作负载状态下都保持最优效果。乐观并发控制在以读操作为主、竞争较少的环境中通常能提供较高的并行度[10][11][12],但在写操作密集的竞争环境下则容易引发更多事务中止。相比之下,悲观并发控制虽然能在竞争激烈的环境中缓解部分冲突问题,但在以读操作为主或竞争较弱的条件下则可能增加额外的等待开销和延长临界区长度[4]。现有的RDMA事务处理系统虽然对固定执行路径进行了大量优化[13][14][15][16][17][18],但在持续的任务负载变化下仍可能出现吞吐量骤降和延迟激增的问题,这说明仅靠固定路径优化无法满足动态环境的需求。
为应对动态混合负载,一些研究提出了自适应并发控制和参数调优方法[19][20]。然而,将这些方法直接应用于基于RDMA的分布式内存时仍存在三方面局限:首先,基于静态阈值设计的切换机制在负载持续变化时往往不够稳定,容易在决策边界附近频繁波动,从而导致不必要的切换开销和性能波动加剧;其次,将感知和决策功能交给内存侧的CPU,与分布式内存的设计理念相悖——分布式内存应保持内存节点的轻量化,而CPU资源相对稀缺。更重要的是,RDMA环境还带来了额外的排序约束和带宽敏感性:协议切换不仅会改变控制逻辑,还会影响RDMA原语和同步机制的组合。如果没有与RDMA语义相协调的切换设计,切换过程本身可能会加剧带宽竞争,使得切换窗口内的可见性边界和语义一致性更难控制[8][21][22][23]。近年来,数据中心负载均衡、基于循环的重排序防止机制以及数据平面内存调度等方面的进展,进一步凸显出现代数据中心架构和网卡资源对控制决策和流量动态的敏感性[24][25][26]。因此,需要一种专为RDMA分布式架构设计的自适应事务处理机制,以实现低开销的感知、稳定的决策以及平滑的切换,同时有效控制切换带来的成本。
为此,我们提出了AdaTX,这是一种针对基于RDMA的分布式内存的自适应事务处理协议调整机制,能够持续匹配事务执行与动态混合负载的需求。AdaTX构建了一个感知-决策-执行控制循环:它在计算节点上开展低开销的实时采样,收集包括读写比例、竞争程度、延迟以及RDMA资源使用情况在内的关键运行指标,然后通过两级决策引擎共同决定采用的协议模式并调整相关参数。最后,AdaTX引入了基于时间周期的平滑OCC/PCC切换框架,确保每种新选定的策略仅应用于新启动的事务,从而限制切换过程中的跨模式交互,减少切换带来的干扰。此外,AdaTX还将RDMA通信调度和自适应锁优化整合到统一的调整机制中,进一步提升系统的稳态性能和切换稳定性。
本文的主要贡献如下:首先,我们分析了在基于RDMA的分布式内存上,固定OCC/PCC执行路径在动态混合在线事务处理负载下的性能和稳定性问题,指出了导致自适应事务调整困难的关键RDMA特定约束,尤其是排序要求和带宽敏感性问题。其次,我们提出了AdaTX,该机制结合了低开销的实时感知、两级决策引擎以及基于时间周期的平滑切换机制,可共同优化协议模式选择、参数调整和切换控制。最后,我们在RDMA集群原型上实现了AdaTX,并通过TPC-C、SmallBank和TATP测试,在静态负载和动态负载切换两种场景下对其进行了评估[27][28][29],实验结果表明,AdaTX能够提升系统吞吐量,降低平均延迟和峰值延迟,同时在负载变化时保持更稳定的性能。
本文的其余结构如下:第2节介绍背景和研究动机;第3节阐述系统整体架构;第4节详细说明AdaTX的设计,包括自适应控制机制和协议切换策略;第5节介绍实现方案及实验评估结果;第6节探讨AdaTX的系统级意义、稳定切换的要求以及不同协议模式之间的语义边界;第7节回顾相关研究;第8节总结全文。
章节摘录
RDMA与分布式内存基础
RDMA(远程直接内存访问)允许系统绕过内核实现零拷贝网络传输,将大部分数据传输和协议处理任务交给RNIC处理,从而显著降低远程内存访问路径上的软件开销[6][7][8]。RDMA还支持单向操作和原子操作(如CAS/FAA),而这些操作的存在对上层协议的实现带来了复杂的排序和可见性要求[8]。近期关于事务处理的研发工作……
系统概述
本节介绍了AdaTX在计算-内存分布式环境中的运行机制。由于远程访问越来越成为事务处理的关键路径,RDMA的带宽容量、RNIC的处理能力,以及单向操作和原子操作的排序/可见性特性,都成为了协议设计中的核心约束条件。因此,我们首先阐述了计算节点和内存节点之间的职责划分,以及数据的组织方式……
AdaTX中的自适应控制与平滑切换
为使事务处理能够持续适配动态混合负载,AdaTX在计算节点上构建了一个轻量级的闭环控制机制。该机制无需改变事务处理逻辑的语义边界,即可动态调整协议模式及其相关的提交路径和锁路径参数。由于基于RDMA的分布式环境同时面临着带宽敏感性和排序/可见性要求这两大挑战,因此控制设计必须能够实时感知系统运行状态……
实验环境与方法
所有实验都在同一套支持RDMA的集群上完成,该集群采用了内存分布式架构。计算节点负责执行事务和处理控制逻辑,而内存节点则提供远程内存存储并维护数据副本。该集群由五台服务器组成,其中包括最多三台计算节点和两台内存节点。每台服务器都配备了双插槽的Intel Xeon Platinum 6230处理器(2.1 GHz),计算节点配备64 GB内存,而内存节点则配备2 TB内存。所有设备……
讨论
在计算-内存分布式架构中,事务处理的关键路径取决于远程交互的顺序及其响应时间特征,因此随着工作负载在以读操作为主、混合模式以及写操作密集型模式之间切换,系统的瓶颈位置也会随之变化。在以读操作为主且竞争较少的情况下,主要的性能瓶颈来自远程读取、版本检查以及元数据访问操作。而随着写操作强度和竞争程度的上升,瓶颈则逐渐转向元数据状态的更新过程……
RDMA与计算-内存分布式数据系统
RDMA通过提供低开销的远程访问机制、单向操作以及硬件支持的原子操作,使得计算-内存分布式架构成为一种可行的系统设计方案。早期的基于RDMA的内存系统及相关研究表明,系统的性能不仅取决于本地处理效率,还与远程操作的组织方式以及传输开销在软件层中的体现方式密切相关[6][7][8][32]。这些研究为如何充分利用RDMA技术奠定了基础设计思路……
结论
利用单向RDMA原语实现的计算-内存分布式架构,能够大幅提升数据中心在线事务处理的资源利用率和扩展性。然而,实际工作中的负载往往在读写比例、热点强度以及竞争程度等方面存在较大变化,因此单一的固定并发控制策略无法在各种不同工况下都保持最佳性能。本文提出的AdaTX是一种闭环式自适应事务处理框架,它通过计算节点定期进行低开销的感知操作,并结合智能决策机制来选择合适的协议策略……
作者贡献说明
李文涛:撰写——审稿与编辑、撰写——初稿、方法论、概念设计。赵杰:验证、软件实现、方法论。朱松泉:验证、方法论。张正:验证工作。李贺:资源协调。郑伟:形式化分析、概念设计。
资金支持
本研究部分得到了中国河南省重点研发计划的支持,项目编号分别为242102210184和252102210247;部分得到了中国南阳市科技计划的支持,项目编号为23JCQY2003;部分得到了中国南阳师范学院博士科研基金的支持,项目编号为2023ZX008;还有部分资金来自中国河南省科技联合研发计划,项目编号为245101610059。
利益冲突声明
作者声明不存在任何可能影响本文研究结果的已知财务利益关系或个人关系。
李文涛于2021年在中国湖南大学获得计算机科学博士学位。他目前是中国南阳师范学院人工智能与软件工程学院的讲师,同时也在中国南阳防爆电器研究所担任研究员。他的研究兴趣包括并行计算与分布式系统、操作系统以及并行程序分析领域。
生物通微信公众号
生物通新浪微博
今日动态 |
人才市场 |
新技术专栏 |
中国科学人 |
云展台 |
BioHot |
云讲堂直播 |
会展中心 |
特价专栏 |
技术快讯 |
免费试用
版权所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
联系信箱:
粤ICP备09063491号