CSCC:跨数据中心RDMA的协调式次RTT拥塞控制

《Computer Networks》:CSCC: Coordinated sub-RTT congestion control for cross-datacenter RDMA

【字体: 大 中 小 】 时间:2026年10月02日 来源:Computer Networks 4.7

编辑推荐:

  摘要 现代云平台和AI服务越来越多地跨越地理分布的数据中心(DCs)以提升可扩展性和可用性。尽管RDMA已在DCs内部得到广泛应用,但将其扩展到跨DC环境仍然充满挑战。长的RTT(往返时间)、异构的带宽-延迟产品以及多个共存的瓶颈削弱了端到端的拥塞反馈,导致收敛缓慢、速率波动

  摘要
现代云平台和AI服务越来越多地跨越地理分布的数据中心(DCs)以提升可扩展性和可用性。尽管RDMA已在DCs内部得到广泛应用,但将其扩展到跨DC环境仍然充满挑战。长的RTT(往返时间)、异构的带宽-延迟产品以及多个共存的瓶颈削弱了端到端的拥塞反馈,导致收敛缓慢、速率波动以及DC内和跨DC流量之间的持久不公平性。为了解决这些问题,我们提出了CSCC,一种用于跨DC RDMA的协调式亚RTT拥塞控制框架。CSCC通过允许DC内和DC互连交换机生成带外的亚RTT拥塞通知数据包,将拥塞感知与数据传输分离。这些通知提供了对瓶颈队列动态的及时了解。基于细粒度的队列增长信息,CSCC能够准确估计每个瓶颈的过载因子并调整发送速率以达到目标速率。为了处理复杂的跨DC场景,CSCC进一步引入了基于时期的多瓶颈协调机制和针对RTT异构流量的公平性恢复机制。我们使用针对WebSearch和FB_Hadoop工作负载的目标基准测试、大规模模拟以及一个测试平台原型对CSCC进行了评估。结果表明,CSCC在混合的DC内和跨DC流量下实现了快速收敛,能够准确聚焦于主要瓶颈,并在远程瓶颈场景下恢复长期公平性。在实际工作负载下,CSCC显著降低了流量完成时间(FCT)和队列积压。与Annulus相比,CSCC在99百分位FCT延迟上最多减少了7.63倍,其中WebSearch工作负载下30MB流量的最佳情况下减少了30%的延迟。

引言
大型语言模型(LLMs)的规模和复杂性的迅速增长对计算能力和数据吞吐量提出了前所未有的要求。为了实现资源的高效利用、工作负载均衡和模型的快速部署,将训练和推理工作负载从单个数据中心(DC)扩展到多个DC的分布式环境已成为一种趋势[1][2][3]。例如,谷歌利用数据并行性在多个地理分布的DCs上训练Gemini模型[4]。除了LLM训练之外,越来越多的应用——包括大规模数据分析、科学数据传输、分布式存储、跨区域推理和联邦学习——越来越依赖于DC和云-边缘基础设施之间的持续高容量数据交换[5][6][7][8][9]。与传统的广域网(WAN)流量不同,后者主要由低优先级的备份或批量文件传输主导,这些新兴应用对数据新鲜度、传输速度和传输稳定性有严格的要求[10][11]。因此,跨DC通信正从一种尽力而为的服务演变为现代分布式系统中的关键性能组件。

远程直接内存访问(RDMA)凭借其内核旁路和协议卸载能力,在DC网络内部得到了广泛应用,以实现低延迟、高吞吐量和接近零的CPU开销[12][13][14]。相比之下,当前的WAN流量仍主要基于TCP/IP软件堆栈传输。随着WAN链路容量扩展到100 Gbps及以上,基于软件的传输方式越来越暴露出吞吐量限制和高CPU开销的问题,这激发了对硬件辅助解决方案的兴趣[15][16]。在这种情况下,将RDMA扩展到跨DC网络被视为一个自然的进化方向,并已开始在实践中进行探索。例如,微软Azure采用了RDMA来提高跨DC存储流量的效率[17]。然而,将RDMA从DC网络扩展到跨DC环境引入了根本的拥塞控制(CC)挑战。首先,跨DC路径的显著更长的往返时间(RTTs)会大大延迟端到端控制循环,妨碍了及时响应拥塞[18][19]。此外,WAN的大带宽-延迟产品(BDP)意味着大部分跨DC流量在不到一个RTT的时间内完成,使得传统的端到端CC算法难以做出反应[18][20][21]。另外,跨DC路径通常跨越多个异构网络段,包括发送方DC、WAN访问链路和接收方DC,每个部分都可能包含一个或多个瓶颈。在不同位置生成的拥塞信号本质上是异步的,以不同的延迟和粒度到达发送方。这打破了大多数现有CC算法的基本同步反馈假设,导致严重的速率波动、不稳定性和不公平性[22]。更重要的是,这些挑战并不是独立的,而是相互作用,从根本上限制了端到端控制的有效性。长RTT放大了拥塞信号的延迟,而多瓶颈的异步性引入了冲突的控制输入。结果,发送方被迫根据过时和不一致的信息做出速率决策,常常对过时的拥塞信号反应过度或对新出现的瓶颈反应不足。这种控制时间尺度与网络动态之间的不匹配是直接将现有RDMA CC机制扩展到跨DC环境未能实现稳定高效性能的关键原因。

尽管上述挑战已被广泛认识到,但现有的跨DC RDMA研究并未完全解决它们。一些研究(如LoWAR [23]和Bifrost [20])专注于在WAN上启用RDMA,例如提高丢包恢复和传输鲁棒性。然而,这些方法并未直接解决由长RTT和多个瓶颈在跨DC环境中引起的拥塞控制问题。对于拥塞控制,传统的DC RDMA方案(如DCQCN [24]和HPCC [25])依赖于短且稳定的RTTs和快速的端到端反馈循环。因此,它们无法及时响应WAN上的拥塞变化。最近的努力(如Annulus [11]、Gemini [18]和Gear [2])试图通过增强反馈信号或 refining 控制策略来适应WAN环境。然而,这些方法大多仍然隐含地假设存在单一主导瓶颈或同步反馈。在真实的跨DC网络中,这种假设很少成立,因为多个瓶颈共存且拥塞信号本质上是异步的。因此,这些设计在实践中经常出现收敛缓慢或持续波动的问题。

本文的动机是一个关键观察结果:在跨DC网络中,现有CC方案的主要限制不是缺乏拥塞信号,而是在异步和异构条件下无法有效解释和协调这些信号。仅仅加速反馈(例如使用亚RTT信号)是不足的,因为当多个瓶颈生成不同步信号时可能会进一步放大不稳定性。相反,有效的解决方案必须同时减少反馈延迟并明确处理反馈异步性问题。为了解决这些挑战,我们提出了CSCC,一种用于跨DC RDMA的拥塞控制框架,它将拥塞感知与数据传输分离。CSCC在检测到队列积压时启用交换机生成带外的亚RTT拥塞通知,将基于延迟的RTT反馈转换为及时的拥塞意识。为了处理来自多个瓶颈的异步反馈,CSCC引入了发送端协调机制,识别主导拥塞信号并实现稳定的速率收敛。此外,为了减轻RTT异质性引起的不公平性,CSCC还结合了公平性恢复机制,以恢复DC内和跨DC流量之间的长期速率平衡。

本文做出以下贡献:
- 我们阐述了跨DC RDMA网络中的拥塞控制挑战。我们指出,根本的困难不仅来自长RTTs,还来自长反馈延迟与多个瓶颈生成的异步拥塞信号之间的相互作用。在这种情况下,现有的端到端拥塞控制方案依赖于过时和不一致的反馈,导致收敛缓慢并且在DC内和跨DC流量之间容易产生不公平性。
- 我们提出了CSCC,一种用于跨DC RDMA的亚RTT拥塞控制框架。CSCC通过使用带外反馈在端到端反馈返回之前获取及时的拥塞信息,将拥塞感知与数据传输分离。在此框架的基础上,CSCC协调来自多个瓶颈的异步信号,识别主导拥塞信号,并推动快速速率收敛。CSCC进一步结合了公平性恢复机制,以减轻RTT引起的DC内和跨DC流量之间的不公平性。
- 我们在多种跨DC场景下实现了CSCC,并进行了评估。我们在基于FPGA的RNIC和P4可编程交换机上实现了CSCC,并使用原型测试平台和大规模NS-3模拟进行了评估。原型展示了低资源开销下的实现可行性,而在多瓶颈、RTT异质性、动态流量以及混合DC内/跨DC场景下的广泛模拟表明,与现有的拥塞控制方案相比,CSCC显著提高了收敛速度、公平性和整体网络性能。

**部分摘录**
**跨DC RDMA:网络结构**
将远程直接内存访问(RDMA)扩展到跨DC环境对于支持带宽密集型和延迟敏感型应用变得越来越重要[3][26][27]。图1展示了典型的跨DC网络架构。DC之间的互连通常通过专用的数据中心互连(DCI)交换机实现,这些交换机将DC内网络与长距离广域网(WAN)链接桥接起来[26],形成跨越多个异构网络的端到端路径。

**概述**
基于上述观察,我们提出了CSCC,一种用于跨DC RDMA的亚RTT反馈驱动的拥塞控制系统。CSCC通过利用网络内部的反馈将拥塞感知与数据传输分离,实现了独立于端到端RTT的及时拥塞意识。虽然之前的工作(如Bolt [30]和Annulus [11])探索了亚RTT反馈,但CSCC的关键创新在于系统地解决了其在跨DC环境中的局限性。具体来说,CSCC首先解决了过载估计和速率调整问题。

**考虑一个具有容量???、队列占用率????(??)和总输入率????(??)的链接?。当队列非空时,其流体动态为**
**????(??)=∑??∈?????????????(??), ??????(??)=????(??)????**,**其中?????(??)是流??的发送速率,如果流??通过链接?,则??????=1**。假设从链接?接收到的两个连续的有效SNP样本分别携带队列占用率????(??0)和????(??1)。CSCC将过载因子估计为**
**????=1+????(??1)?????(??0)(??1???0)3???=1/??1???0∫??1??0????(??)???????**。因此,**????代表平均过载因子**。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号