DCQCN （ Data Center Quantized Congestion Notification），數(shù)據(jù)中心量化擁塞通知。它是一種專門為數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)的端到端擁塞控制協(xié)議。其核心目的是在使用RDMA(RoCEv2) 的網(wǎng)絡(luò)中，高效地管理網(wǎng)絡(luò)擁塞，從而保證高吞吐、低延遲和零丟包（或極低丟包）。

簡單來說，DCQCN就是RDMA在以太網(wǎng)（RoCE）環(huán)境中的“交通警察”，它確保高速數(shù)據(jù)流不會造成網(wǎng)絡(luò)堵塞。

本文參閱文獻(xiàn)：Congestion Control for Large-Scale RDMA Deployments.pdf

為什么需要DCQCN？

現(xiàn)代數(shù)據(jù)中心應(yīng)用需要高吞吐量和超低延遲網(wǎng)絡(luò)，具有低 CPU 開銷。標(biāo)準(zhǔn) TCP/IP 堆棧不能滿足這些要求，但RDMA可以。在 IP 路由的數(shù)據(jù)中心網(wǎng)絡(luò)上，RDMA 使用 RoCEv2 協(xié)議部署，該協(xié)議依賴于基于優(yōu)先級的流量控制 (PFC) 可實(shí)現(xiàn)無中斷網(wǎng)絡(luò)。

但是，由于隊(duì)頭阻塞和帶寬分配不均等問題，PFC 會導(dǎo)致應(yīng)用程序性能不佳。為了緩解這些問題，DCQCN誕生了。

DCQCN是如何工作的？

DCQCN 是一種基于速率的擁塞控制協(xié)議，它模仿了著名的QCN（Quantized Congestion Notification），但做了適應(yīng)數(shù)據(jù)中心的修改，更適合RDMA的高性能、低開銷特性。

• 發(fā)送方：速率調(diào)節(jié)的起點(diǎn)（運(yùn)行RDMA應(yīng)用的服務(wù)器）
• 交換機(jī)：擁塞的檢測和通知者（支持ECN的交換機(jī)）
• 接收方：通知的轉(zhuǎn)發(fā)者（運(yùn)行RDMA應(yīng)用的服務(wù)器）

整個過程可以分為以下四個步驟：

步驟 1: 擁塞檢測與標(biāo)記（在交換機(jī)發(fā)生）

交換機(jī)持續(xù)監(jiān)控其出口端口的隊(duì)列深度。當(dāng)某個端口的隊(duì)列長度超過一個預(yù)設(shè)的閾值（Kmin）時，交換機(jī)判斷該端口發(fā)生了擁塞。對于經(jīng)過該擁塞端口的數(shù)據(jù)包，交換機(jī)會以一定概率將其IP頭中的ECN（顯式擁塞通知） 字段標(biāo)記為“擁塞遭遇”（CE）。這個概率隨著隊(duì)列變長而增加。

步驟 2: 擁塞通知（接收方 -> 發(fā)送方）

被標(biāo)記了ECN的數(shù)據(jù)包會繼續(xù)被發(fā)送到接收方服務(wù)器。接收方的網(wǎng)卡識別到這個ECN標(biāo)記后，不會像傳統(tǒng)TCP一樣等待ACK包，而是立即生成并發(fā)送一個名為“CNP”（Congestion Notification Packet）的特殊控制包 directly返回給發(fā)送方。

CNP包非常?。s64字節(jié)），擁有最高優(yōu)先級，以確保它能最快速度地返回給發(fā)送方，幾乎無延遲地報(bào)告擁塞。

步驟 3: 速率調(diào)節(jié)（在發(fā)送方發(fā)生）

發(fā)送方收到CNP包后，就知道其發(fā)出的數(shù)據(jù)流在某處造成了網(wǎng)絡(luò)擁塞。發(fā)送方會根據(jù)內(nèi)置的算法立即降低其數(shù)據(jù)發(fā)送速率（Rate）。這個降速過程是多級的：

• 快速恢復(fù)：首先進(jìn)行一次大幅度的降速（乘以一個小于1的因子，如 0.5），以快速緩解網(wǎng)絡(luò)壓力。
• 主動減少：之后進(jìn)入一個階段，持續(xù)地、較小幅度地降低速率。
• 主動增加：當(dāng)一段時間內(nèi)沒有收到新的CNP包時，發(fā)送方會認(rèn)為擁塞已經(jīng)解除，開始緩慢地、逐步地增加發(fā)送速率（加法增加），以重新探知可用帶寬。

這個“降-增”的循環(huán)過程使得DCQCN能夠動態(tài)、平滑地適應(yīng)網(wǎng)絡(luò)狀態(tài)，既不會過于激進(jìn)導(dǎo)致帶寬浪費(fèi)，也不會過于保守導(dǎo)致延遲升高。

DCQCN的應(yīng)用與部署

DCQCN由Mellanox（現(xiàn)NVIDIA的一部分）在其網(wǎng)卡中實(shí)現(xiàn)，并廣泛應(yīng)用于微軟等大型數(shù)據(jù)中心，以支持其云存儲、分布式緩存等需要高吞吐量和低延遲的服務(wù)。由于其重要性和影響力，DCQCN在2025年獲得了SIGCOMM“經(jīng)典之作獎”。

• AI與大模型訓(xùn)練：在數(shù)據(jù)并行、流水線并行和張量并行等分布式訓(xùn)練模式中，節(jié)點(diǎn)間需要頻繁同步海量參數(shù)（通常達(dá)百GB級別）。DCQCN能有效減少網(wǎng)絡(luò)擁塞，避免因PFC“剎?！被騺G包導(dǎo)致的計(jì)算長尾延遲，保障訓(xùn)練任務(wù)高效運(yùn)行。
• 高性能計(jì)算（HPC）??：用于需要極高網(wǎng)絡(luò)帶寬和極低延遲的科學(xué)計(jì)算、模擬等場景，DCQCN幫助RDMA實(shí)現(xiàn)接近線速的傳輸。
• 云存儲與分布式系統(tǒng)：如微軟的云存儲服務(wù)，DCQCN保障了后端存儲節(jié)點(diǎn)間大數(shù)據(jù)塊傳輸?shù)男屎头€(wěn)定性，同時極大降低了CPU開銷。

要想實(shí)現(xiàn)DCQCN，你的數(shù)據(jù)中心網(wǎng)絡(luò)需要滿足一些特定條件，并理解其三個核心組件（對應(yīng)下圖）的職責(zé)：

智算中心的硬件核心在于為 RoCEv2提供穩(wěn)定、高性能的無損網(wǎng)絡(luò)環(huán)境。這不僅需要網(wǎng)卡支持，更需要交換機(jī)的深度配合。CX-N系列數(shù)據(jù)中心交換機(jī)通過其超低時延、無損網(wǎng)絡(luò)技術(shù)、對大容量緩存的優(yōu)化、高級遙測功能以及對自動化運(yùn)維的支持，為DCQCN協(xié)議在AI計(jì)算、高性能計(jì)算等場景中的高效、穩(wěn)定運(yùn)行提供了堅(jiān)實(shí)的硬件基礎(chǔ)。