英偉達數(shù)據(jù)中心收入繼續(xù)擴大

北京時間11月21日凌晨，英偉達發(fā)布本季度財報，公司實現(xiàn)營收350.8億美元，同比增長93.6%，好于彭博一致預期（332億美元）。公司收入增長，主要受數(shù)據(jù)中心業(yè)務需求增長的帶動。在AI等需求的帶動下，2025財年第三季度英偉達的數(shù)據(jù)中心業(yè)務在公司收入中的份額繼續(xù)擴大，本季度達到了87.7%。

(Source：海豚投研)

細分來看，數(shù)據(jù)中心業(yè)務中計算收入為276億美元，同比增長132%；網(wǎng)絡收入為31億美元，同比增長20%，這得益于益于Ethernet for AI，其中包括Spectrum X端到端以太網(wǎng)平臺。據(jù)統(tǒng)計，AI網(wǎng)絡NVIDIA Spectrum-X以太網(wǎng)AI收入同比增長超過3倍。

就在不久前，AI網(wǎng)絡產(chǎn)業(yè)剛爆出了一項大新聞。馬斯克僅用了122天就塑造了xAI 位于田納西州孟菲斯市的 Colossus 超級計算機集群，該集群使用10萬張NVIDIA Hopper GPU加速卡，超過1500個GPU機架，堪稱全球最大AI超級計算機集群。

實際上，該集群使用了 NVIDIA Spectrum-X 以太網(wǎng)網(wǎng)絡平臺，該平臺是專為多租戶、超大規(guī)模的 AI 工廠提供卓越性能而設計的 RDMA網(wǎng)絡而并不是InfiniBand網(wǎng)絡。

NVIDIA聲稱專門面向 AI 的 Spectrum-X 以太網(wǎng)網(wǎng)絡具有先進的功能，可在提供高效、可擴展的帶寬的同時，實現(xiàn)低延遲和短尾延遲，而這些功能之前是 InfiniBand 網(wǎng)絡所獨有的。

NVIDIA基于 AI 的 Spectrum-X 以太網(wǎng)系統(tǒng)是一整套AI Networking的全家桶組合包括需要購買Spectrum-X交換機、Bluefield SuperNIC以及相關(guān)光模塊及線纜組件。

基于以太網(wǎng)的Spectrum-X特性

我們根據(jù)超大以太網(wǎng)集群所面臨的通信挑戰(zhàn)來了解下基于以太網(wǎng)的Spectrum-X方案如何優(yōu)化基于以太網(wǎng)的RDMA功能。

部分內(nèi)容結(jié)合Nvidia AI Networking Whitepaper 編譯

基于以太網(wǎng)的NVIDIA Spectrum-X：專為生成式AI時代設計

AI云作為支持生成式AI工作負載的新型數(shù)據(jù)中心類別，正日益受到業(yè)界的關(guān)注。這類數(shù)據(jù)中心不僅繼承了傳統(tǒng)云的核心功能，如多租戶支持、安全性保障和多樣化的工作負載支撐，更在支持更大規(guī)模的生成式AI應用方面展現(xiàn)出卓越能力。生成式AI是一類基于訓練數(shù)據(jù)生成新輸出的人工智能算法，其以圖像、文本、音頻等多種形式創(chuàng)造全新內(nèi)容，與旨在識別模式和進行預測的傳統(tǒng)人工智能系統(tǒng)形成鮮明對比。 NVIDIA Spectrum-X構(gòu)建了以太網(wǎng)多租戶、超大規(guī)模AI云而精心設計的革命性解決方案，它完美契合了生成式AI時代的發(fā)展需求。

無損網(wǎng)絡與RDMA

在有損網(wǎng)絡環(huán)境中，數(shù)據(jù)傳輸過程中面臨著丟失或質(zhì)量下降的風險。這種網(wǎng)絡傾向于優(yōu)先考慮數(shù)據(jù)傳輸?shù)乃俣榷菧蚀_性。然而，對于AI應用而言，丟包導致的后果可能是災難性的，包括性能下降、GPU資源的空閑浪費以及功耗的額外開銷。

圖1：GPU-GPU的RDMA通信實現(xiàn)示意圖

無損網(wǎng)絡則完全改變了這一局面。在這種網(wǎng)絡中，數(shù)據(jù)傳輸?shù)耐暾缘玫絿栏癖Ｕ?，所有?shù)據(jù)包都能夠準確無誤地到達目的地。盡管以太網(wǎng)最初的設計確實允許一定的丟包率，但在InfiniBand網(wǎng)絡中，無損是基本要求。

隨著GPU計算和大規(guī)模AI應用場景在云環(huán)境中的廣泛應用，以太網(wǎng)也通過采用RoCE（RDMA over Converged Ethernet）和基于優(yōu)先級的流量控制（PFC，Priority Flow Control）等技術(shù)，結(jié)合無損網(wǎng)絡的實現(xiàn)，使用NVIDIA Spectrum-X，為AI應用提供了更加可靠和高效的解決方案。 遠程直接內(nèi)存訪問（RDMA，Remote Direct Memory Access）技術(shù)的出現(xiàn)，進一步提升了網(wǎng)絡傳輸?shù)男?。它允許數(shù)據(jù)在遠程系統(tǒng)、GPU和存儲器之間直接傳輸，無需經(jīng)過CPU的干預。傳統(tǒng)的網(wǎng)絡傳輸方式涉及多個復雜的步驟，包括數(shù)據(jù)的復制、網(wǎng)絡發(fā)送以及接收方的多步驟處理。而RDMA則直接跨越了這些繁瑣的中間環(huán)節(jié)，實現(xiàn)了數(shù)據(jù)的高效傳輸。我們在之前的Kiwi Talks有敘述過目前RDMA面對大規(guī)模集群存在的問題及建議。

挑戰(zhàn)與方案1：自適應路由、多路徑與數(shù)據(jù)包噴灑

傳統(tǒng)數(shù)據(jù)中心的應用程序通常會產(chǎn)生大量的小數(shù)據(jù)流，這使得網(wǎng)絡流量的統(tǒng)計平均值能夠反映整體情況。在這種背景下，基于簡單靜態(tài)哈希的路由算法，如等價多路徑（ECMP，Equal Cost Multi-Path），足以應對常見的網(wǎng)絡流量問題。

然而，人工智能工作負載的特性卻截然不同。它們通常會產(chǎn)生少量的大數(shù)據(jù)流，被稱為“大象流”（elephant flows）。這些大象流會占用大量的鏈路帶寬，如果多個大象流被路由到同一鏈路，就會導致嚴重的擁塞和高延遲。在人工智能應用中，即使是在非阻塞拓撲中使用ECMP，大象流之間的碰撞幾率也非常高。由于AI作業(yè)的性能高度依賴于最壞情況下的表現(xiàn)，這些碰撞會導致模型訓練時間既超出預期又變得極為不穩(wěn)定。

圖2：NVIDIA：Spectrum-X以太網(wǎng)自適應路由的細粒度數(shù)據(jù)包示意圖

因此，NVIDIA引入自適應路由算法來動態(tài)平衡網(wǎng)絡中的數(shù)據(jù)傳輸。此外，路由的精細度也至關(guān)重要，以避免大象流之間的碰撞。即使按流量進行路由，仍然存在擁塞的可能性。然而，當采用數(shù)據(jù)包噴灑（Packet Spraying）技術(shù)，即按每個數(shù)據(jù)包進行路由時，數(shù)據(jù)包可能會以無序的方式到達目的地。為了實現(xiàn)數(shù)據(jù)包粒度的自適應路由，我們需要建立靈活的重新排序機制，確保自適應路由對應用程序來說是透明的。

挑戰(zhàn)與方案2：擁塞控制

在繁忙的多租戶AI云環(huán)境中，不同AI作業(yè)并行運行時，網(wǎng)絡擁塞問題往往難以避免。尤其是當大量發(fā)送方試圖向單一目的地或不同目的地（這些目的地可能已受到其它應用背景流量的影響）傳輸數(shù)據(jù)時，網(wǎng)絡擁塞現(xiàn)象尤為顯著。這種擁塞不僅會導致延遲飆升和有效帶寬急劇縮減，還可能引發(fā)網(wǎng)絡“熱點”的擴散，造成相鄰租戶的相互干擾，即受害者效應。

圖3：NVIDIA：Spectrum-X以太網(wǎng)擁塞控制與交換機和NVIDIA BlueField SuperNIC協(xié)同工作

傳統(tǒng)的擁塞控制方法，如顯式擁塞通知（ECN，Explicit Congestion Notification），在支持生成式AI的以太網(wǎng)環(huán)境中顯得捉襟見肘。為了有效緩解擁塞，負責數(shù)據(jù)傳輸?shù)木W(wǎng)絡設備（如NIC或DPU）必須進行精確的流量控制。然而，ECN機制在交換機緩沖區(qū)接近滿載時才開始發(fā)揮作用，此時接收方會通知發(fā)送方限制其發(fā)送速率。但在大規(guī)模AI模型常見的突發(fā)流量場景下，這種延遲的擁塞反饋可能導致緩沖區(qū)迅速填滿，進而引發(fā)丟包問題。盡管深度緩沖交換機能夠降低緩沖區(qū)溢出的風險，但它們引入的額外延遲卻削弱了擁塞控制的初衷。

實現(xiàn)高效的擁塞控制需要交換機與網(wǎng)卡NIC之間的緊密協(xié)作。NVIDIA Spectrum-X通過利用Spectrum-4交換機的帶內(nèi)、硬件加速的遙測數(shù)據(jù)，為BlueField-3 SuperNIC提供實時的流量計量信息。

挑戰(zhàn)與方案3：性能隔離與安全性多租戶環(huán)境如AI云，必須確保各個作業(yè)之間的性能隔離，以免受到其它作業(yè)的網(wǎng)絡流量干擾。遺憾的是，許多以太網(wǎng)ASIC設計在性能隔離方面考慮不足。這導致某些作業(yè)在面臨“近鄰干擾”（noisy neighbor）（即向同一端口發(fā)送流量的相鄰作業(yè)）時，其有效帶寬可能會急劇下降。 以太網(wǎng)網(wǎng)絡在設計時還需考慮網(wǎng)絡公平性。AI云應支持多種異構(gòu)應用程序的混合運行。由于不同應用程序可能使用不同大小的數(shù)據(jù)幀，如果沒有適當?shù)母綦x優(yōu)化措施，大數(shù)據(jù)幀可能會占用過多的帶寬資源，導致小數(shù)據(jù)幀傳輸受阻。

實現(xiàn)性能隔離和防止“近鄰干擾”的關(guān)鍵在于采用共享數(shù)據(jù)包緩沖區(qū)。通過為所有作業(yè)提供平等的緩存訪問權(quán)限，共享緩沖區(qū)能夠確?；旌螦I云工作負載的穩(wěn)定性和低延遲。

圖4:強調(diào)通用共享數(shù)據(jù)包緩沖區(qū)架構(gòu)與分割緩沖區(qū)實現(xiàn)之間重要性

除了從帶寬角度考慮性能隔離外，我們還應認識到性能隔離與零信任架構(gòu)對于多租戶環(huán)境網(wǎng)絡安全的重要性。數(shù)據(jù)無論是在靜止狀態(tài)還是傳輸過程中，都需要得到嚴格的保護。高效的加密和認證工具能夠在不犧牲性能的前提下提供強大的安全保障。BlueField-3 DPU集成了安全引導功能，為基于硬件的信任根提供了堅實基礎，并支持MACsec和IPsec等協(xié)議用于數(shù)據(jù)加密，以及AES-XTS 256/512等加密算法用于靜態(tài)數(shù)據(jù)的保護。

以上是英偉達對基于以太網(wǎng)Spectrum-X解決方案的部分優(yōu)勢特性總結(jié)；

UEC 超以太聯(lián)盟對標 NVIDIA Spectrum

我們已經(jīng)了解UEC是專門為AI網(wǎng)絡Scale -out互聯(lián)成立的國際聯(lián)盟，目的是全面優(yōu)化RDMA的功能，從而實現(xiàn)更大規(guī)模的AI網(wǎng)絡集群的高效運作。

UEC 主要在Transport Layer傳輸層做了全面的優(yōu)化，不限于消息語義優(yōu)化、數(shù)據(jù)包傳輸、擁塞控制及可靠性安全性等目前大規(guī)模集群擴展需要優(yōu)化的功能。

UEC支持自適應路由及數(shù)據(jù)包噴灑

超以太聯(lián)盟下一代的Modernized RDMA將支持多路徑傳輸?shù)臄?shù)據(jù)包噴灑技術(shù)，從而優(yōu)化自適應路由。UEC支持了RUD，UET就可以將同一個流的不同包分散到多個路徑上同時傳輸，實現(xiàn)包噴灑功能。這讓交換機可以充分發(fā)揮ECMP甚至WCMP（Weighted Cost Multi- Pathing）路由能力，將去往同一目的地的數(shù)據(jù)包通過多條路徑發(fā)送，大幅度提高網(wǎng)絡利用率。

（來源:AMD）

UEC將支持端到端遙測Telemetry

新的UEC對于擁塞做出了優(yōu)化機制：來自網(wǎng)絡的擁塞信息可以向參與者提供擁塞的位置和原因?？s短擁塞信號路徑并向端點提供更多信息，能夠?qū)崿F(xiàn)更快速的擁塞控制。無論是發(fā)送方還是接收方安排傳輸，現(xiàn)代交換機都可以通過快速傳遞準確的擁塞信息給調(diào)度器或起搏器pacer，促進響應式的擁塞控制，從而提高擁塞控制算法的響應速度和準確性。結(jié)果是減少了擁塞、降低了丟包率和縮短了隊列長度——所有這些為改善尾部延遲提供了服務。

UEC支持安全性與加密

UEC傳輸協(xié)議從設計之初就融入了網(wǎng)絡安全概念，能夠加密并驗證AI訓練或推理作業(yè)中計算端點間發(fā)送的所有網(wǎng)絡流量。UEC傳輸協(xié)議借鑒了現(xiàn)代加密方法（如IPSec和PSP）中用于高效會話管理、認證和保密的核心技術(shù)。隨著作業(yè)規(guī)模的擴大，必須在不使主機和網(wǎng)絡接口的會話狀態(tài)急劇膨脹的前提下支持加密。為此，UET（UEC傳輸）引入了新的密鑰管理機制，允許成千上萬個參與同一作業(yè)的計算節(jié)點之間高效共享密鑰。它被設計成能在AI訓練和推理所要求的高速和大規(guī)模下高效實現(xiàn)。托管在大型以太網(wǎng)網(wǎng)絡上的高性能計算（HPC）作業(yè)具有類似的特征，同樣需要相當?shù)陌踩珯C制。這意味著UEC傳輸不僅能滿足AI領域的需求，也能適應HPC環(huán)境中對于安全性和性能的嚴格要求，確保數(shù)據(jù)在大規(guī)模網(wǎng)絡中的傳輸既高效又安全。

UEC成員Arista公司表示，“當PCI總線因主機CPU上的競爭工作負載或降速等原因出現(xiàn)擁塞時，通常需要使用ECN(顯式擁塞通知)標記。Arista在實現(xiàn)ECN標記方面經(jīng)驗豐富，可以對經(jīng)過擁塞隊列的數(shù)據(jù)包進行標記。此外，該公司還支持即將推出的多種網(wǎng)絡內(nèi)遙測(In-Network Telemetry)技術(shù)，它們能提供更細粒度的網(wǎng)絡擁塞隊列深度信息，從而全面支持網(wǎng)絡內(nèi)遙測。這項新技術(shù)預計將與超以太網(wǎng)的網(wǎng)卡和未來的RDMA一起發(fā)揮更大作用?！?/p>