從Transformer 問世至 2023年 ChatGPT 爆火，人們逐漸意識到隨著模型參數(shù)規(guī)模增加，模型的效果越來越好，且兩者之間符合Scalinglaw規(guī)律，且當(dāng)模型的參數(shù)規(guī)模超過數(shù)百億后，AI大模型的語言理解能力、邏輯推理能力以及問題分析能力迅速提升。同時，隨著模型參數(shù)規(guī)模與性能提升后，AI大模型訓(xùn)練對于網(wǎng)絡(luò)的需求相比于傳統(tǒng)模型也隨之產(chǎn)生變化。

為滿足大規(guī)模訓(xùn)練集群高效的分布式計算，AI大模型訓(xùn)練流程中通常會包含數(shù)據(jù)并行、流水線并行及張量并行等多種并行計算模式，不同并行模式下均需要多個計算設(shè)備間進(jìn)行集合通信操作。另外，訓(xùn)練過程中通常采用同步模式，需多機(jī)多卡間完成集合通信操作后才可進(jìn)行訓(xùn)練的下一輪迭代或計算。因此，在AI大模型的大規(guī)模訓(xùn)練集群中，如何設(shè)計高效的集群組網(wǎng)方案，滿足低時延、高吞吐的機(jī)間通信，從而降低多機(jī)多卡間數(shù)據(jù)同步的通信耗時，提升GPU有效計算時間占比（GPU計算時間/整體訓(xùn)練時間），對于AI分布式訓(xùn)練集群的效率提升至關(guān)重要。以下將從規(guī)模、帶寬、時延、穩(wěn)定性及網(wǎng)絡(luò)部署角度分析AI大模型對于網(wǎng)絡(luò)的需求。

01.?超大規(guī)模組網(wǎng)需求

AI 應(yīng)用計算量呈幾何級數(shù)增長，算法模型向巨量化發(fā)展，人工智能模型參數(shù)在過去十年增長了十萬倍，當(dāng)前AI超大模型的參數(shù)目前已經(jīng)達(dá)到了千億~萬億的級別。訓(xùn)練這樣的模型，毫無疑問需要超高算力。此外，超大模型對于顯存的需求頁很高。以1T參數(shù)模型為例，使用16bit精度存儲，首先需要消耗2TB的存儲空間。除此之外，在訓(xùn)練過程中，前向計算產(chǎn)生的激活值、反向計算產(chǎn)生的梯度、參數(shù)更新需要的優(yōu)化器狀態(tài)等中間變量均需要存儲，且中間變量在單次迭代中也會不斷增加。一個使用Adam優(yōu)化器的訓(xùn)練過程，峰值會產(chǎn)生7倍于模型參數(shù)量的中間變量。如此高的顯存消耗，意味著需要幾十上百個GPU才能完整存儲一個模型的訓(xùn)練過程。

可是，僅僅有了大量GPU，仍然無法訓(xùn)練出有效的大模型。合適的并行方式才是提升訓(xùn)練效率的關(guān)鍵。目前超大模型主要有三種并行方式：數(shù)據(jù)并行、流水線并行、張量并行。在千億~萬億級別的大模型訓(xùn)練時，以上三種并行都會存在。訓(xùn)練超大模型需要數(shù)千GPU組成的集群。表面上看，這和云數(shù)據(jù)中心當(dāng)前已經(jīng)達(dá)到數(shù)萬服務(wù)器的互聯(lián)規(guī)模相比，還處于下風(fēng)。但實(shí)際上，幾千節(jié)點(diǎn)的GPU互聯(lián)，比數(shù)萬服務(wù)器的互聯(lián)更具有挑戰(zhàn)，因?yàn)榫W(wǎng)絡(luò)能力和計算能力需要高度匹配。云數(shù)據(jù)中心使用CPU計算，網(wǎng)絡(luò)需求一般在10Gbps~100Gbps，并且使用傳統(tǒng)TCP傳輸層協(xié)議。但AI超大模型訓(xùn)練使用GPU訓(xùn)練，算力比CPU高好幾個數(shù)量級，互聯(lián)網(wǎng)絡(luò)需求在100Gbps~400Gbps，此外使用了RDMA協(xié)議來減少傳輸時延，提升網(wǎng)絡(luò)吞吐。

具體來說，數(shù)千GPU的高性能組網(wǎng)，在網(wǎng)絡(luò)規(guī)模上有以下問題需要考慮

大規(guī)模RDMA網(wǎng)絡(luò)遇到的問題，例如鏈路頭阻、PFC死鎖風(fēng)暴

網(wǎng)絡(luò)性能優(yōu)化，包括更高效的擁塞控制、負(fù)載均衡技術(shù)

網(wǎng)卡連接性能問題，單主機(jī)受到硬件性能限制，如何構(gòu)建數(shù)千RDMA的QP連接

網(wǎng)絡(luò)拓?fù)溥x擇，是傳統(tǒng)Fat Tree結(jié)構(gòu)更好，還是可以參考高性能計算的Torus，Dragonfly 等組網(wǎng)

02.?超高帶寬需求

在AI大模型訓(xùn)練場景下，機(jī)內(nèi)與機(jī)外的集合通信操作將產(chǎn)生大量的通信數(shù)據(jù)量。從機(jī)內(nèi)GPU通信角度看，以千億參數(shù)規(guī)模的AI模型為例，模型并行產(chǎn)生的AllReduce集合通信數(shù)據(jù)量將達(dá)到百GB級別，因此機(jī)內(nèi)GPU間的通信帶寬及方式對于流完成時間十分重要。服務(wù)器內(nèi)GPU應(yīng)支持高速互聯(lián)協(xié)議，且其進(jìn)一步避免了GPU通信過程中依靠CPU內(nèi)存緩存數(shù)據(jù)的多次拷貝操作。從機(jī)間GPU通信角度看，流水線并行、數(shù)據(jù)并行及張量并行模式需要不同的通信操作，部分集合通信數(shù)據(jù)將達(dá)到百GB級別，且復(fù)雜的集合通信模式將在同一時刻產(chǎn)生多對一與一對多的通信。因此機(jī)間GPU的高速互聯(lián)對于網(wǎng)絡(luò)的單端口帶寬、節(jié)點(diǎn)間的可用鏈路數(shù)量及網(wǎng)絡(luò)總帶寬提出了高要求。另外，GPU與網(wǎng)卡間通常通過PCIe總線互聯(lián)，PCIe總線的通信帶寬決定網(wǎng)卡單端口帶寬能否完全發(fā)揮。以PCIe3.0總線（16lane對應(yīng)單向16GB/秒帶寬）為例，當(dāng)機(jī)間通信配備200Gbps的單端口帶寬時，機(jī)間的網(wǎng)絡(luò)性能將無法完全被使用。

03.?超低時延及抖動需求

在數(shù)據(jù)通信傳輸過程中產(chǎn)生的網(wǎng)絡(luò)時延由靜態(tài)時延和動態(tài)時延兩個部分構(gòu)成。靜態(tài)時延包含數(shù)據(jù)串行時延、設(shè)備轉(zhuǎn)發(fā)時延和光電傳輸時延，靜態(tài)時延由轉(zhuǎn)發(fā)芯片的能力和傳輸?shù)木嚯x決定，當(dāng)網(wǎng)絡(luò)拓?fù)渑c通信數(shù)據(jù)量確定時，此部分時延通常為固定值，而真正對網(wǎng)絡(luò)性能影響比較大的是動態(tài)時延。動態(tài)時延包含了交換機(jī)內(nèi)部排隊時延和丟包重傳時延，通常由網(wǎng)絡(luò)擁塞和丟包引起。 以1750億參數(shù)規(guī)模的GPT-3模型訓(xùn)練為例，從理論估算模型分析，當(dāng)動態(tài)時延從10us提升至1000us時，GPU有效計算時間占比將降低接近10%，當(dāng)網(wǎng)絡(luò)丟包率為千分之一時，GPU 有效計算時間占比將下降13%，當(dāng)網(wǎng)絡(luò)丟包率達(dá)到1%時，GPU有效計算時間占比將低于5%。如何降低計算通信時延、提升網(wǎng)絡(luò)吞吐是AI大模型智算中心能夠充分釋放算力的核心問題。 除時延外，網(wǎng)絡(luò)變化因素引入的時延抖動也對訓(xùn)練效率產(chǎn)生影響。訓(xùn)練過程中計算節(jié)點(diǎn)的集合通信過程一般可以拆解成多個節(jié)點(diǎn)間并行執(zhí)行P2P通信，例如N個節(jié)點(diǎn)間Ring AllReduce 集合通信包含2*(N-1)次的數(shù)據(jù)通信子流程，每個子流程中所有節(jié)點(diǎn)均完成P2P通信（并行執(zhí)行）才可結(jié)束這個子流程。當(dāng)網(wǎng)絡(luò)出現(xiàn)波動時，某兩個節(jié)點(diǎn)間的P2P的流完成時間（FCT）將明顯變長。因網(wǎng)絡(luò)抖動引入的P2P通信時間變化可理解為木桶效率的最弱一環(huán)，將會導(dǎo)致其所屬的子流程的完成時間也隨之變長。因此，網(wǎng)絡(luò)抖動導(dǎo)致集合通信的效率變低，從而影響到AI大模型的訓(xùn)練效率。

04.?超高穩(wěn)定性需求

Transformer 誕生以后，開啟了大模型快速演進(jìn)的序章。過去5年時間，模型從61M，增長到540B，翻了近1萬倍！集群算力決定了AI模型訓(xùn)練速度的快慢，單塊V100訓(xùn)練GTP-3 需要335年，10000張V100的集群，集群系統(tǒng)完美線性擴(kuò)展需要12天左右時間。 網(wǎng)絡(luò)系統(tǒng)的可用性是作為基礎(chǔ)來決定整個集群的計算穩(wěn)定性。一方面，網(wǎng)絡(luò)故障域大，集群中一個網(wǎng)絡(luò)節(jié)點(diǎn)的故障可能會影響數(shù)十個甚至更多的計算節(jié)點(diǎn)的連通性，降低系統(tǒng)算力的完整性；另一方面，網(wǎng)絡(luò)性能波動影響大，網(wǎng)絡(luò)作為集群共享資源相較于單個計算節(jié)點(diǎn)不容易被隔離，性能波動會導(dǎo)致所有計算資源的利用率都受影響。因此在AI大模型訓(xùn)練任務(wù)周期中，維持網(wǎng)絡(luò)的穩(wěn)定高效是極其重要的目標(biāo)，對網(wǎng)絡(luò)運(yùn)維帶來了新的挑戰(zhàn)。 在訓(xùn)練任務(wù)期間一旦發(fā)生故障，可能需要容錯替換或者彈性擴(kuò)縮容的方式來處理故障節(jié)點(diǎn)。一旦參與計算的節(jié)點(diǎn)位置發(fā)生了變化，導(dǎo)致當(dāng)前的通信模式或許就不是最優(yōu)的，需要通過作業(yè)重新排布和調(diào)度，以此來提升整體訓(xùn)練的效率。另外，一些網(wǎng)絡(luò)故障（例如靜默丟包）的發(fā)生是不可被預(yù)期的，一旦發(fā)生不僅會導(dǎo)致集合通信效率降低，同時還會引發(fā)通信庫超時，造成訓(xùn)練業(yè)務(wù)長時間卡死，很大程度上影響訓(xùn)練效率。因此需要通過獲取細(xì)粒度的業(yè)務(wù)流吞吐、丟包等信息，可避障自愈的耗時控制在秒級別內(nèi)。

05.?網(wǎng)絡(luò)自動化部署需求

智能無損網(wǎng)絡(luò)的構(gòu)建往往基于RDMA協(xié)議及擁塞控制機(jī)制，但與之相伴隨的是一系列復(fù)雜多樣化的配置。其中任一個參數(shù)配置錯誤都可能會影響到業(yè)務(wù)的性能，還有可能會引出些許不符合預(yù)期的問題。據(jù)統(tǒng)計，超過90%的高性能網(wǎng)絡(luò)故障是由配置錯誤導(dǎo)致的問題，出現(xiàn)這一問題的主要原因是網(wǎng)卡配置參數(shù)多，其中參數(shù)量取決于架構(gòu)版本、業(yè)務(wù)類型和網(wǎng)卡類型。由于AI大模型訓(xùn)練中集群規(guī)模大，進(jìn)一步增大配置的復(fù)雜度。因此，高效或自動化部署配置能夠有效的提升大模型集群系統(tǒng)的可靠性和效率。自動化部署配置需要能夠做到多臺并行部署配置的能力，自動選擇擁塞控制機(jī)制相關(guān)參數(shù)以及根據(jù)網(wǎng)卡類型和業(yè)務(wù)類型選擇相關(guān)配置。 同樣的，在復(fù)雜的架構(gòu)和配置條件下，在業(yè)務(wù)運(yùn)行過程中可快速準(zhǔn)確地故障定位，能夠有效保障整體業(yè)務(wù)效率。自動化的故障檢測一方面可以快速定界問題，精準(zhǔn)推送問題至管理人員，另一方面可以減少問題定位成本，快速定位問題根因并給出解決方案。

審核編輯：黃飛

?