01.?CUDA架構(gòu)，助力AI加速計算生態(tài)

GPU適用于處理大數(shù)據(jù)集，CUDA核是本質(zhì)原因。最開始，GPU(圖形處理單元)作為一種專用計算機(jī)處理器，可以滿足實施高分辨率3D圖形計算密集型任務(wù)的需求。到2012年，由于GPU已經(jīng)發(fā)展成為高度并行的多核系統(tǒng)，讓它具備了處理大量數(shù)據(jù)的能力。簡而言之，CPU做的專注線性計算，GPU做的是并行計算(數(shù)據(jù)之間沒有直接關(guān)系)，而本質(zhì)的原因是CUDA核的不同，CUDA核越多，計算性能越強(qiáng)，而GPU的CUDA核數(shù)是CPU的上百倍，如AMD EPYC 7003系列7763核心數(shù)為64個，而英偉達(dá)A100 40GB核心數(shù)為6912個。

CUDA的本質(zhì)是“軟件定義硬件”，實現(xiàn)“軟件調(diào)用硬件”。CUDA是一種并行計算平臺和應(yīng)用程序編程接口(API)，允許軟件使用特定類型的圖形處理單元(GPU)進(jìn)行通用目的的處理，稱為通用圖形處理單元計算(GPGPU)。CUDA提供了直接訪問GPU虛擬指令集和并行計算元素的軟件層，用于執(zhí)行計算內(nèi)核。CUDA支持的GPU還可以使用編程框架，通過將代碼編譯為CUDA來使用HIP。CUDA將從前多種不同的代碼整合成了一氣呵成的代碼，這樣極大的加快了開發(fā)模型的訓(xùn)練速度。可以簡單理解，CUDA是英偉達(dá)實現(xiàn)軟硬件適配的一種“類編譯器”，將軟件的代碼轉(zhuǎn)換成硬件匯編代碼，CUDA是英偉達(dá)實現(xiàn)軟硬件生態(tài)的護(hù)城河。

CUDA助力加速計算及深度學(xué)習(xí)：GPU通過圖形應(yīng)用程序的算法存在算法密集、高度并行、控制簡單、分多個階段執(zhí)行等特征，英偉達(dá)引入的CUDA使GPU超越了圖形領(lǐng)域。同時，CUDA的框架和庫可以充分發(fā)揮GPU的并行計算能力，提供高效的矩陣運算、卷積運算等計算任務(wù)的實現(xiàn)，大大簡化深度學(xué)習(xí)的編程工作，提高開發(fā)效率和代碼質(zhì)量。在經(jīng)GPU加速的應(yīng)用中，工作負(fù)載的串行部分在CPU上運行，而應(yīng)用的計算密集型部分則以并行方式在數(shù)千個GPU 核心上運行，能夠大幅提升計算效率。目前NVIDIA H100 GPU的CUDA數(shù)已達(dá)到14592個，遠(yuǎn)超AMD EPYC Genoa-X CPU的96個核心。

CUDA生態(tài)合作者規(guī)模翻倍增長。根據(jù)英偉達(dá)2023財年年報，目前有400萬名開發(fā)者正在與CUDA合作，而且規(guī)模還在不斷擴(kuò)大。英偉達(dá)通過12年的時間達(dá)到200萬名開發(fā)者，在過去的兩年半里該數(shù)字翻了一番。目前CUDA的下載量已經(jīng)超過了4000萬次。

02.?Nvlink、NVSwitch助力芯片快速互聯(lián)互通

速度更快、可擴(kuò)展性更強(qiáng)的互連已成為當(dāng)前的迫切需求: AI和高性能計算領(lǐng)域的計算需求不斷增長，對于能夠在每個GPU之間實現(xiàn)無縫高速通信的多節(jié)點、多GPU系統(tǒng)的需求也在與日俱增。要打造功能強(qiáng)大且能夠滿足業(yè)務(wù)速度需求的端到端計算平臺，可擴(kuò)展的快速互連必不可少。簡而言之，隨著模型復(fù)雜程度增加，單張GPU無法完成訓(xùn)練任務(wù)，需要聯(lián)合多張GPU，乃至多臺服務(wù)器搭建集群協(xié)同工作，并需要GPU之間以及服務(wù)器之間進(jìn)行數(shù)據(jù)傳輸交互。我們認(rèn)為數(shù)據(jù)傳輸同樣也是大模型算力集群能力的重要體現(xiàn)。

英偉達(dá)推出NVLink技術(shù)代替?zhèn)鹘y(tǒng)的PCIe技術(shù)：第四代NVIDIA NVLink 技術(shù)可為多GPU系統(tǒng)配置提供高于以往1.5倍的帶寬，以及增強(qiáng)的可擴(kuò)展性。單個 NVIDIA H100 Tensor Core GPU 支持多達(dá)18個NVLink 連接，總帶寬為900GB/s，是PCIe 5.0帶寬的7倍。NVIDIADGX H100等服務(wù)器可利用這項技術(shù)來提高可擴(kuò)展性，進(jìn)而實現(xiàn)超快速的深度學(xué)習(xí)訓(xùn)練。

NVSwitch與Nvlink協(xié)同互聯(lián)，助力英偉達(dá)高速通信能力構(gòu)建: NVSwitch是一種高速交換機(jī)技術(shù)，可以將多個 GPU 和 CPU 直接連接起來，形成一個高性能計算系統(tǒng)。每個NVSwitch都有 64 個 NVLink 端口，并配有 NVIDIA SHARP 引擎，可用于網(wǎng)絡(luò)內(nèi)歸約和組播加速。

?

03.?InfiniBand配合組網(wǎng)技術(shù)實現(xiàn)高效互聯(lián)互通

IB交換機(jī)：是采用InfiniBand網(wǎng)絡(luò)通信標(biāo)準(zhǔn)的交換機(jī)（以太網(wǎng)交換機(jī)是采用以太網(wǎng)協(xié)議），IB網(wǎng)絡(luò)具備高吞吐帶寬和低網(wǎng)絡(luò)時延等優(yōu)點。Mellanox是全球IB交換機(jī)領(lǐng)先廠商，2020年被英偉達(dá)68億美金收購。當(dāng)前AI大模型的建設(shè)，尤其模型的訓(xùn)練部分，英偉達(dá)的網(wǎng)絡(luò)配置方案已經(jīng)占據(jù)了絕對領(lǐng)先地位。目前業(yè)界基于英偉達(dá)A100和H100 GPU構(gòu)建的網(wǎng)絡(luò)以配套IB交換機(jī)為主：

DGX A100 SuperPOD基本部署結(jié)構(gòu)信息為，140臺服務(wù)器(每臺服務(wù)器8張GPU）+交換機(jī)（每臺交換機(jī)40個端口，單端口200G），網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)為IB fat-tree（胖樹），交換機(jī)速率為200Gb/s；交換機(jī)建議Mellanox HDR 200GB/s InfinBand交換機(jī)；

DGX H100 SuperPOD基本部署結(jié)構(gòu)信息為：32臺服務(wù)器(每臺服務(wù)器8張GPU）+12臺交換機(jī)，網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)為IB fat-tree（胖樹），交換機(jī)單端口400G速率，可合并形成800G端口；交換機(jī)建議NVIDIA Quantum QM9700 switc；

以太網(wǎng)是一種廣泛使用的網(wǎng)絡(luò)協(xié)議，但其傳輸速率和延遲無法滿足大型模型訓(xùn)練的需求。相比之下，端到端IB（InfiniBand）網(wǎng)絡(luò)是一種高性能計算網(wǎng)絡(luò)，能夠提供高達(dá) 400 Gbps 的傳輸速率和微秒級別的延遲，遠(yuǎn)高于以太網(wǎng)的性能。這使得IB網(wǎng)絡(luò)成為大型模型訓(xùn)練的首選網(wǎng)絡(luò)技術(shù)。

Infiniband網(wǎng)絡(luò)（IB網(wǎng)絡(luò)）：是指通過一套中心 Infiniband 交換機(jī)在存儲、網(wǎng)絡(luò)以及服務(wù)器等設(shè)備之間建立一個單一的連接鏈路，通過中心 Infiniband 交換機(jī)來控制流量，能夠降低硬件設(shè)備間數(shù)據(jù)流量擁塞，有效解決傳統(tǒng) I/O結(jié)構(gòu)的通信傳輸瓶頸，還能與遠(yuǎn)程存儲設(shè)備和網(wǎng)絡(luò)設(shè)備相連接。

端到端IB網(wǎng)絡(luò)還支持?jǐn)?shù)據(jù)冗余和糾錯機(jī)制，能夠保證數(shù)據(jù)傳輸?shù)目煽啃?。在處理大模型中較多的數(shù)據(jù)時，數(shù)據(jù)傳輸錯誤或數(shù)據(jù)丟失可能會導(dǎo)致訓(xùn)練過程中斷甚至失敗，因此保證傳輸?shù)目煽啃杂葹橹匾?，而IB網(wǎng)路有效實現(xiàn)了保證。

審核編輯：黃飛

?