NVIDIA NVLink已成為高性能計(jì)算（HPC）和人工智能領(lǐng)域的關(guān)鍵技術(shù)。本文深入探討了NVLink的復(fù)雜性，并介紹NVSwitch芯片、NVLink服務(wù)器和NVLink交換機(jī)，以揭示其在不斷演進(jìn)的先進(jìn)計(jì)算領(lǐng)域中的重要性。

《大模型技術(shù)能力測(cè)評(píng)合集》

1、大模型時(shí)代，智算網(wǎng)絡(luò)性能評(píng)測(cè)挑戰(zhàn)2、AIGC通用大模型產(chǎn)品測(cè)評(píng)篇（2023）3、人工智能大模型工業(yè)應(yīng)用準(zhǔn)確性測(cè)評(píng)4、甲子星空坐標(biāo)系：AIGC通用大模型產(chǎn)品測(cè)評(píng)篇5、AIGC通用大模型產(chǎn)品測(cè)評(píng)篇（2023）6、2023年中國大模型行研能力評(píng)測(cè)

什么是NVIDIA NVLink

NVLink是一種解決服務(wù)器內(nèi)GPU之間通信限制的協(xié)議。與傳統(tǒng)的PCIe交換機(jī)不同，NVLink帶寬有限，可以在服務(wù)器內(nèi)的GPU之間實(shí)現(xiàn)高速直接互連。第四代NVLink提供更高的帶寬，每條通道達(dá)到112Gbps，比PCIe Gen5通道速率快三倍。

NVLink旨在為GPU直接互連提供簡(jiǎn)化、高速、點(diǎn)對(duì)點(diǎn)的網(wǎng)絡(luò)，相比傳統(tǒng)網(wǎng)絡(luò)減少了開銷。通過在不同層次提供CUDA加速，NVLink減少了與通信相關(guān)的網(wǎng)絡(luò)開銷。NVLink隨著GPU架構(gòu)的演進(jìn)不斷發(fā)展，從P100的NVLink1到H100的NVLink4，如圖所示。NVLink 1.0、NVLink 2.0、NVLink 3.0和NVLink 4.0之間的關(guān)鍵區(qū)別在于連接方式、帶寬和性能。

NVSwitch芯片

NVSwitch芯片是一種物理芯片，類似于交換機(jī)ASIC，可通過高速的NVLink接口連接多個(gè)GPU，提高服務(wù)器內(nèi)的通信和帶寬。第三代NVIDIA NVSwitch可支持以900 GB/s的速率互連每對(duì)GPU。

NVSwitch3芯片具有64個(gè)NVLink4端口，提供總共12.8 Tbps的單向帶寬或3.2 TB/s的雙向帶寬。NVSwitch3芯片的獨(dú)特之處在于其集成了SHARP功能，對(duì)多個(gè)GPU單元的計(jì)算結(jié)果進(jìn)行聚合和更新，減少網(wǎng)絡(luò)數(shù)據(jù)包并提高計(jì)算性能。

NVLink服務(wù)器

NVLink服務(wù)器采用NVLink和NVSwitch技術(shù)連接GPU，通常可在英偉達(dá)（NVIDIA）的DGX系列服務(wù)器或具有類似架構(gòu)的OEM HGX服務(wù)器中找到。這些服務(wù)器利用NVLink技術(shù)，提供出色的GPU互聯(lián)性、可擴(kuò)展性和高性能計(jì)算能力。2022年，英偉達(dá)（NVIDIA）宣布推出第四代NVIDIA DGX系統(tǒng)，這是世界上首個(gè)采用新的NVIDIA DGX H100服務(wù)器構(gòu)建的AI平臺(tái)。

因此，NVLink服務(wù)器在科學(xué)計(jì)算、人工智能、大數(shù)據(jù)處理和數(shù)據(jù)中心等關(guān)鍵領(lǐng)域已經(jīng)變得不可或缺。通過提供強(qiáng)大的計(jì)算能力和高效的數(shù)據(jù)處理，NVLink服務(wù)器不僅滿足了這些領(lǐng)域的嚴(yán)格要求，還推動(dòng)了這些領(lǐng)域的進(jìn)步和創(chuàng)新。

NVLink交換機(jī)

2022年，英偉達(dá)（NVIDIA）將NVSwitch芯片獨(dú)立出來，并制作成NVLink交換機(jī)，用于連接主機(jī)之間的GPU設(shè)備。它采用了1U尺寸設(shè)計(jì)，具有32個(gè)OSFP端口；每個(gè)OSFP端口包含8個(gè)112G PAM4通道，每個(gè)交換機(jī)內(nèi)置2個(gè)NVSwitch3芯片。

NVLink網(wǎng)絡(luò)

NVSwitch物理交換機(jī)將多個(gè)NVLink GPU服務(wù)器連接成一個(gè)大型Fabric網(wǎng)絡(luò)，即NVLink網(wǎng)絡(luò)，解決了GPU之間的高速通信帶寬和效率問題。每個(gè)服務(wù)器都有獨(dú)立的地址空間，為NVLink網(wǎng)絡(luò)中的GPU提供數(shù)據(jù)傳輸、隔離和安全保護(hù)。當(dāng)系統(tǒng)啟動(dòng)時(shí)，NVLink網(wǎng)絡(luò)通過軟件API自動(dòng)建立連接，并可以在運(yùn)行過程中更改地址。

該圖比較了NVLink網(wǎng)絡(luò)與傳統(tǒng)以太網(wǎng)網(wǎng)絡(luò)，演示了如何創(chuàng)建獨(dú)立于IP以太網(wǎng)并專用于GPU服務(wù)的NVLink網(wǎng)絡(luò)。

InfiniBand網(wǎng)絡(luò) VS NVLink網(wǎng)絡(luò)

InfiniBand網(wǎng)絡(luò)和NVLink網(wǎng)絡(luò)是在高性能計(jì)算和數(shù)據(jù)中心應(yīng)用中使用的兩種不同的網(wǎng)絡(luò)技術(shù)。它們有以下區(qū)別： 架構(gòu)和設(shè)計(jì)：InfiniBand網(wǎng)絡(luò)是一種采用多通道、高速串行連接的開放標(biāo)準(zhǔn)網(wǎng)絡(luò)技術(shù)，支持點(diǎn)對(duì)點(diǎn)和多播通信。NVLink網(wǎng)絡(luò)是由英偉達(dá)（NVIDIA）開發(fā)的專有技術(shù)，旨在實(shí)現(xiàn)GPU之間的高速直連。 應(yīng)用場(chǎng)景：InfiniBand網(wǎng)絡(luò)廣泛應(yīng)用于高性能計(jì)算集群和大規(guī)模數(shù)據(jù)中心。NVLink網(wǎng)絡(luò)主要用于大規(guī)模GPU集群、HPC、人工智能等領(lǐng)域。 帶寬和延遲：InfiniBand網(wǎng)絡(luò)提供高帶寬和低延遲的通信，提供更高的吞吐量和更短的傳輸延遲。NVLink網(wǎng)絡(luò)為GPU之間提供更高的帶寬和更低的延遲，以支持快速數(shù)據(jù)交換和協(xié)同計(jì)算。以下是使用NVLink網(wǎng)絡(luò)的H100和使用InfiniBand網(wǎng)絡(luò)的A100之間的帶寬比較。

結(jié)論

NVIDIA NVLink作為一項(xiàng)開創(chuàng)性的技術(shù)，徹底改變了高性能計(jì)算和人工智能領(lǐng)域。它能夠增強(qiáng)GPU之間的通信，提高性能，并實(shí)現(xiàn)無縫的并行處理，成為眾多高性能計(jì)算和人工智能應(yīng)用中不可或缺的組成部分。隨著先進(jìn)計(jì)算領(lǐng)域的不斷發(fā)展，NVLink的重要性和影響力將不斷擴(kuò)大，推動(dòng)技術(shù)創(chuàng)新。

審核編輯：黃飛

?