高性能計算（HPC）和人工智能已經(jīng)將超級計算機(jī)推向了廣泛的商業(yè)應(yīng)用領(lǐng)域，成為其主要的數(shù)據(jù)處理引擎，助力于研究探索、科學(xué)發(fā)現(xiàn)和產(chǎn)品開發(fā)等。

這些系統(tǒng)可以進(jìn)行復(fù)雜的模擬，開啟通過軟件編寫軟件的人工智能新時代。

超級計算能力的領(lǐng)先意味著科學(xué)和創(chuàng)新能力的領(lǐng)先，這也是為什么許多政府、研究機(jī)構(gòu)和企業(yè)愿意投資構(gòu)建更快、更強(qiáng)大的超級計算平臺的原因。

追求超級計算系統(tǒng)最高的性能來達(dá)到最佳的效率，傳統(tǒng)意義上與現(xiàn)代云計算系統(tǒng)追求的安全、多租戶架構(gòu)完全不一樣。

云原生超級計算平臺首次提供了一個兩全其美的方案，將峰值性能、集群效率與當(dāng)代流行的基于零信任的安全隔離和多租戶等特征集于一體。

邁向這種新架構(gòu)的關(guān)鍵就是 NVIDIA 的 BlueField DPU（數(shù)據(jù)處理器）。DPU 是一個集數(shù)據(jù)中心于單芯片的平臺，為每個超級計算節(jié)點注入了兩種新功能：

基礎(chǔ)設(shè)施的控制平面處理器 – 保護(hù)用戶訪問的安全、加速存儲訪問、加速網(wǎng)絡(luò)通信和對于計算節(jié)點的全生命周期編排，卸載主計算處理器的基礎(chǔ)設(shè)施操作，實現(xiàn)裸機(jī)多租戶。

通過硬件加速的方式將數(shù)據(jù)通路隔離出來，保障線速 – 實現(xiàn)裸機(jī)性能。

HPC 和 AI 通信框架和庫對延遲和帶寬都很敏感，它們在應(yīng)用性能方面起著關(guān)鍵作用。將通信庫從主機(jī) CPU 或 GPU 卸載到 BlueField DPU ，為通信和計算的并行處理實現(xiàn)了最大程度的重疊，它還減少了操作系統(tǒng)的抖動帶來的負(fù)面影響，顯著提高了應(yīng)用性能。

云原生超級計算機(jī)架構(gòu)的開發(fā)是基于開放社區(qū)而進(jìn)行的，包括了商業(yè)公司、學(xué)術(shù)組織和政府機(jī)構(gòu)等。這個不斷增長的社區(qū)對于開發(fā)下一代超級計算至關(guān)重要。

在本文中分享的一個例子是 MVAPICH2-DPU 通信庫，由 X-ScaleSolutions 公司設(shè)計和開發(fā)。MVAPICH2-DPU 庫實現(xiàn)了了對于標(biāo)準(zhǔn) MPI（消息傳遞接口）的無阻塞集合通信的卸載。

本文將介紹這種無阻塞集合通信卸載的基本原理，以及最終用戶如何使用 MVAPICH2-DPU MPI 庫來加速科學(xué)計算應(yīng)用的執(zhí)行，特別是針對于大規(guī)模的的無阻塞 all-to-all 通信。

BlueField DPU

關(guān)于 BlueField DPU 的架構(gòu)及其如何與主機(jī)計算平臺互連的介紹， DPU 上的 ConnectX-6 網(wǎng)卡可以提供 InfiniBand 網(wǎng)絡(luò)接口。此外，它還有一組 Arm 核， BlueField-2 DPU 包含一組 8 個 2.0 GHz 的 Arm 核， Arm 處理器集成了 16GB 的共享內(nèi)存。

MVAPICH2-DPU MPI 通信庫是 MVAPICH2 MPI 通信庫的分支，該通信庫專門為在 InfiniBand 網(wǎng)絡(luò)中充分發(fā)揮 BlueField DPU 的潛力而進(jìn)行了優(yōu)化。

最新的 MVAPICH2-DPU 2021 。 06 版本具有以下功能：

基于 MVAPICH2 2.3.6 版本，符合 MPI 3.1 標(biāo)準(zhǔn)

支持 MVAPICH2 2.3.6 版本 提供的所有功能

通過這個新框架可以將無阻塞集合通信（Nonblocking Collectives）卸載到 DPU

卸載無阻塞 Alltoall （MPI 的 Ialltoall）到 DPU

100%的計算與 MPI_Ialltoall 無阻塞集合通信的重疊使用 MPI Ialltoall 無阻塞集合通信加速科學(xué)計算應(yīng)用

OSU（俄亥俄州立大學(xué)）做的

Micro-Benchmark 測試用例

OSU的MVAPICH2-DPU MPI 軟件包內(nèi)置了OSU MPI Micro-Benchmarks。OMB 基準(zhǔn)測試套件包含了無阻塞集合通信操作的基準(zhǔn)測試，這些基準(zhǔn)測試旨在評估無阻塞 MPI 集合通信和計算之間的重疊能力。

OMB 測試包中的無阻塞集合通信測試基準(zhǔn)可以用來評估以下指標(biāo)：

重疊功能

采用無阻塞集合通信與計算步驟重疊運行時的總執(zhí)行時間

為此，我們在國際高性能計算和人工智能咨詢委員會（HPC-AI Advisory Council）的一臺 32 節(jié)點的集群上運行了完整 OMB 測試這臺集群采用了32 個HDR 200Gb/s InfiniBand BlueField DPU 互連在一起，每個主機(jī)節(jié)點有兩個 16 核、2.60 GHz 的 Intel Xeon E5-2697A V4 CPU ，每個 BluefFeld-2 DPU 有 8 個2.0 GHz 的 Arm 核和 16GB 內(nèi)存。

分別運行 512 個MPI 進(jìn)程（ 32 個節(jié)點，每個節(jié)點運行 16 個進(jìn)程（PPN：Process Per Node ）和 1024 個MPI 進(jìn)程（32 個節(jié)點，每個節(jié)點運行 32 個 PPN）的 MPI的 Ialltoall 無阻塞集合通信的測試結(jié)果。

隨著消息（Message）大小的增加， MVAPICH2- DPU 庫表現(xiàn)出了計算和 MPI Ialltoall 無阻塞集合通信之間的完全（100%）重疊。相比之下，沒有 DPU 來卸載的 MVAPICH2 默認(rèn)通信庫，僅僅可以在計算和 MPI Ialltoall 無阻塞集合通信之間發(fā)生很少的重疊。

當(dāng) MPI 應(yīng)用程序中的計算步驟與 MPI Ialltoall 無阻塞集合通信進(jìn)行重疊操作時， MVAPICH2-DPU MPI 庫在程序的總體執(zhí)行時間上體現(xiàn)出了顯著的性能優(yōu)勢。

其原因就是因為 在主機(jī)上的 Xeon CPU 核在計算時，DPU 中的 Arm 核可以同時在執(zhí)行無阻塞 MPI all-to-all 通信，實現(xiàn)了計算和通信的高度重疊。

與標(biāo)準(zhǔn)的 MVAPICH2 MPI 庫相比， MVAPICH2-DPU MPI 庫可以提供高達(dá) 23% 的性能優(yōu)勢。這個 OMB-MPI_Ialltoall 測試涵蓋了在 32 節(jié)點上不同消息大小和 不同 PPN 的場景。

加速 P3DFFT 應(yīng)用程序內(nèi)核

P3DFFT 是一種常見的 MPI 內(nèi)核，被用于許多使用快速傅立葉變換（ FFT ）的終端應(yīng)用。P3DFFT 的開發(fā)人員專門設(shè)計了一個 MPI 內(nèi)核版本來支持無阻塞 all-to-all 集合通信和計算步驟的最大化重疊操作。

我們在HPC-AI Advisory Council的 32 節(jié)點集群上對 P3DFFT MPI 內(nèi)核的增強(qiáng)版本通過MVAPICH2-DPU MPI 庫進(jìn)行了評估。從圖 4 可以看到 MVAPICH2-DPU MPI 庫將 P3DFFT 應(yīng)用內(nèi)核的總體執(zhí)行時間減少了 21% ，涵蓋了各種大小的網(wǎng)格和PPN 。

概括

NVIDIA DPU 架構(gòu)提供了新的功能，可以將各種中間件的功能卸載到 DPU 上的可編程 Arm 核上。為了能利用這些功能來加速科學(xué)應(yīng)用，必須重新設(shè)計 MPI 通信庫。

MVAPICH2-DPU MPI 庫是利用到 DPU 的這種功能的先行者之一。最初版本的可以卸載MPI_Ialltoall 無阻塞集合通信的MVAPICH2-DPU 通信庫，展示了計算和無阻塞 alltoall 集合通信的之間的 100% 重疊。在運行 1024 個MPI進(jìn)程時，它可以將 P3DFFT 應(yīng)用內(nèi)核的執(zhí)行時間縮短 21% 。

這項研究證明了使用 MVAPICH2-DPU MPI 通信庫的 DPU 架構(gòu)具有很強(qiáng)的 ROI 。

隨著 DPU 架構(gòu)的不斷進(jìn)步，越來越多的面向其它 MPI 操作的卸載功能將隨著新的版本逐漸發(fā)布，并為加速云原生超級計算系統(tǒng)上的科學(xué)應(yīng)用發(fā)揮重要作用。

編輯：jq