世界各地的研究人員將在配備最新 NVIDIA Hopper GPU 和 NVIDIA Grace Hopper 超級芯片的系統(tǒng)上，借助生成式 AI 和 HPC 來應(yīng)對科學(xué)和工業(yè)領(lǐng)域的重大挑戰(zhàn)。

11 月 13 日，NVIDIA 在 SC23 上發(fā)布了一系列新技術(shù)，將全球各地的科學(xué)和工業(yè)研究中心推向性能和能效新高。

NVIDIA 高性能計算和超大規(guī)模數(shù)據(jù)中心業(yè)務(wù)副總裁 Ian Buck 在 SC 大會發(fā)表的特別演講中提到：“NVIDIA 的硬件和軟件創(chuàng)新正在創(chuàng)造一種新型 AI 超級計算機?！?/p>

其中一些超級計算機將配備內(nèi)存增強的 NVIDIA Hopper 加速器，另一些則采用全新 NVIDIA Grace Hopper 系統(tǒng)架構(gòu)。它們都將使用擴展的并行結(jié)構(gòu)來運行面向生成式 AI 、HPC 和混合量子計算的全棧加速軟件。

Buck 將全新 NVIDIA HGX H200 稱為“世界領(lǐng)先的 AI 計算平臺”。

它配備高達 141 GB 的 HBM3e，是首款使用這項超快技術(shù)的 AI 加速器。在運行 GPT-3 等模型時，NVIDIA H200 Tensor Core GPU 的性能比上一代加速器高出 18 倍。

NVIDIA H200 Tensor Core GPU 配備HBM3e 內(nèi)存，

可運行不斷增長的生成式 AI 模型

在其他生成式AI基準(zhǔn)測試中，它們在一個 Llama2-13B 大語言模型（LLM）上每秒可快速通過 12,000 個 token 。

Buck 還展示了一個服務(wù)器平臺，該平臺在一個 NVIDIA NVLink 互聯(lián)下連接了四個 NVIDIA GH200 Grace Hopper 超級芯片。這一四組芯片的配置使得在一個計算節(jié)點內(nèi)有高達 288 個 Arm Neoverse 核心，以及 2.3 TB 的高速內(nèi)存 ，實現(xiàn)了 16 petaflops 的 AI 性能。

基于四個 GH200 超級芯片的服務(wù)器節(jié)點，提供 16 petaflops 的 AI 性能

采用 NVIDIA TensorRT-LLM 開源庫的單個 GH200 超級芯片比一個雙插槽 x86 CPU 系統(tǒng)快 100 倍，比一臺 x86 + H100 GPU 服務(wù)器節(jié)能近 2 倍，展現(xiàn)了卓越的節(jié)能效果。

Buck 說：“加速計算是可持續(xù)的計算。通過充分利用加速計算和生成式 AI，我們可以推動各行各業(yè)的創(chuàng)新，同時減少對環(huán)境的影響?！?/p>

新上榜 TOP500 的 49 個系統(tǒng)中

有 38 個采用了 NVIDIA 技術(shù)

最新發(fā)布的全球最快的超級計算機 TOP500 榜單顯示，人們正在轉(zhuǎn)向加速、節(jié)能的超級計算。

由于諸多新建超級計算機采用了 NVIDIA H100 Tensor Core GPU，NVIDIA 目前在這些世界領(lǐng)先的系統(tǒng)中提供超過 2.5 exaflops 的 HPC 性能，相較此前 5 月榜單中的 1.6 exaflops 有了不少提升。僅在全球超級計算機 Top 10 中，NVIDIA 就提供近 1 exaflop 的 HPC 性能和 72 exaflops 的 AI 性能。

在新榜單中，采用 NVIDIA 技術(shù)的超級計算機數(shù)量再創(chuàng)新高，從 5 月份的 372 個增加到 379 個，其中包括 49 個新上榜超級計算機中的 38 個。

部署在 Microsoft Azure 中的 Eagle 系統(tǒng)是算力最高的新上榜超級計算機，其采用 H100 GPU，在 NDv5 實例中以 561 petaflops 的算力在總榜中排名第三。巴塞羅那的 Mare Nostrum5 排名第 8 ，而最近在 MLPerf 基準(zhǔn)測試中創(chuàng)下 AI 訓(xùn)練新紀(jì)錄的 NVIDIA Eos 排名第 9 。

在 Green500 的前 30 名中有 23 個采用了 NVIDIA GPU ，彰顯了它們的節(jié)能優(yōu)勢。配備 H100 GPU 的 Henri 系統(tǒng)蟬聯(lián)第一，它位于紐約 Flatiron 研究所，能效為每瓦 65.09 gigaflops 。

使用生成式 AI 探索新冠病毒

美國阿貢國家實驗室展現(xiàn)了無限可能，它使用 NVIDIA BioNeMo（一個面向生物分子大語言模型的生成式 AI 平臺）開發(fā)了 GenSLM 模型。這個模型可以生成與冠狀病毒的現(xiàn)實變種非常相似的基因序列。使用 NVIDIA GPU 以及來自 150 萬個新冠病毒基因組序列的數(shù)據(jù)，它還可以快速識別出新的病毒變種。

這項工作去年獲得了戈登·貝爾特別獎，并在包括美國阿貢國家實驗室的 Polaris 系統(tǒng)、美國能源部的 Perlmutter 和 NVIDIA 的 Selene 在內(nèi)的超級計算機上進行了訓(xùn)練。

NVIDIA 醫(yī)療業(yè)務(wù)副總裁 Kimberly Powell 在此次特別演講中提到：“這只是冰山一角。隨著生成式 AI 不斷重新定義科學(xué)探索，未來充滿了無限可能?！?/p>

節(jié)約時間、金錢和能源

Buck 提到，使用最新技術(shù)為工作負(fù)載加速可以將系統(tǒng)的成本和能耗降低一個數(shù)量級。

例如，西門子與梅賽德斯合作為新其款 EQE 電動汽車分析空氣動力學(xué)和相關(guān)聲學(xué)。這類模擬此前在 CPU 集群上通常耗時數(shù)周時間，而借助最新的 NVIDIA H100 GPU ，其速度要快很多。此外，Hopper GPU 使成本降低了 3 倍，能耗降低了 4 倍（如下如所示）。

明年將開啟 200 Exaflops 時代

在全球各地，部署這些最新系統(tǒng)將推動科學(xué)和工業(yè)領(lǐng)域不斷取得進步。

Buck 說：“我們已經(jīng)看到，2024 年將有基于 Grace Hopper 超級計算機的總計 200 exaflopsAI 算力投入生產(chǎn)。”

其中包括德國于希利研究中心的大型 JUPITER 超級計算機。它可以為 AI 訓(xùn)練提供 93 exaflops 的性能，為 HPC 應(yīng)用提供 1 exaflop 的性能，而能耗僅為 18.2 兆瓦。

GH200 為研究中心帶來性能飆升

基于 Eviden 的 BullSequana XH3000 液冷系統(tǒng)，JUPITER 將使用 NVIDIA quad GH200 系統(tǒng)架構(gòu)和 NVIDIA Quantum-2 InfiniBand 網(wǎng)絡(luò)，用于進行氣候和天氣預(yù)測、藥物發(fā)現(xiàn)、混合量子計算和數(shù)字孿生。JUPITER 所采用的 quad GH200 節(jié)點將配置 864 GB 的高速內(nèi)存。

這是 NVIDIA 在 SC23 上宣布的數(shù)個使用 Grace Hopper 的新型超級計算機之一。

慧與（Hewlett Packard Enterprise）的 HPE Cray EX2500 系統(tǒng)將為明年投入使用的眾多AI超級計算機配備 quad GH200。

例如，慧與建設(shè)的 OFP-II（一個由日本筑波大學(xué)和東京大學(xué)共享的先進 HPC 系統(tǒng)）以及 DeltaAI 系統(tǒng)（將使美國國家超級計算應(yīng)用中心的算力提升三倍）均將采用 quad GH200。

HPE 正在為美國洛斯阿拉莫斯國家實驗室建造 Venado 系統(tǒng)，這是在美國部署的首個 GH200，其還將在中東、瑞士和英國建設(shè)更多 GH200 超級計算機。

德克薩斯及更多地區(qū)采用 Grace Hopper

在德克薩斯高級計算中心（TACC），戴爾科技集團正在使用 NVIDIA Grace Hopper 和 Grace CPU 超級芯片建造 Vista 超級計算機。

Buck 表示，包括美國航空航天局艾姆斯研究中心（NASA Ames Research Center）和 Total Energies 在內(nèi)的全球 100 多個企業(yè)和組織已經(jīng)采購了 Grace Hopper 早期訪問系統(tǒng)。

此前已宣布采用 GH200 的用戶包括軟銀和布里斯托大學(xué)，以及配備 14000 個 NVIDIA A100 GPU 的大型 Leonardo 系統(tǒng)，后者為意大利 Cineca 聯(lián)盟提供 10 exaflops 的 AI 性能。

超算中心的觀點

來自世界各地超算中心的主管介紹了他們采用最新系統(tǒng)的計劃及進展。

瑞士國家超級計算中心負(fù)責(zé)阿爾卑斯超級計算機的主任 Thomas Schultess 表示：“我們一直在與 MeteoWiss ECMWP 以及參與 ETH EXCLAIM 和 NVIDIA Earth-2 計劃的科學(xué)家合作打造一個基礎(chǔ)設(shè)施，以期在大數(shù)據(jù)分析和超大規(guī)模計算的各個方面取得突破?！?/p>

德克薩斯高級計算中心（TACC）的執(zhí)行主任 Dan Stanzione 在談到 Vista 時表示：“我們的各個堆棧都極大提升了能效?！?/p>

他說：“這真的是一塊墊腳石，推動用戶從過去使用的系統(tǒng)轉(zhuǎn)向這種將 Grace Arm CPU 和 Hopper GPU 緊密配合的新系統(tǒng)，而且……我們希望在幾年后部署 Horizon 時，其規(guī)模將是 Vista 的 10 或 15 倍?！?/p>

加速量子進程

研究人員們還在利用當(dāng)今的加速系統(tǒng)開拓通往未來超級計算機的道路。

于利希研究中心量子信息處理研究小組負(fù)責(zé)人 Kristel Michelson 表示，在德國，JUPITER 超級計算機“將徹底改變氣候、材料、藥物發(fā)現(xiàn)和量子計算領(lǐng)域的科研工作”。

她說：“ JUPITER 的架構(gòu)還允許量子算法與并行 HPC 算法無縫集成，這對于有效的量子 HPC 混合模擬來說是必需的?！?/p>

CUDA Quantum 推動進步

此次演講還展示了 NVIDIA CUDA Quantum —— 一個用于編程 CPU、GPU 和 QPU（量子計算機）的平臺，是如何推進量子計算研究的。

例如，全球最大的化工企業(yè)巴斯夫的研究人員開創(chuàng)了一種新的混合量子經(jīng)典方法，用于模擬可以保護人類免受有害金屬侵害的化合物。此外，美國布魯克海文國家實驗室和 HPE 的研究人員也分別在利用 CUDA Quantum 推動前沿科研工作。

NVIDIA 還宣布與量子編程工具開發(fā)商 Classiq 合作，在以色列最大的教學(xué)醫(yī)院 Tel Aviv Sourasky Medical Center 創(chuàng)建一個生命科學(xué)研究中心。該中心將使用 Classiq 軟件和運行于 NVIDIA DGX H100 系統(tǒng)之上的 CUDA Quantum 。

另外，Quantum Machines 公司將在以色列國家量子中心部署首個配備 Grace Hopper 超級芯片的 NVIDIA DGX Quantum ，旨在推動各個科學(xué)領(lǐng)域的進步。這個 DGX 系統(tǒng)將連接到一臺 Quantware 的超導(dǎo) QPU 和一臺 ORCA Computing 的光子 QPU，兩者均由 CUDA Quantum 驅(qū)動。

Buck 說：“在短短兩年內(nèi)，NVIDIA 的量子計算平臺已經(jīng)擁有 120 多個合作伙伴（如上圖），這證明它是一個開放、創(chuàng)新的平臺?！?/p>

總的來說，諸多科研領(lǐng)域的工作揭示了一種新趨勢，那就是將數(shù)據(jù)中心規(guī)模的加速計算與 NVIDIA 的全棧創(chuàng)新相結(jié)合。

他總結(jié)道：“加速計算正在為可持續(xù)計算鋪平道路，并且已經(jīng)取得了諸多進步，不僅提供令人驚嘆的技術(shù)，而且將開創(chuàng)更加可持續(xù)、更有影響力的未來?！?/p>

GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會議中心舉行，線上大會也將同期開放。點擊“閱讀原文”或掃描下方海報二維碼，立即注冊 GTC 大會。