本周在加利福尼亞州帕洛阿爾托（Palo Alto）舉行的 Hot Chips 大會上，NVIDIA 專家詳細(xì)介紹了 NVIDIA NVLink 和Spectrum-X 以太網(wǎng)技術(shù)、Blackwell 以及 CUDA 如何為全球數(shù)百萬的 AI 工作流加速推理。

AI 邏輯推理和網(wǎng)絡(luò)成為 Hot Chips 大會的首要焦點。

Hot Chips是一個面向行業(yè)和學(xué)術(shù)界的關(guān)于處理器及系統(tǒng)架構(gòu)的重要論壇，在太平洋時間 8 月 24 - 26 日于斯坦福大學(xué)舉辦，旨在展示創(chuàng)新成果，推動 AI 工廠發(fā)展，助力萬億美元的數(shù)據(jù)中心計算市場。

大會期間，NVIDIA 與谷歌（Google）和微軟（Microsoft）等行業(yè)領(lǐng)導(dǎo)者在 8 月 24 日（星期日）一起舉辦了一場“授課式”會議——探討如何為數(shù)據(jù)中心設(shè)計以機(jī)柜為單位的新架構(gòu)。

此外，NVIDIA 專家還在四場會議和一場課程中詳細(xì)介紹了：

NVIDIA 網(wǎng)絡(luò)（包括NVIDIA ConnectX-8 SuperNIC）支持機(jī)整柜和數(shù)據(jù)中心規(guī)模的 AI 邏輯推理。（由NVIDIA 負(fù)責(zé)網(wǎng)卡和 SoC 的首席架構(gòu)師 Idan Burstein 主講）

由NVIDIA Blackwell 架構(gòu)所支持的神經(jīng)渲染的進(jìn)步及推理能力的巨大飛躍——從而提供更高級別的圖形和仿真功能。（由 NVIDIA 系統(tǒng)架構(gòu)高級總監(jiān) Marc Blackstein 主講）

基于硅光技術(shù)的NVIDIA CPO 交換機(jī)——采用光速光纖取代銅纜，可更快地傳送信息，并且功耗更低，助力打造高效、高性能的十億瓦級 AI 工廠。本次演講還將重點介紹 NVIDIA Spectrum-XGS 以太網(wǎng)，這是一種新的跨地域擴(kuò)展技術(shù)，可將多個分布式數(shù)據(jù)中心組合為 AI 超級工廠。（由 NVIDIA 網(wǎng)絡(luò)高級副總裁 Gilad Shainer 主講）

NVIDIA GB10 超級芯片成為NVIDIA DGX Spark臺式超級計算機(jī)的引擎。（由 NVIDIA 高級杰出工程師 Andi Skende 主講）

這些都是 NVIDIA 的最新技術(shù)如何通過加速推理來推動各個領(lǐng)域和各種規(guī)模的 AI 創(chuàng)新的一部分。

NVIDIA 網(wǎng)絡(luò)促進(jìn)了大規(guī)模的 AI 創(chuàng)新

AI 邏輯推理指的是 AI 系統(tǒng)可以通過多個 AI 推理步驟來分析和解決復(fù)雜問題——這需要機(jī)柜級規(guī)模的性能，以便高效地提供最佳的用戶體驗。

如今，為 AI 工作負(fù)載提供動力的數(shù)據(jù)中心里，網(wǎng)絡(luò)如同中樞神經(jīng)系統(tǒng)一樣——將所有組件（服務(wù)器、存儲設(shè)備和其他硬件）統(tǒng)一連接成一個強(qiáng)大的計算單元。

Burstein 在 Hot Chips 大會上的報告將會深入探討 NVIDIA 網(wǎng)絡(luò)技術(shù)（特別是 NVIDIA ConnectX-8 SuperNIC）如何實現(xiàn)高速、低延遲的多 GPU 通信，并在大規(guī)模場景下提供領(lǐng)先的 AI 邏輯推理性能。

NVIDIA ConnectX-8 SuperNIC

作為 NVIDIA 網(wǎng)絡(luò)平臺的一部分，NVIDIA NVLink、NVLink Switch 和 NVLink Fusion 提供了縱向擴(kuò)展（scale-up）連接——能夠在服務(wù)器內(nèi)部及跨服務(wù)器連接 GPU 和計算元件，實現(xiàn)超低延遲、高帶寬的數(shù)據(jù)交換。

NVIDIA Spectrum-X 以太網(wǎng)提供了橫向擴(kuò)展（scale-out） 來連接整個集群，能夠快速將海量數(shù)據(jù)集導(dǎo)入到 AI 模型中，并編排數(shù)據(jù)中心內(nèi)的 GPU 到 GPU 的通信。Spectrum-XGS跨區(qū)域擴(kuò)展（scale-across）技術(shù)將 Spectrum-X 以太網(wǎng)的卓越性能和擴(kuò)展能力擴(kuò)展到多個分布式數(shù)據(jù)中心，組成十億瓦級的智能 AI 超級工廠。

NVIDIA Spectrum-XGS 以太網(wǎng)連接多個分布式 AI 數(shù)據(jù)中心

作為 Spectrum-X Ethernet 的核心，CPO 交換機(jī)推升了大規(guī)模 AI 基礎(chǔ)設(shè)施的性能和效率極限。Gilad Shainer 將在其演講中詳細(xì)介紹這一內(nèi)容。

NVIDIA Blackwell NVL72——單機(jī)柜百億億級（Exascale）計算機(jī)——配備了 36 個 NVIDIA 超級芯片，其中每組芯片包含 2 個 NVIDIA GPU 和 1 個 NVIDIA CPU，通過目前最大的 NVLink 域?qū)崿F(xiàn)互連。NVLink 交換機(jī)為 AI 和高性能計算工作負(fù)載提供每秒 130 TB/s的低延遲 GPU 通信。

NVIDIA 單機(jī)柜系統(tǒng)

NVIDIA Blackwell 架構(gòu)，在推理性能方面實現(xiàn)了巨大的躍進(jìn)。

NVIDIA GeForce RTX 5090 D v2 GPU（同樣由 Blackwell 提供支持）——通過 NVIDIA DLSS 4 技術(shù)將當(dāng)今游戲中的 AI 性能翻倍。

它還能夠為游戲添加神經(jīng)網(wǎng)絡(luò)渲染功能，提供至高可達(dá) 10 倍的性能提升、10 倍的存儲空間擴(kuò)展，并將設(shè)計周期縮短 10 倍，有助于增強(qiáng)計算機(jī)圖形和仿真中的逼真度。這不但在低功耗的情況下提供了流暢、靈敏的視覺體驗，而且大大提升了游戲角色和特效的擬真度。

NVIDIA CUDA 是全球應(yīng)用最廣泛的計算基礎(chǔ)設(shè)施，讓用戶能在任何地方利用 NVIDIA Blackwell 部署與運行AI模型。

全球已有數(shù)億臺的 GPU 運行 CUDA，從NVIDIA Blackwell 架構(gòu)規(guī)模的系統(tǒng)到搭載 GeForce RTX 和 NVIDIA RTX PRO 的 PC 和工作站，包括由 NVIDIA GB10 提供支持的 NVIDIA DGX Spark（在 Skende 的會議中討論過的）也即將發(fā)布。

從算法到 AI 超級計算機(jī)

對大語言模型（LLM）的全面優(yōu)化

NVIDIA DGX Spark

DGX Spark 用小巧的機(jī)身提供了強(qiáng)大的性能和功能，使開發(fā)者、研究人員、數(shù)據(jù)科學(xué)家和學(xué)生能夠在桌面上突破生成式 AI 的界限，加速各行業(yè)的工作負(fù)載。

作為 NVIDIA Blackwell 平臺的一部分，DGX Spark 支持 NVFP4，這是一種低精度數(shù)值格式，用于實現(xiàn)高效的代理式 AI 推理，特別是針對大語言模型（LLM）。

通過開源協(xié)作推動推理創(chuàng)新

NVIDIA 通過加速各種開放源代碼庫和框架，來加速和優(yōu)化 LLM 和分布式推理的 AI 工作負(fù)載。這些平臺包括NVIDIA TensorRT-LLM、NVIDIA Dynamo、TileIR、Cutlass、NVIDIA 集合通信庫和 NIXL——它們都已被集成到數(shù)百萬個工作流中。

為了支持開發(fā)者們能夠使用自己的框架，NVIDIA 已與頂級開放框架供應(yīng)商合作，為 FlashInfer、PyTorch、SGLang、vLLM 等提供模型優(yōu)化。

此外，NVIDIA NIM 微服務(wù)也可用于 OpenAI 的 gpt-oss 和 Llama 4 等熱門開放模型，使開發(fā)者能夠輕松地在其喜歡的基礎(chǔ)設(shè)施上，像運行自托管模型一樣靈活安全地操作托管應(yīng)用程序界面。

參與 NVIDIA 在 Hot Chips 大會上的活動，以了解推理和加速計算的最新進(jìn)展。