ChatGPT、Stable Diffusion、DALL-E 以及類似的應用程序讓生成式 AI 震驚了世界。ChatGPT 是有史以來發(fā)展最快的應用程序。其易用性和令人印象深刻的功能在短短幾個月內(nèi)吸引了超過一億用戶。

生成式 AI 為企業(yè)重塑其產(chǎn)品和商業(yè)模式帶來了緊迫感。正如 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛在 GTC 2023 主題演講中所說：“AI 的 iPhone 時刻已經(jīng)到來。” NVIDIA 加速計算正在助力全球企業(yè)通過解決超出普通計算機能力的問題來利用人工智能。

NVIDIA BlueField DPU 助力加速計算

NVIDIA 加速計算技術(shù)堆棧使每個行業(yè)都能利用人工智能的強大功能，提供運行下一波應用程序所需的性能、規(guī)模和能效水平。

加速計算主要運行在三個基本元素之上：

• CPU：用于串行處理和運行超線程應用程序。

• GPU：擅長并行處理，并針對加速現(xiàn)代工作負載進行了優(yōu)化。

• DPU：非常適合基礎設施計算任務；用于卸載、加速和隔離數(shù)據(jù)中心網(wǎng)絡、存儲、安全和管理工作負載。

在現(xiàn)代軟件定義數(shù)據(jù)中心中，執(zhí)行虛擬化、網(wǎng)絡、存儲和安全的操作系統(tǒng)可能會消耗近一半的數(shù)據(jù)中心 CPU 核心和相關電力。數(shù)據(jù)中心必須加速每個工作負載以節(jié)省電力，并釋放 CPU 來處理創(chuàng)收工作負載。

NVIDIA BlueField DPU（數(shù)據(jù)處理器）卸載并加速數(shù)據(jù)中心操作系統(tǒng)和基礎設施軟件。

NVIDIA 正在其數(shù)據(jù)中心計算系統(tǒng)中集成 BlueField-3 DPU，包括第三代 NVIDIA OVX 系統(tǒng)，以便在數(shù)據(jù)中心規(guī)模創(chuàng)建和操作 NVIDIA Omniverse 應用程序。想了解更多信息，請參閱 NVIDIA 發(fā)布用于驅(qū)動工業(yè)元宇宙應用的第三代 OVX 計算系統(tǒng)，推動 Omniverse 實現(xiàn)大規(guī)模部署。

使用 DPU 的領先企業(yè)

Oracle 云基礎設施（OCI）繼在 GTC 2023 發(fā)布之后，最近公布了將 NVIDIA BlueField-3 DPU 集成到其網(wǎng)絡堆棧中的計劃。該計劃旨在通過將網(wǎng)絡和安全任務從 CPU 卸載到 DPU 來優(yōu)化數(shù)據(jù)中心性能，從而實現(xiàn)更快、更高效的處理。

通過利用 BlueField-3 DPU 的強大功能，OCI 隨時可以增強其基礎設施，為客戶提供無縫的云體驗。想了解更多詳細信息，請參閱 Oracle 云基礎設施（OCI）選擇 NVIDIA BlueField 數(shù)據(jù)中心加速平臺。

此外，包括 Check Point、Cisco 、DDN、Dell EMC、Juniper、Palo Alto Networks、Red Hat 和 VMWare 在內(nèi)的二十多個生態(tài)系統(tǒng)合作伙伴使用 BlueField 數(shù)據(jù)中心加速技術(shù)來更高效地運行其軟件平臺。

NVIDIA BlueField -3 平臺概述

NVIDIA BlueField-3 具有 220 億個晶體管，是第三代 NVIDIA DPU。它是一款片上系統(tǒng)（SoC）設備，可提供高達 400Gbps 以太網(wǎng)和 InfiniBand 連接。BlueField -3 DPU 最多支持四個不同的 MAC 地址，可以提供各種端口配置，從單個 400Gbps 端口（四通道 PAM4 112）到四個 25、50 或 100 Gbps端口。

與上一代相比，BlueField-3 DPU 具有 2 倍的網(wǎng)絡帶寬、4 倍的計算能力和幾乎 5 倍的內(nèi)存帶寬，同時通過 NVIDIA DOCA 軟件框架提供完全的向后兼容性。

這些關鍵進步使 BlueField-3 DPU 能夠以高達 8 倍的速度運行工作負載，同時降低 TCO 并提高數(shù)據(jù)中心能效。例如，BlueField -3 DPU 可從 CPU 卸載 HPC / AI MPI 集合通信，將速度提高近 20%，這相當于為大型超級計算機節(jié)省 1800 萬美元的成本。想了解更多信息，請參閱節(jié)能環(huán)保：NVIDIA BlueField DPU 提升數(shù)據(jù)中心效率。

圖 1：與 NVIDIA BlueField -2 DPU 相比，

NVIDIA BlueField -3 DPU 的內(nèi)存帶寬和計算能力提高了四倍

BlueField-3 DPU 由三個主要模塊組成：

• 網(wǎng)絡：集成網(wǎng)絡和安全硬件加速器的最新一代 NVIDIA ConnectX-7 智能網(wǎng)卡。

• 可編程計算：具有 16 個 ARM A78 v8.2 核心組成的強大集群，專為控制平面應用程序提供優(yōu)化的、完全一致的低延遲網(wǎng)絡互連技術(shù)。數(shù)據(jù)平面可編程性通過加速管道線（pipeline）和新的可編程數(shù)據(jù)路徑加速器（DPA）實現(xiàn)。數(shù)據(jù)路徑加速器是一顆由 16 個超線程核心組成的 I/O 和數(shù)據(jù)包處理器，專為設備仿真、擁塞控制、自定義協(xié)議等 IO 密集型、低計算任務而構(gòu)建。

• 內(nèi)存：雙 64 位 DDR5-5600 內(nèi)存接口（80GB 帶寬）和集成的 32 通道第五代 PCIe 交換機。PCIe 接口可以分叉并用作服務器托管（端點）或自托管（根復合體），以管理 GPU 或直連 SSD 設備。

作為 “服務器前面的服務器”，BlueField-3 DPU 是唯一配備集成式 ASPEED AST2600 基板管理控制器（BMC）的 DPU 平臺。BlueField BMC 是一個專用處理器，用于監(jiān)控 DPU 板的物理狀態(tài)，并使系統(tǒng)管理員能夠通過獨立連接來管理平臺。這增強了系統(tǒng)的安全性、可靠性、可用性和可維護性。

DPU BMC 是一個受信任的實體，具有自己的外部信任根，以確保其固件的安全。它支持通過獨立的帶外管理網(wǎng)絡調(diào)配和管理 BlueField DPU，并使用標準接口和 Redfish 協(xié)議管理 DPU 的整個生命周期。

BMC 的一些功能包括：

• 控制臺接口訪問 BlueField DPU

• 設置 BlueField UEFI 配置

• 監(jiān)測 BlueField DPU 及其資源

• 更新和恢復 BlueField DPU 固件

• 重置控制（即使在 BlueField 操作系統(tǒng)停止時）

BlueField-3 DPU 全面產(chǎn)品線

NVIDIA 提供了各種 BlueField-3 DPU 平臺，旨在滿足各行各業(yè)和用例的獨特計算、內(nèi)存和性能需求。這使客戶能夠選擇符合其特定要求的 BlueField-3 DPU 產(chǎn)品，同時享受先進的功能和尖端的性能。

圖 2：面向不同目標市場的

NVIDIA BlueField-3 DPU 旗艦平臺

目標市場和旗艦平臺

BlueField-3 DPU 用于幾個關鍵旗艦平臺和目標市場，具體如下：

超大規(guī)模高性能計算（HPC）/

人工智能（AI）

高性能計算和人工智能工作負載是率先采用 400Gbps（NDR InfiniBand 和 400 GbE）網(wǎng)絡速度的工作負載，因為高性能計算就是為了實現(xiàn)最高性能和巨大規(guī)模的。BlueField DPU 利用其 ARM 核心從系統(tǒng)主機 CPU 卸載消息傳遞接口（MPI）的元素，并實現(xiàn)了無阻塞集合通信，從而擴展了 NVIDIA 網(wǎng)絡計算能力。這使得系統(tǒng)主機 CPU 能夠在峰值重疊時執(zhí)行計算。

B3240：擁有滿足極具挑戰(zhàn)性的超大規(guī)模高性能計算/人工智能需求的強大性能和網(wǎng)絡能力。此 BlueField-3 DPU 平臺為 NVIDIA DGX H100 等系統(tǒng)提供動力，使其能夠承擔科學研究或生成人工智能的工作負載。它使用雙 400Gbps NDR 連接、32GB DDR5 內(nèi)存子系統(tǒng)和 2.3GHz 的 ARM 核心速度。

B3140H：具有半高半長（HHHL）外形規(guī)格，使其與大多數(shù)企業(yè)服務器兼容。該設備提供單個 400Gbps 端口和 16GB DDR5 內(nèi)存，同時在低功耗范圍內(nèi)運行。這使其成為高性能計算/人工智能環(huán)境的理想選擇，在空間或電源可用性受限的環(huán)境下實現(xiàn)所需的可擴展性能。

云計算

云行業(yè)正在經(jīng)歷的快速增長要求云提供商不斷創(chuàng)新和定制其服務產(chǎn)品，以滿足客戶需求?，F(xiàn)代云平臺使用基于虛擬機監(jiān)控程序（Hypervisor）的虛擬化，以最大限度地增加在計算和數(shù)據(jù)中心層面可分配給租戶的虛擬實例數(shù)量。BlueField-3 DPU 支持多達 4096 個虛擬功能（VF），使云提供商能夠在云計算平臺上托管比上一代多 4-8 倍的虛擬實例。

B3220：提供雙 200Gbps 端口、32GB DDR5 內(nèi)存子系統(tǒng)和 2.3GHz 的 ARM 核心速度，具有滿足最具挑戰(zhàn)性的云所需的性能和網(wǎng)絡功能。因此，超大規(guī)模 Oracle 云基礎設施（OCI）已在其網(wǎng)絡堆棧中添加了 BlueField-3 DPU，旨在提供最先進、可持續(xù)的云基礎設施，并提供卓越的性能。B3220 平臺還為 NVIDIA OVX 3.0 系統(tǒng)助力，實現(xiàn)更高的性能、零信任安全，并在云中無限擴展工業(yè)元宇宙應用程序。

B3210：100Gbps 速率的 B3210 非常適合滿足領先企業(yè)數(shù)據(jù)中心的需求。B3210 是運行企業(yè)工作負載平臺 VMware vSphere 的目標 DPU，為成千上萬的公司提高性能、效率和安全性。

儲存

B3220SH：B3220SH 自托管平臺對集成 NVMe-oF、NVMe/TCP 或靜態(tài)數(shù)據(jù)加速器的 NVMe 存儲系統(tǒng)進行了優(yōu)化。B3220SH 可通過 32 通道的第五代 PCIe 接口托管多達 16 個 SSD。

業(yè)界領先的網(wǎng)絡性能

與上一代產(chǎn)品相比，BlueField-3 DPU 具有顯著的性能提升，使其成為需要高性能網(wǎng)絡的數(shù)據(jù)密集型人工智能工作負載的理想解決方案。圖 3 顯示了基準測試結(jié)果，證明了BlueField-3 DPU 領先的網(wǎng)絡性能。

圖 3 ：NVIDIA BlueField-3 DPU

和 BlueField-2 DPU 的測試結(jié)果比較

使用 NVIDIA BlueField-3 DPU

為您的應用程序助力

在云主導企業(yè) IT 的時代，生成式 AI、數(shù)據(jù)科學和元宇宙應用程序等現(xiàn)代工作負載正在蓬勃發(fā)展。為了滿足對人工智能飛速發(fā)展的需求，云構(gòu)建商開始采用 NVIDIA 加速計算（主要是 GPU 和 DPU）。

NVIDIA BlueField-3 DPU 由 NVIDIA DOCA 軟件提供助力，將傳統(tǒng)的計算環(huán)境轉(zhuǎn)變?yōu)楦咝?、高性能、安全且可持續(xù)的數(shù)據(jù)中心，從而實現(xiàn)下一波應用程序的交付。

觀看下方視頻

了解更多關于 NVIDIA BlueField DPU 的信息！

掃描下方二維碼，或點擊“閱讀原文” 查看更多有關 NVIDIA BlueField DPU 的信息。

掃描下方二維碼，即可查看 BlueField-3 DPU 產(chǎn)品手冊和網(wǎng)絡產(chǎn)品資源。

?

NVIDIA BlueField DPU 往期內(nèi)容 使用 VMware vSphere 8 和 NVIDIA BlueField DPU 加速 Redis 性能
借助 NVIDIA DPU 和 NVIDIA DOCA 為人工智能時代的數(shù)據(jù)中心帶來變革
GTC23 | Oracle 云基礎設施 (OCI) 選擇 NVIDIA BlueField 數(shù)據(jù)中心加速平臺
NVIDIA 人工智能開講 | BlueField DPU 如何幫助企業(yè)提升數(shù)據(jù)中心能效
白皮書發(fā)布 | 看 NVIDIA BlueField DPU 如何讓數(shù)據(jù)中心變得更加環(huán)保