寫在開頭，本文主要介紹智能網(wǎng)卡在AI網(wǎng)絡的作用并在一定場景下說明DPU和智能網(wǎng)卡在功能上的一些區(qū)別以理解兩者的相似點和不同點。

智算中心又稱人工智能計算中心，通常配置有大量的圖形處理單元(GPU)和張量處理單元(TPU)，以及針對人工智能工作負載優(yōu)化的高帶寬內(nèi)存和存儲系統(tǒng)。它們?yōu)?a target="_blank">機器學習和深度學習提供專門支持，包括數(shù)據(jù)預處理、模型訓練以及推理服務。

人工智能計算中心的設計非常重視并行處理能力，并且能夠處理大量的數(shù)據(jù)集。它們通常包括深度學習框架和庫的支持，為開發(fā)者提供方便的開發(fā)環(huán)境。此外，它們可能會提供針對人工智能應用的優(yōu)化工具與API，從而最大化硬件性能。

以GPU為核心的分布式計算

GPU擁有高度并行的處理架構，能夠同時處理大量的計算任務，特別適合于人工智能領域中大規(guī)模的矩陣運算和向量計算。在智算中心，GPU是主要的計算節(jié)點，而CPU則更多承擔任務調(diào)度、系統(tǒng)管理和其他非并行計算任務。智算中心是以GPU為中心的架構設計，是為了滿足人工智能領域對高性能計算資源的需求，且要求網(wǎng)絡高可靠、超低延時及超高的帶寬。

AI智能網(wǎng)卡在AI網(wǎng)絡中的作用

我們所說的Scale-out架構的流量特性究竟是什么呢?它要求具備高吞吐量，通常約為100 Gbps，同時包長較短，典型的往返時間僅為10微秒。Scale-out架構的關鍵在于必須有效利用所有可用帶寬，并確保流量的均勻分布。GPU流量通常較大，與典型的服務器間流量存在差異，因此應高效采用負載均衡方案，如路徑感知(Path-aware)、自適應(Adaptive)或無損(Lossless)負載均衡方式。此外，還需具備快速的丟包恢復和重傳機制，以避免產(chǎn)生高延遲，并結合適用于該架構需求的擁塞控制算法以實現(xiàn)最佳性能。

AI智能網(wǎng)卡Smart NIC主要解決的問題就是通過與交換機、GPU等硬件互聯(lián)實現(xiàn)盡可能的無損通信。由于AI集群的規(guī)模從萬卡到十萬卡演進，北向網(wǎng)絡的擴展即Scale-out網(wǎng)絡互聯(lián)(又可以理解為后端網(wǎng)絡)通常需要配備高性能、高帶寬的智能網(wǎng)卡，配合其他硬件設備共同解決大規(guī)模網(wǎng)絡擁塞、死鎖、丟包及亂序等一系列網(wǎng)絡傳輸?shù)膯栴}。智能網(wǎng)卡的功能是重在網(wǎng)絡加速傳輸，而DPU則更適合需要降低CPU工作負載以及需要加密存儲的多類功能的場景。

以下以AMD不久前發(fā)布的AI網(wǎng)絡互聯(lián)結構為例可以幫助我們理解原生智能網(wǎng)卡和DPU的應用區(qū)別：

傳統(tǒng)以太網(wǎng)Frontend：連接非AI服務器的其他數(shù)據(jù)中心基礎設施和外部網(wǎng)絡，需確保安全和存儲加速能力并降低CPU開銷，AMD通過最新的Saline 400 DPU與ZEN 5 EPYC CPU連接并降低其工作負載。

后端網(wǎng)絡Backend：Scale-out網(wǎng)絡直接連接GPU，以便共享查詢和激活結果，支持大規(guī)模訓練和推理。當前面臨的挑戰(zhàn)主要包括高效擴展、故障恢復、網(wǎng)絡擁塞和數(shù)據(jù)丟失等一系列網(wǎng)絡傳輸問題。AMD使用8張Pollara 400 SmartNIC 與GPU /交換機互通，所以這里的網(wǎng)卡與DPU存在適用場景的區(qū)別。

下一代的智能網(wǎng)卡應該具備更高的速率帶寬(400G-800G演進)，除了自適應路由、選擇性重傳功能以及支持智能堆棧的可擴展性與靈活性，能夠支持更高的QP隊列動態(tài)管理也是重要的優(yōu)選性能之一。隨著UEC超以太聯(lián)盟的壯大以及基于以太網(wǎng) RDMA優(yōu)化的智算網(wǎng)絡Scale out改進路線的明確，下一代支持UEC的智能網(wǎng)卡將是邁向十萬卡集群的重要互聯(lián)硬件。這些創(chuàng)新技術為AI網(wǎng)絡的未來奠定了堅實的基礎，使得網(wǎng)絡更加高效與可靠。

智能網(wǎng)卡和DPU的主要結構區(qū)別

我們以英偉達BlueField-3 DPUs為例來解釋DPU和網(wǎng)卡的主要結構區(qū)別，BlueField 架構本質上是將網(wǎng)卡子系統(tǒng)(基于 ConnectX)與可編程數(shù)據(jù)路徑、用于加密、壓縮和正則表達式的硬件加速器以及用于控制平面的 Arm控制器融為一體。在 BlueField-3 中，可編程包處理器包含 16 個核可處理 256 個線程，實現(xiàn)了 Arm 核上的零負載數(shù)據(jù)路徑處理。在許多應用中，由數(shù)據(jù)路徑自主處理已知的網(wǎng)絡流量，由 Arm 核處理新流量等例外情況及控制平面功能。

從其內(nèi)部架構我們發(fā)現(xiàn)BlueField-3 DPU 自帶一部分CX7的智能網(wǎng)卡網(wǎng)絡傳輸功能，針對云計算和云原生環(huán)境對多租戶安全及加密的高要求，DPU內(nèi)置了強大的壓縮和加密功能。同時，為了適應云計算場景下多樣化的軟件應用需求，DPU集成了眾多加速器引擎，并配備了高性能的Arm CPU內(nèi)核，有效減輕了CPU在相關領域的工作負擔。

相對而言，智能網(wǎng)卡主要專注于網(wǎng)絡加速和傳輸性能的提升，其內(nèi)嵌的CPU內(nèi)核更為精簡，對于加密、壓縮功能以及軟件應用加速引擎的需求并不高。因此，相較于DPU，智能網(wǎng)卡在功能上顯得更為“輕量級”，這一說法也因此而來。

以上綜述可以得出一個結論：新一代的SmartNIC的主要面向的是AI網(wǎng)絡，尤其是在分布式訓練、大規(guī)模推理的應用場景進行網(wǎng)絡傳輸加速與管理;它使用比DPU更少的計算能力及成本來實現(xiàn)這一目標。反過來說，DPU除了標準的網(wǎng)絡接口功能，它通常還包含多個處理核心、專用加速模塊(如加密解密、深度包檢查、虛擬化支持)等，普遍成本高于SmartNIC。

GenAI IaaS背景下SmartNIC的需求

根據(jù)國際數(shù)據(jù)公司 (IDC)發(fā)布的《中國智算服務市場(2023下半年)跟蹤》報告顯示，2023下半年中國智算服務市場整體規(guī)模達到114.1億元人民幣，同比增長85.8%。其中，2023下半年，智算集成服務市場規(guī)模為36.0億元人民幣，同比增速129.4%;GenAI IaaS市場在2023年從0到1爆發(fā)式增長，在下半年市場規(guī)模達到32.2億元人民幣;Non-GenAI IaaS市場規(guī)模達到45.9億元人民幣，以較低增速保持增長。

智算集成服務以及GenAI IaaS貢獻了市場重要增量：回顧整個2023年，中國Gen AI進入發(fā)展元年，智能算力需求爆發(fā)式增長。相比于2022年，2023年智算服務市場增長81.6億元人民幣。其中GenAI IaaS市場貢獻59%，智算集成服務市場貢獻38%。

頭部云廠商過往在AI+云計算領域有雙向積累的公司正在獲得先發(fā)優(yōu)勢，如字節(jié)、阿里、百度、騰訊受益于過往在AI領域的沉淀、GPU資源以及在基礎設施上的領先技術儲備，在市場上獲得先發(fā)優(yōu)勢并將其資源投入不斷向GenAI IaaS市場靠攏。

隨著AI網(wǎng)絡技術的不斷迭代，以Scale-out 互聯(lián)作為集群服務器間大規(guī)模擴展的需求已經(jīng)成為業(yè)內(nèi)共識。如今，智能網(wǎng)卡作為Scale-out 的關鍵組件，其產(chǎn)品定位與發(fā)展路線顯然與DPU不同。

根據(jù)Dell’Oro集團發(fā)布的《Ethernet Adapter and Smart NIC 5-Year July 2024 Forecast Report》，預計到2028年，以太網(wǎng)智能網(wǎng)卡的市場價值將超過160億美元。這一增長主要得益于AI服務器集群Scale-out對后端網(wǎng)絡以太網(wǎng)連接的強烈需求。隨著人工智能通用應用的出現(xiàn)，服務器與后端以太網(wǎng)網(wǎng)絡的連接需求日益增長，這對于大型語言模型的訓練至關重要。

以上數(shù)據(jù)并不意味著國內(nèi)DPU的市場已經(jīng)萎縮，由于AI大模型的爆發(fā)，云廠商們正在通過加強發(fā)展生態(tài)合作伙伴來尋求異構算力的調(diào)度以及基礎設施的集成，推動云計算與AI網(wǎng)絡的按需融合。

DPU和智能網(wǎng)卡作為現(xiàn)代網(wǎng)絡基礎設施中不可或缺的硬件組件，它們在各自的目標應用領域內(nèi)展現(xiàn)出了潛力和廣闊的發(fā)展前景。在我國云計算、邊緣計算以及智算中心的迅猛發(fā)展背景下，我們有理由相信，未來將會有更多創(chuàng)新技術在這兩類產(chǎn)品中得到推陳出新，為國內(nèi)新質生產(chǎn)力的崛起提供支撐。

關于我們

AI網(wǎng)絡全棧式互聯(lián)架構產(chǎn)品及解決方案提供商

奇異摩爾，成立于2021年初，是一家行業(yè)領先的AI網(wǎng)絡全棧式互聯(lián)產(chǎn)品及解決方案提供商。公司依托于先進的高性能RDMA 和Chiplet技術，創(chuàng)新性地構建了統(tǒng)一互聯(lián)架構——Kiwi Fabric，專為超大規(guī)模AI計算平臺量身打造，以滿足其對高性能互聯(lián)的嚴苛需求。我們的產(chǎn)品線豐富而全面，涵蓋了面向不同層次互聯(lián)需求的關鍵產(chǎn)品，如面向北向Scale out網(wǎng)絡的AI原生智能網(wǎng)卡、面向南向Scale up網(wǎng)絡的GPU片間互聯(lián)芯粒、以及面向芯片內(nèi)算力擴展的2.5D/3D IO Die和UCIe Die2Die IP等。這些產(chǎn)品共同構成了全鏈路互聯(lián)解決方案，為AI計算提供了堅實的支撐。

奇異摩爾的核心團隊匯聚了來自全球半導體行業(yè)巨頭如NXP、Intel、Broadcom等公司的精英，他們憑借豐富的AI互聯(lián)產(chǎn)品研發(fā)和管理經(jīng)驗，致力于推動技術創(chuàng)新和業(yè)務發(fā)展。團隊擁有超過50個高性能網(wǎng)絡及Chiplet量產(chǎn)項目的經(jīng)驗，為公司的產(chǎn)品和服務提供了強有力的技術保障。我們的使命是支持一個更具創(chuàng)造力的芯世界，愿景是讓計算變得簡單。奇異摩爾以創(chuàng)新為驅動力，技術探索新場景，生態(tài)構建新的半導體格局，為高性能AI計算奠定穩(wěn)固的基石。