電子發(fā)燒友網(wǎng)報道，近期，美國人工智能硬件及軟件研發(fā)公司SambaNova宣布推出其第五代RDU可重構數(shù)據(jù)流單元AI芯片SN50芯片，同時推出基于該芯片的SambaRack SN50風冷機架系統(tǒng)。SN50芯片專為智能體推理工作負載設計，具備超低延遲、高吞吐量和節(jié)能等突出特性，性能更是達到上代產品的5倍。在存儲結構上，它采用大容量內存 + HBM + SRAM的三層次架構，極大優(yōu)化了時延表現(xiàn)。

與英偉達的產品相比，SN50表現(xiàn)亮眼。在Llama 3.3 70B模型上，其最大速度是英偉達B200 GPU的5倍，智能體推理吞吐量是后者的三倍以上；對于OpenAI GPT-OSS-120B模型，能效可達B200的8倍。與SambaNova自身2024年推出的SN40L相比，SN50也有顯著提升，提供2.5倍的16位浮點性能和5倍的FP8性能，分別達到1.6和3.2 petaFLOPS。

SambaNova標志性的三層內存架構在SN50上基本保持不變，該架構允許在幾分之一秒內切換模型，并高效卸載鍵值緩存。每個RDU配備432MB片上SRAM、64GB HBM2E內存（帶寬1.8TB/s）以及256GB到2TB的DDR5內存。盡管HBM2E的選擇看似奇特，但SambaNova首席執(zhí)行官Rodrigo Liang表示，這是為了在內存價格上漲時期確保順利出貨，避免陷入供應鏈爭奪。

雖然SN50在紙面參數(shù)上與現(xiàn)代GPU相比不那么突出，僅提供英偉達Blackwell架構約64%的密集FP8計算能力、三分之一的HBM容量和不到四分之一的內存帶寬，但SambaNova認為其數(shù)據(jù)流架構通過重疊計算和通信減少數(shù)據(jù)移動開銷，能使用更少、功耗更低的加速器。

對于SN50，與英偉達的B200相比，它可提供高達5倍的每用戶生成速度。而且，SambaNova的SN40L加速器已展現(xiàn)出強大實力，能以每秒378個token的速度提供大語言模型服務，比最接近的基于GPU的推理服務提供商快100多個token每秒。

在擴展性方面，SN50也表現(xiàn)出色。單個推理工作器可擴展到多達256個加速器，是英偉達NVL72機架中加速器數(shù)量的3.5倍以上。同時，為每個RDU配備了通過交換結構實現(xiàn)的2.2TB/s雙向芯片間帶寬，支持更大擴展域。不過，由于只有16個風冷RDU和每機架15 - 30千瓦的功耗，其芯片封裝密度不算高。

目前，軟銀將率先在其位于日本的下一代AI數(shù)據(jù)中心部署SN50芯片。

SambaNova于2017年由甲骨文前高管Rodrigo Liang與斯坦福大學教授Kunle Olukotun等聯(lián)合創(chuàng)立，總部位于硅谷帕羅奧圖。公司主營全棧生成式AI平臺及定制化芯片研發(fā)，核心技術包含可重構數(shù)據(jù)流單元（RDU）、DataScale機架級系統(tǒng)及SambaFlow編譯器，通過神經網(wǎng)絡圖映射硬件技術提升AI模型訓練效率。

SambaNova2018年獲谷歌風投領投5600萬美元首輪融資，2020年完成貝萊德領投的2.5億美元C輪融資，2021年D輪融資后估值達51億美元，累計融資超11億美元。2023年推出臺積電代工的SN40L芯片，支持5萬億參數(shù)模型運算，應用于阿貢國家實驗室的藥品研發(fā)與氣象預測項目。其SambaNova套件已部署于ADI等企業(yè)，支持從數(shù)據(jù)中心到邊緣計算的AI應用。

近期，SambaNova又成功融資3.5億美元，旨在推進數(shù)據(jù)流架構技術，將其定位為基于GPU的AI系統(tǒng)的替代方案。這輪融資參與者包括英特爾資本等，打破了英特爾計劃收購SambaNova的傳言。英特爾將與SambaNova建立“多年期”合作關系，新RDU將使用至強處理器，雙方還將開展硬件軟件協(xié)同設計。

盡管英特爾在生成式AI領域因數(shù)據(jù)中心GPU和Gaudi產品線失誤而落后，但此次與SambaNova的合作，或許能為其帶來新的發(fā)展機遇，而SambaNova也將在資金與技術支持下，在AI芯片領域繼續(xù)大步前行。