為下一代 AI 基礎(chǔ)設(shè)施實現(xiàn)突破性機架級性能、擴展性和效率

作者：Arm 云 AI 事業(yè)部執(zhí)行副總裁 Mohamed Awad

Arm 今日正式發(fā)布 Arm AGI CPU，該產(chǎn)品是基于Arm Neoverse 平臺打造的全新量產(chǎn)級芯片，旨在為下一代人工智能 (AI) 基礎(chǔ)設(shè)施提供核心算力支撐。

在公司超過 35 年的發(fā)展歷程中，Arm 首次推出自己的芯片產(chǎn)品，將Arm Neoverse 平臺從 IP 和計算子系統(tǒng) (Compute Subsystems, CSS) 進一步拓展，為客戶提供更豐富的 Arm 解決方案：既可自主打造定制化芯片，也可集成平臺級方案，或直接部署 Arm 自主設(shè)計的芯片。這一產(chǎn)品戰(zhàn)略的升級既反映了 AI 基礎(chǔ)設(shè)施的快速演進，也滿足了生態(tài)伙伴對可快速規(guī)?；渴鸬牧慨a(chǎn)級 Arm 平臺的迫切需求。

代理式 AI 基礎(chǔ)設(shè)施崛起

AI 系統(tǒng)正日益以全球規(guī)模持續(xù)運行。在過去，人是計算環(huán)節(jié)的瓶頸——人們與系統(tǒng)的交互速度決定了工作推進的速度。而在代理式 AI 時代，因為軟件智能體可自主協(xié)同任務(wù)、與多個模型交互，并實時做出決策，這種局限性將不復(fù)存在。

隨著 AI 系統(tǒng)持續(xù)運行且工作負載復(fù)雜度不斷提升，CPU 已成為現(xiàn)代基礎(chǔ)設(shè)施中決定運行節(jié)奏的關(guān)鍵要素——負責保持分布式AI 系統(tǒng)大規(guī)模的高效運行。在現(xiàn)下的 AI 數(shù)據(jù)中心中，CPU 管理數(shù)千個分布式任務(wù)，包括協(xié)調(diào)加速器、管理內(nèi)存與存儲、調(diào)度工作負載、跨系統(tǒng)遷移數(shù)據(jù)，加上當今的代理式 AI 場景興起，CPU 還需面向海量智能體實現(xiàn)大規(guī)模協(xié)同調(diào)度。

這一轉(zhuǎn)變對 CPU 提出了全新要求，驅(qū)動處理器架構(gòu)的演進。

Arm Neoverse 現(xiàn)已成為當今眾多領(lǐng)先超大規(guī)模云服務(wù)及 AI 平臺的核心支撐，包括 Amazon Graviton、Google Axion、Microsoft Azure Cobalt 及 NVIDIA Vera 等。隨著 AI 基礎(chǔ)設(shè)施在全球范圍內(nèi)不斷擴展，生態(tài)系統(tǒng)的合作伙伴紛紛期待 Arm 能夠提供更多能力。為應(yīng)對這一變革，Arm AGI CPU 應(yīng)運而生。

Arm AGI CPU：專為機架級代理式AI 效率而生

代理式 AI 工作負載需要在大規(guī)模場景下實現(xiàn)持續(xù)穩(wěn)定的性能輸出。Arm AGI CPU 正是為此而設(shè)計，能夠在數(shù)千核心并行的持續(xù)高負載下，為每個任務(wù)提供高性能表現(xiàn)，且滿足現(xiàn)代數(shù)據(jù)中心功耗與散熱的嚴格要求。

從運行頻率到內(nèi)存及 I/O 架構(gòu)，Arm AGI CPU 的每一處設(shè)計都經(jīng)過專門優(yōu)化，在高密度機架部署場景下，支持大規(guī)模并行、高性能的代理式 AI 工作負載。

Arm 的參考服務(wù)器采用 1OU 雙節(jié)點設(shè)計，每臺刀片服務(wù)器中集成兩顆CPU 芯片，并配備獨立內(nèi)存與 I/O，共計 272 個核心。這些刀片服務(wù)器可在標準風冷 36 千瓦 (kW) 機架中滿配部署，30 臺刀片服務(wù)器可提供總計 8,160 個核心。此外，Arm 還與 Supermicro 合作推出 200 千瓦 (kW) 液冷設(shè)計方案，可容納 336 顆 Arm AGI CPU，提供超過 45,000 個核心。

在該配置下，憑借 Arm 架構(gòu)的根本優(yōu)勢，以及系統(tǒng)資源與計算能力的精準匹配，Arm AGI CPU 可實現(xiàn)單機架性能達到最新 x86 系統(tǒng)的兩倍以上*：

• Arm AGI CPU 具備業(yè)界領(lǐng)先的內(nèi)存帶寬，使每個機架能夠支持更多高效執(zhí)行的線程；相比之下，x86 CPU 在持續(xù)高負載下會因核心爭搶資源而導(dǎo)致性能下降；
• 高性能、高能效的單線程Arm Neoverse V3 處理器核心性能出眾，優(yōu)于傳統(tǒng)架構(gòu)——每個 Arm 線程可處理更多任務(wù)；
• 更多可用線程與更高單線程處理能力相互疊加，最終實現(xiàn)單機架性能的大幅提升。

來自AI 生態(tài)系統(tǒng)的開局勢頭

Arm AGI CPU 已獲得合作伙伴的強勁商業(yè)認可，這些合作伙伴均處于代理式 AI 基礎(chǔ)設(shè)施規(guī)?；渴鸬那把仡I(lǐng)域。計劃部署場景涵蓋加速器管理、代理式 AI 協(xié)同調(diào)度，以及支撐代理式 AI 任務(wù)規(guī)?；瘮U展所需的服務(wù)、應(yīng)用與工具的高密度部署，同時還包括為 AI 數(shù)據(jù)中心提供更強的網(wǎng)絡(luò)與數(shù)據(jù)面計算能力。

Meta 作為 Arm AGI CPU 的早期合作伙伴與客戶，參與該 CPU 的聯(lián)合開發(fā)，旨在為 Meta 全系應(yīng)用優(yōu)化吉瓦級規(guī)?；A(chǔ)設(shè)施，并與 Meta 自研的 MTIA 加速器協(xié)同運行。其他首發(fā)合作伙伴包括 Cerebras、Cloudflare、F5、OpenAI、Positron、Rebellions、SAP 及 SK 電訊——這些企業(yè)均與 Arm 合作部署 Arm AGI CPU，以加速云、網(wǎng)絡(luò)及企業(yè)環(huán)境中的 AI 驅(qū)動型服務(wù)落地。目前，永擎電子、聯(lián)想及 Supermicro 已開放商用系統(tǒng)訂購。

為進一步加速產(chǎn)品采用，Arm 推出 Arm AGI CPU 1OU 雙節(jié)點參考服務(wù)器，該服務(wù)器采用符合開放計算項目 (Open Compute Project, OCP) 的 DC-MHS 標準規(guī)格設(shè)計。Arm 計劃向社區(qū)貢獻該參考服務(wù)器設(shè)計方案及配套固件，并進一步提供包括系統(tǒng)架構(gòu)規(guī)范、調(diào)試框架及適用于所有 Arm 架構(gòu)系統(tǒng)的診斷與驗證工具等資源。更多細節(jié)將在即將舉辦的OCP EMEA 峰會上公布。

Arm 基礎(chǔ)設(shè)施的全新篇章

Arm AGI CPU 的發(fā)布，開啟了 Arm 數(shù)據(jù)中心業(yè)務(wù)發(fā)展的全新篇章，也彰顯了其在計算創(chuàng)新領(lǐng)域的持續(xù)領(lǐng)導(dǎo)力。隨著 AI 重塑行業(yè)格局，Arm 始終致力于賦能生態(tài)系統(tǒng)的發(fā)展——滿足各類客戶的實際需求，覆蓋從超大規(guī)模云服務(wù)提供商到 AI 初創(chuàng)企業(yè)。

Arm AGI CPU 是 Arm 全新數(shù)據(jù)中心芯片產(chǎn)品線的首款產(chǎn)品，現(xiàn)已開放訂購。其后續(xù)產(chǎn)品規(guī)劃也已確認，致力于實現(xiàn)業(yè)界領(lǐng)先的性能、擴展性與能效。該產(chǎn)品線將與 Arm Neoverse CSS 產(chǎn)品路線圖并行推進，確保所有 Arm 數(shù)據(jù)中心客戶在平臺架構(gòu)與軟件兼容性方面實現(xiàn)協(xié)同發(fā)展。

翻開這一全新篇章，我們的使命始終如一：打造堅實的計算基石，助力各行業(yè)實現(xiàn)創(chuàng)新。如今，整個生態(tài)系統(tǒng)與我們并肩同行——超大規(guī)模計算服務(wù)商、云計算、芯片、內(nèi)存、網(wǎng)絡(luò)、軟件、系統(tǒng)設(shè)計與制造等領(lǐng)域的 50 余家領(lǐng)軍企業(yè)，均對 Arm 計算平臺向芯片領(lǐng)域拓展表示支持。憑借 Arm AGI CPU，Arm 不僅在定義 AI 原生數(shù)據(jù)中心的架構(gòu)，更在將它構(gòu)建成為現(xiàn)實。

部署 Arm AGI CPU 的合作伙伴證言

Cerebras

“Cerebras 專注于打造面向超高速、大規(guī)模推理的 AI 基礎(chǔ)設(shè)施。隨著大規(guī)模推理成為 AI 領(lǐng)域的主流工作負載，可組合的高性能系統(tǒng)變得愈發(fā)重要——這類系統(tǒng)既需要定制化 AI 加速能力，也需要高效、可擴展的 CPU 來規(guī)?；瘏f(xié)調(diào)數(shù)據(jù)遷移、網(wǎng)絡(luò)連接與協(xié)同調(diào)度。Arm 計算平臺向 AGI 級基礎(chǔ)設(shè)施的拓展，對生態(tài)系統(tǒng)和在全球范圍內(nèi)大規(guī)模部署 AI 的客戶而言，都是極具積極意義的一步?！?/p>

Cerebras 首席執(zhí)行官 Andrew Feldman

Cloudflare

“為持續(xù)踐行‘助力構(gòu)建更美好的互聯(lián)網(wǎng)’這一使命，Cloudflare 需要能夠在全球網(wǎng)絡(luò)中高效擴展的基礎(chǔ)設(shè)施。Arm AGI CPU 能為下一代工作負載提供所需的高性能、高能效計算能力?！?/p>

Cloudflare 首席戰(zhàn)略官 Stephanie Cohen

Meta

“要在全球規(guī)模化提供 AI 體驗，需要一套穩(wěn)健、可適配性的定制化芯片解決方案，專為加速 AI 工作負載、優(yōu)化 Meta 全平臺的性能而打造。我們與 Arm 攜手開發(fā) Arm AGI CPU，以部署一套高效的計算平臺，在顯著提升數(shù)據(jù)中心性能密度的同時，為我們持續(xù)演進的 AI 系統(tǒng)構(gòu)建跨多代產(chǎn)品的技術(shù)發(fā)展路線圖?！?/p>

Meta 基礎(chǔ)設(shè)施負責人Santosh Janardhan

OpenAI

“OpenAI 運行著超大規(guī)模的人工智能系統(tǒng)。每天有數(shù)億用戶使用ChatGPT，企業(yè)基于我們的 API 構(gòu)建應(yīng)用，開發(fā)者依賴 Codex 等工具開展工作。隨著我們的業(yè)務(wù)持續(xù)擴展，Arm AGI CPU 將在基礎(chǔ)設(shè)施中發(fā)揮重要作用——強化調(diào)度層以協(xié)調(diào)大規(guī)模 AI 工作負載，并全面提升系統(tǒng)的效率、性能與帶寬。”

OpenAI 工業(yè)計算負責人 Sachin Katti

Positron

“Positron 專注于打造定制化推理加速器，通過通用內(nèi)存實現(xiàn)突破性的詞元 (token) 生成效率。Arm 始終致力于提供業(yè)界能效最優(yōu)的計算平臺，這使得 Arm AGI CPU 成為下一代 AI 基礎(chǔ)設(shè)施的理想基石。通過將 Positron 的推理加速技術(shù)與高能效的 Arm AGI CPU 平臺相結(jié)合，我們有望幫助數(shù)據(jù)中心運營商以更優(yōu)的每瓦性能與每美元性能，規(guī)模化部署前沿 AI 模型?！?/p>

Positron 首席執(zhí)行官 Mitesh Agrawal

Rebellions

“高性能 AI 系統(tǒng)需要通用計算與加速器架構(gòu)的緊密協(xié)同。通過在全新高密度服務(wù)器配置中整合 Arm AGI CPU 與 Rebellions 的神經(jīng)網(wǎng)絡(luò)處理器 (NPU)，我們將打造一個可擴展、高能效的平臺，專為大規(guī)模 AI 推理工作負載進行優(yōu)化?！?/p>

Rebellions 首席商務(wù)官 Marshall Choy

SAP

“SAP 在基于 Arm 架構(gòu)的 Amazon Graviton 上成功部署 SAP HANA，充分印證了 Arm 生態(tài)在企業(yè)級工作負載場景下的成熟度與出色性能。Arm AGI CPU 進一步拓展了這一潛力，提供可擴展、高能效的計算能力，為下一代 AI 驅(qū)動的企業(yè)級解決方案提供有力支撐?！?/p>

SAP 高級副總裁、HANA 及持久化業(yè)務(wù)負責人Stefan B?uerle

SK 電訊

“SK 電訊正在拓展大規(guī)模全棧 AI 推理數(shù)據(jù)中心基礎(chǔ)設(shè)施，其中即包含 Arm AGI CPU 及 Rebellions AI 加速芯片。通過將我們自主研發(fā)的 A.X 基礎(chǔ)模型與推理優(yōu)化型 AI 服務(wù)器相結(jié)合，我們已準備好向全球交付相關(guān)服務(wù)，同時提升自身 AI 數(shù)據(jù)中心的競爭力?！?/p>

SK 電訊首席技術(shù)官兼 AI CIC 負責人 Suk-geun (SG) Chung