過去十多年，云基礎設施通過“抽象化”實現(xiàn)擴展，借助標準化服務器、虛擬化資源及軟件層，有效彌合了硬件層面的差異。這種模式之所以行之有效，是因為部分工作負載能夠容忍一定程度的低效。然而，人工智能 (AI) 工作負載無法容忍低效，也因此暴露出了傳統(tǒng)架構在供電、散熱、算力密度、內存帶寬及系統(tǒng)整體性能方面的短板。

本質上，AI 重新定義了“優(yōu)秀”基礎設施的標準。相應地，平臺設計的重心也從注重單一的芯片或服務器，轉向了打造機架級、可擴展的系統(tǒng)，在功耗和預算有限的前提下，實現(xiàn)高效擴展。而這一轉變背后的原因在于，推理與智能體 AI 工作負載持續(xù)增長且不間斷運行，對高密度、全天候在線的算力需求正快速提升。

Futurum 在《Arm 處于 AI 和數(shù)據中心變革的中心》報告中，把這一轉變稱為邁向“系統(tǒng)級協(xié)同”。設計的關鍵不再是堆多少算力，而是平臺能不能有效地把加速器、CPU、內存、網絡和軟件協(xié)同起來。

正因如此，業(yè)界正加速邁向定制化機架級系統(tǒng)設計：即圍繞 AI 負載特性、功耗波動和持續(xù)利用率來進行端到端設計的平臺。越來越多的架構師開始重新思考計算底層設計，選擇基于 Arm 架構來解決現(xiàn)代 AI 平臺面臨的多重約束。

AI 促使行業(yè)重構：轉向定制化機架級系統(tǒng)

這一轉變的核心原因，并非通用型標準化基礎設施無法承載 AI，而是碎片化的系統(tǒng)設計，在 AI 規(guī)?；渴饡r，終將轉化為真實可感的成本代價。

AI 工作負載在計算、內存、網絡、存儲及軟件各環(huán)節(jié)緊密耦合。CPU 拖后腿，昂貴的加速器就會空等；功耗和散熱波動，利用率就會下滑；數(shù)據管道、調度、編排未能針對平臺調優(yōu)，吞吐量就不可預測。峰值性能依然重要，但穩(wěn)定性、每瓦性能和系統(tǒng)整體平衡性更關鍵。

Futurum 指出，超大規(guī)模云服務提供商正進行結構性調整，旨在實現(xiàn)算力的指數(shù)級增長，同時避免能耗的同步激增。Futurum 引用 Arm 的數(shù)據指出，到 2025 年末，出貨到頭部超大規(guī)模云服務提供商的算力中，有近 50% 是基于 Arm 架構。

架構師現(xiàn)在不再只看紙面跑分，而是更關心 AI 平臺在實際應用中能否長期可靠地運行智能體 AI 和連續(xù)推理工作負載，比如：

長時間高負載下，系統(tǒng)表現(xiàn)如何？

在實際環(huán)境中，功耗限制和散熱條件如何影響性能曲線？

在機架級系統(tǒng)中，計算層如何確保加速器能持續(xù)獲得穩(wěn)定的數(shù)據供給，而非僅停留在紙面參數(shù)上？

當能效、可擴展性與系統(tǒng)平衡性成為首要原則時，重新審視 CPU 底層架構就成了必然。也正因為此，Arm 憑借領先的架構和完善的生態(tài)，正是這場行業(yè)變革的核心所在。

在數(shù)據中心領域，Arm Neoverse 平臺是推動這一轉型的核心引擎。亞馬遜云科技、Google、微軟、NVIDIA 等頭部超大規(guī)模云服務提供商與 AI 領軍企業(yè)，都在基于 Arm 架構或采用 Arm 計算平臺進行產品研發(fā)。Arm 的模式既能支持定制化系統(tǒng)設計，又能保持跨平臺、跨生態(tài)、跨軟件的一致性。對于想要構建高集成度平臺、又不愿被單一技術路徑綁定的團隊而言，這種靈活性至關重要。

智能體 AI 與持續(xù)推理，

重塑規(guī)?；懔Φ慕洕壿?/p>

隨著 AI 與通用計算工作負載的融合，AI 工作負載正在發(fā)生變化，基礎設施也需隨之調整，以支持多樣化的工作負載特性。

行業(yè)重心正在轉向智能體 AI，而智能體 AI 本質上就是一個連續(xù)推理系統(tǒng)。智能體并不是簡單地給出一個答案， 而是會規(guī)劃、調用工具、檢索數(shù)據、驗證結果，如此循環(huán)往復。由此便形成了連續(xù)推理模式：穩(wěn)定不間斷的詞元 (token) 生成任務，請求類型趨于多元化，圍繞加速器的編排和數(shù)據遷移任務變得更繁重。

在智能體 AI 里，CPU 不再是配角， 而是整個 AI 系統(tǒng)的控制中樞。CPU 負責協(xié)調控制、調度任務、管理 IO、處理網絡與存儲服務、執(zhí)行安全策略，并在模型、上下文及工具鏈不斷演進的過程中，維持整個系統(tǒng)的平衡。

以承載大語言模型 (LLM) 的服務為例，它可能同時處理成百上千的并發(fā)請求。就算加速器負責核心計算，CPU 也要承擔請求權限控制、分詞和預處理、批處理和隊列調度、數(shù)據遷移編排，以及針對模型權重與 KV 緩存的數(shù)據路徑協(xié)調等。到了智能體工作流，CPU 的工作負擔進一步擴展，還要承擔工具調用、檢索流程、結構化輸出驗證、多步調度等持續(xù)運行的任務。

這一切都表明，CPU的重要性遠超許多團隊的預期。如果 CPU 跟不上編排節(jié)奏，數(shù)據遷移、處理流程和加速器都會被“卡住”，面臨結構性的閑置風險。

融合型 AI 數(shù)據中心的建設，彰顯了 Arm 架構的強勁勢頭

Arm 的發(fā)展勢頭正在加快。在業(yè)內領先的集成式 AI 系統(tǒng)中，基于 Neoverse 平臺的 CPU 被廣泛用于智能體推理密集型系統(tǒng)的編排層，尤其適合追求高能效、可預測擴展能力和大規(guī)模部署的應用場景。

獨立測試也印證了現(xiàn)代 CPU 基礎平臺在“AI 相關”工作負載中的價值。Futurum 旗下 Signal65 的獨立基準測試對比了基于 Arm Neoverse 平臺的 Amazon Graviton4 與同級的 AMD 和 Intel EC2 實例，結果顯示：在生成式 AI (Llama-3.1-8B)、數(shù)據庫 (Redis)、機器學習 (XGBoost)、網絡 (Nginx) 等測試的各種工作負載中，基于 Neoverse 平臺的 Graviton4 在性能和性價比方面大幅領先。

測試結果直接反映了智能體 AI 數(shù)據中心的現(xiàn)狀：LLM、檢索層、緩存、Web/API、傳統(tǒng)機器學習等全都處于智能體系統(tǒng)的關鍵路徑上，只有當 CPU 兼具速度與能效時，整體才能更好地擴展。

最新的機架級 AI 系統(tǒng)在架構設計上，均采用定制化加速器層以及基于 Arm 架構的 CPU 層的組合，由后者承擔調度編排、數(shù)據遷移與智能體推理預處理等關鍵任務。NVIDIA Grace Hopper、Grace Blackwell 等系列產品，將 NVIDIA GPU 與基于 Neoverse 架構的 Grace CPU 深度融合。而其最新機架級平臺 Vera Rubin NVL72，更是在系統(tǒng)內集成 72 顆 Rubin GPU 與 36 顆基于 Arm 架構的 Vera CPU，專為交互式、深度推理型智能體 AI 優(yōu)化，顯著降低推理成本。

亞馬遜云科技也在走同樣的系統(tǒng)級路線：Amazon Trainium3 UltraServer 把 Trainium3 加速器芯片與 Graviton CPU 結合，強化了“融合型”設計理念：將加速器與定制的高性能、高能效 CPU 相匹配，以實現(xiàn)高效擴展。

“提供更優(yōu)選擇”不再是偏好，而是硬性要求

AI 系統(tǒng)迭代太快，固定架構已無法適配其發(fā)展節(jié)奏，因此為客戶提供更優(yōu)選擇已成為風險管理的必要舉措。

系統(tǒng)架構師想要的是：

平臺能適應不同代的硬件、多樣的工作負載配置及各異的部署環(huán)境；

軟件可移植，以降低系統(tǒng)變更成本。

與此同時，系統(tǒng)架構師希望避免因過度依賴單一廠商，而導致在模型組合變化、業(yè)務規(guī)模擴張或新需求出現(xiàn)時陷入被動。在智能體時代尤其如此：推理形態(tài)不斷變化，上下文更長、工具調用更多、多模態(tài)輸入更頻繁、全天候工作負載更普遍，效率和平衡遠比峰值跑分重要。

Arm 架構在提升系統(tǒng)性能的同時，保持跨平臺一致性。Arm 架構不僅引入了現(xiàn)代 AI 基礎設施所需的關鍵特性，而且擁有強大的軟件生態(tài)支持。Arm 計算子系統(tǒng) (CSS) 提供經過驗證的基礎設施級模塊，既加速了芯片開發(fā)，又保留了合作伙伴間的差異化與選擇權。對于所有基于 Arm 架構的平臺，一致性貫穿始終，云工作負載遷移至 Arm 平臺也極為便捷。同時，在軟件層面，Arm 生態(tài)助力團隊在不同環(huán)境與平臺間擁有一致連貫的基礎，從而加速開發(fā)進程，無需重寫所有代碼。

智能體 AI 經濟重塑 CPU 選擇格局，Arm Neoverse 平臺成頭部廠商首選

系統(tǒng)架構師之所以傾向于 Arm 平臺，因為它精準匹配定制AI 系統(tǒng)的核心需求：能效、可擴展性及每瓦性能。能效重要，因為功耗和預算是硬上限；系統(tǒng)平衡和 CPU 性能重要，因為加速器閑置成本極高；一致性重要，因為 AI 基礎設施變化快、跨環(huán)境部署日益增多。

在融合型智能體 AI 數(shù)據中心里，面對持續(xù)推理的應用需求，上述優(yōu)先事項變成了上線即需滿足的硬性指標。智能體系統(tǒng)不只需要能生成詞元的加速器，更需要以 CPU 為核心的編排能力，在網絡、存儲、調度、安全層面，持續(xù)、高效、大規(guī)模地把資源利用起來。

Arm 如今的強勁增長正源于此：Neoverse 正成為智能體時代的 CPU 基礎平臺，作為計算頭節(jié)點，是讓 AI 系統(tǒng)保持高效、一致并面向未來的核心控制中樞。