新聞亮點(diǎn)

采用業(yè)界首款單晶粒 32Gb LPDDR5X，相較標(biāo)準(zhǔn) RDIMM，功耗降至其 1/3，尺寸亦縮小至其 1/3

長上下文 LLM 推理的首個(gè) token 生成時(shí)間加速 2.3 倍，在獨(dú)立 CPU 應(yīng)用中，每瓦性能提升 3 倍

單一模組容量提升 1.33 倍 ——每顆 8 通道服務(wù)器 CPU 可配置 2TB LPDRAM，適用于 AI 及高性能計(jì)算（HPC）場景

2026 年 3 月 5 日，愛達(dá)荷州博伊西市 —美光科技股份有限公司（納斯達(dá)克股票代碼：MU）近日宣布開始向客戶送樣業(yè)界容量領(lǐng)先的LPDRAM 模塊 256GB SOCAMM2，進(jìn)一步鞏固其在低功耗服務(wù)器內(nèi)存領(lǐng)域的領(lǐng)導(dǎo)地位。依托業(yè)界首款單晶粒 32Gb LPDDR5X設(shè)計(jì)，這一里程碑式成就為AI 數(shù)據(jù)中心帶來變革性突破，提供足以實(shí)現(xiàn)全新系統(tǒng)架構(gòu)的低功耗內(nèi)存容量。

AI 訓(xùn)練、推理、代理式 AI 和通用計(jì)算的融合，正推動(dòng)更嚴(yán)苛的內(nèi)存需求，并重塑數(shù)據(jù)中心的系統(tǒng)架構(gòu)。現(xiàn)代 AI 工作負(fù)載催生了大模型參數(shù)、擴(kuò)展的上下文窗口及持久性鍵值（KV）緩存的需求，而核心計(jì)算則在數(shù)據(jù)強(qiáng)度、并發(fā)性和內(nèi)存空間方面持續(xù)擴(kuò)展。

面對(duì)上述工作負(fù)載，內(nèi)存容量、帶寬效率、延遲和能效已成為系統(tǒng)層面的主要瓶頸，直接影響性能、可擴(kuò)展性和總體擁有成本。LPDRAM 融合上述特性的獨(dú)特優(yōu)勢(shì)，在功耗與散熱限制日益嚴(yán)苛的數(shù)據(jù)中心環(huán)境中，成為 AI 及核心計(jì)算服務(wù)器的關(guān)鍵解決方案。美光正與 NVIDIA 攜手合作，共同設(shè)計(jì)高性能內(nèi)存解決方案，以滿足先進(jìn) AI 基礎(chǔ)架構(gòu)的需求。

美光高級(jí)副總裁暨云端存儲(chǔ)事業(yè)部總經(jīng)理Raj Narasimhan 表示：“美光256GB SOCAMM2為 AI及高性能計(jì)算（HPC）提供更具能效的 CPU 附加內(nèi)存解決方案。此次產(chǎn)品發(fā)布充分展現(xiàn)出美光在技術(shù)與封裝領(lǐng)域的突破，打造業(yè)界容量領(lǐng)先、低功耗、小尺寸的模塊化內(nèi)存解決方案。美光在數(shù)據(jù)中心低功耗內(nèi)存解決方案領(lǐng)域持續(xù)保持領(lǐng)先地位，這一獨(dú)特優(yōu)勢(shì)使我們率先推出單晶粒 32Gb LPDRAM，協(xié)助推動(dòng)業(yè)界加速采用更節(jié)能、更高容量的系統(tǒng)架構(gòu)。”

專為容量、能效

和工作負(fù)載性能優(yōu)化而設(shè)計(jì)

美光的256GB SOCAMM2為各種 AI 和通用計(jì)算工作負(fù)載提供更高的內(nèi)存容量、更低的功耗，以及更快的性能。

為 AI 服務(wù)器擴(kuò)展內(nèi)存容量：256GB SOCAMM2容量較前代最高規(guī)格192GB SOCAMM2提升三分之一，可為每顆8通道 CPU 提供2TB LPDRAM容量，從而支持更大的上下文窗口及更復(fù)雜的推理工作負(fù)載。

功耗更低、尺寸更小：與相同容量的 RDIMM 相比，SOCAMM2 的功耗僅為其三分之一，尺寸亦縮減至三分之一，有效提升機(jī)架密度并降低總體擁有成本。1

提升推理與核心計(jì)算性能：在統(tǒng)一內(nèi)存架構(gòu)中，與現(xiàn)有解決方案相比，256GB SOCAMM2用于 KV 緩存卸載時(shí)，可將長上下文、實(shí)時(shí) LLM 推理的首個(gè) token 生成時(shí)間加速2.3 倍。2在獨(dú)立 CPU 應(yīng)用中，針對(duì)高性能計(jì)算工作負(fù)載，LPDRAM 的每瓦性能較主流內(nèi)存模塊提升超 3 倍。3

易維護(hù)、可擴(kuò)展的模塊化設(shè)計(jì)：模塊化 SOCAMM2 設(shè)計(jì)可提升設(shè)備可維護(hù)性、支持液冷服務(wù)器架構(gòu)，并能隨著 AI 與核心計(jì)算內(nèi)存需求的持續(xù)增長，實(shí)現(xiàn)未來容量擴(kuò)充。

NVIDIA 數(shù)據(jù)中心 CPU 產(chǎn)品部門主管 Ian Finder 表示：“先進(jìn) AI 基礎(chǔ)架構(gòu)需要在各個(gè)層面進(jìn)行極致優(yōu)化，才能有效應(yīng)對(duì)嚴(yán)苛的 AI 推理工作負(fù)載對(duì)性能與能效的需求。美光通過256GB SOCAMM2，以低于傳統(tǒng)服務(wù)器內(nèi)存的功耗，實(shí)現(xiàn)超大內(nèi)存容量與帶寬的突破，為下一代 AI CPU 提供關(guān)鍵助力?！?/p>

推動(dòng)行業(yè)標(biāo)準(zhǔn)制定

加速低功耗內(nèi)存普及

美光在 JEDEC SOCAMM2 規(guī)范制定過程中持續(xù)發(fā)揮領(lǐng)導(dǎo)作用，并維持與系統(tǒng)設(shè)計(jì)人員的深度技術(shù)合作，以推動(dòng)下一代數(shù)據(jù)中心平臺(tái)在能效與性能方面實(shí)現(xiàn)全行業(yè)性提升。

美光現(xiàn)已面向客戶送樣256GB SOCAMM2產(chǎn)品，并提供業(yè)界最全面的數(shù)據(jù)中心 LPDRAM產(chǎn)品組合，涵蓋8GB至64GB組件及48GB至256GB 的 SOCAMM2模塊。

1三分之一的功耗依據(jù)單個(gè) 128GB、128 位總線寬度 SOCAMM2 模塊與兩個(gè) 64GB、64 位總線寬度 DDR5 RDIMM 的功耗瓦數(shù)對(duì)比計(jì)算。三分之一的尺寸依據(jù) SOCAMM2 的面積（ 14x90 mm）與標(biāo)準(zhǔn)服務(wù)器 RDIMM 的面積之比。

2結(jié)果基于美光內(nèi)部測試，使用 Llama3 70B 模型（FP16 量化）進(jìn)行實(shí)時(shí)推理測試，測試配置為：上下文長度 500K，并發(fā)用戶數(shù) 16。首 token 響應(yīng)時(shí)延（TTFT）的預(yù)期提升，基于每 CPU 配置 2TB LPDRAM 時(shí)延 0.12 秒，對(duì)比每 CPU 配置 1.5TB LPDRAM 時(shí)延 0.28 秒測算。有關(guān)測試條件詳情，請(qǐng)參閱本月稍早發(fā)布的白皮書：LPDDR at Scale: Enabling Efficient LLM Inference Through High-Capacity Memory。

3美光內(nèi)部測試使用相同容量的 LPDDR5X 和 DDR5 進(jìn)行 Pot3D 太陽物理 HPC 代碼性能測評(píng)。