來源：半導體芯科技編譯

業(yè)內率先推出8層垂直堆疊的24GB容量HBM3 Gen2，帶寬超過1.2TB/s，并通過先進的1β工藝節(jié)點實現(xiàn)“卓越功效”。

美光科技已開始提供業(yè)界首款8層垂直堆疊的24GB容量HBM3 Gen2內存樣品，其帶寬超過1.2TB/s，引腳速度超過9.2Gb/s，相比目前出貨的HBM3解決方案提高了50%。美光的HBM3 Gen2產品的每瓦性能是前幾代產品的2.5倍，據(jù)稱為關鍵人工智能（AI）數(shù)據(jù)中心性能、容量和功效指標創(chuàng)造了新記錄。美光本次改進可減少GPT-4等大型語言模型的訓練時間，為AI推理提供高效的基礎設施應用，并提供卓越的總擁有成本（TCO）。

美光高帶寬內存（HBM）解決方案的基礎是美光1β (1-beta) DRAM工藝節(jié)點，該節(jié)點允許將24Gb DRAM芯片組成行業(yè)標準封裝尺寸內的8層垂直堆疊的立方體。此外，美光的12層垂直堆疊的堆棧容量為36GB，將于2024年第一季度開始提供樣品。美光表示，與現(xiàn)有的競爭解決方案相比，它在給定的堆棧高度下提供的容量增加了50%。美光的HBM3 Gen2 性能功耗比和引腳速度改進對于管理當今人工智能數(shù)據(jù)中心的極端功耗需求至關重要。美光在技術方面的進步，讓能效提升成為可能，例如硅通孔（TSV）比競爭對手的HBM3產品增加了一倍，通過金屬密度增加五倍，從而降低熱阻抗，此外，還設計了更為節(jié)能的數(shù)據(jù)通路。

美光很榮幸成為臺積電3DFabric Alliance的合作伙伴，幫助塑造半導體和系統(tǒng)的創(chuàng)新未來。作為HBM3 Gen2產品開發(fā)工作的一部分，美光與臺積電之間的合作為AI和HPC設計應用計算系統(tǒng)的順利引入和集成奠定了基礎。臺積電已收到美光HBM3 Gen2內存樣品，并與美光密切合作進行進一步的評估和測試，助力客戶的下一代HPC應用創(chuàng)新。

美光HBM3 Gen2解決方案滿足了生成式AI領域對多模態(tài)、數(shù)萬億參數(shù)AI模型日益增長的需求。每個立方體容量為24GB，引腳速度超過9.2Gb/s，大型語言模型的訓練時間減少30%以上，從而降低TCO。此外，美光產品觸發(fā)每日查詢量顯著增加，從而能夠更有效地利用經過訓練的模型。美光HBM3 Gen2擁有業(yè)界一流的每瓦性能，能切實推動現(xiàn)代AI數(shù)據(jù)中心節(jié)省成本。對于安裝1000萬個GPU的情況，每個HBM立方體可節(jié)約5W功耗，預計在五年內可節(jié)省高達5.5億美元的運營費用。

美光計算產品集團副總裁兼總經理Praveen Vaidyanathan表示：“美光HBM3 Gen2技術的開發(fā)旨在為客戶和行業(yè)提供卓越的人工智能和高性能計算解決方案。對我們來說，一個重要的標準是，HBM3 Gen2產品在客戶平臺上是否易于集成。其完全可編程的內存內建自測試（MBIST）可在完整規(guī)格的引腳速度下運行，能夠為客戶提供更強大的測試能力，實現(xiàn)高效協(xié)作，助力客戶縮短產品上市時間?！?/p>

NVIDIA超大規(guī)模和HPC計算副總裁Ian Buck表示：“生成式AI的核心是加速計算，它受益于HBM高帶寬，可帶來更出色的能效。我們與美光在眾多產品領域有著長期合作，并且非常期待與美光在HBM3 Gen2上合作，促進AI創(chuàng)新。”

美光利用其全球工程機構開發(fā)了這一突破性產品，于美國進行設計和工藝開發(fā)，在日本進行內存制造，在臺灣進行先進封裝。美光此前宣布推出基于1α (1-alpha)節(jié)點、24Gb單塊DRAM裸片的96GB容量DDR5模組，用于大容量服務器解決方案，如今又推出了基于1β節(jié)點24Gb芯片24GB容量HBM3產品。公司還計劃在2024年上半年推出基于1β節(jié)點32Gb單塊DRAM裸片的128GB容量DDR5模組。這些產品展示了美光在AI服務器方面的技術創(chuàng)新。

審核編輯 黃宇