美光近期發(fā)布的內(nèi)存和存儲(chǔ)產(chǎn)品組合創(chuàng)新備受矚目，這些成就加速了 AI 的發(fā)展。美光8 層堆疊和 12 層堆疊 HBM3E 解決方案提供業(yè)界前沿性能，功耗比競(jìng)品1低 30%。美光 8 層堆疊 24GB HBM3E 產(chǎn)品將搭載于 NVIDIA H200 Tensor Core GPU 中。在 Six Five Media 最近的一期節(jié)目中，主持人 Daniel Newman（Futurum Group 首席執(zhí)行官）和 Patrick Moorhead（Moor Insights & Strategy 首席執(zhí)行官）與美光產(chǎn)品管理高級(jí)總監(jiān) Girish Cherussery 進(jìn)行了視頻訪談。

他們探討了高帶寬內(nèi)存 (HBM)的廣闊市場(chǎng)，并研究了其在當(dāng)今技術(shù)領(lǐng)域的各種應(yīng)用。這篇文章回顧了他們的談話，其中話題包括 HBM 的復(fù)雜性、美光如何滿足市場(chǎng)需求以及目前內(nèi)存生態(tài)系統(tǒng)的發(fā)展情況。Girish 還為渴望了解 AI 內(nèi)存和存儲(chǔ)技術(shù)市場(chǎng)趨勢(shì)的聽(tīng)眾提供了寶貴的見(jiàn)解。

什么是高帶寬內(nèi)存？有哪些應(yīng)用領(lǐng)域？

HBM 作為行業(yè)標(biāo)準(zhǔn)的封裝內(nèi)存，是一款變革性產(chǎn)品。其以較小的尺寸，在給定容量下實(shí)現(xiàn)更高的帶寬和能效。正如 Girish 在 Six Five 播客節(jié)目中所言，AI 應(yīng)用部署越來(lái)越多的復(fù)雜大語(yǔ)言模型 (LLM)，由于 GPU 內(nèi)存容量和帶寬有限，訓(xùn)練這些模型面臨著挑戰(zhàn)。大語(yǔ)言模型的規(guī)模呈指數(shù)級(jí)增長(zhǎng)，遠(yuǎn)遠(yuǎn)超過(guò)了內(nèi)存容量的增長(zhǎng)速度。這一趨勢(shì)凸顯了對(duì)內(nèi)存容量日益增長(zhǎng)的需求。

以 GPT-3 為例，該模型有大約 1750 億個(gè)參數(shù)。這意味著需要約 800GB 的內(nèi)存及更高的帶寬，以防止出現(xiàn)性能瓶頸。最新的 GPT-4 模型的參數(shù)更多（估計(jì)達(dá)到萬(wàn)億個(gè)）。采用傳統(tǒng)方法增加內(nèi)存器件會(huì)導(dǎo)致系統(tǒng)成本過(guò)高。

HBM 提供了一種高效的解決方案。美光基于其業(yè)界前沿 1β (1-beta) 技術(shù)，推出 11mm x 11mm 封裝規(guī)格堆疊 8 或 12 層 24Gb 裸片的 HBM3E 內(nèi)存，提供 24GB 或 36GB 容量。美光先進(jìn)的設(shè)計(jì)和工藝創(chuàng)新，助力 HBM3E 實(shí)現(xiàn)超過(guò) 1.2 TB/s 的內(nèi)存帶寬，超過(guò) 9.2 Gb/s 的引腳速率。正如 Girish 所言，HBM3E 擁有 16 個(gè)獨(dú)立的高頻數(shù)據(jù)通道，類似于“高速公路車道”，可以更快地來(lái)回傳輸數(shù)據(jù)，提供所需性能。

美光 HBM3E 更高的容量和帶寬縮短了大語(yǔ)言模型的訓(xùn)練時(shí)間，為客戶節(jié)省了大量運(yùn)營(yíng)支出。HBM3E 容量更大，支持規(guī)模更大的大語(yǔ)言模型，有助于避免 CPU 卸載和 GPU 之間的通信延遲。

HBM3E 功耗很低，因?yàn)橹鳈C(jī)和內(nèi)存之間的數(shù)據(jù)路徑較短。DRAM 通過(guò)硅通孔 (TSV) 與主機(jī)通信，Girish 將其形象地比喻為牙簽穿過(guò)漢堡。其從底層顆粒獲取電源和數(shù)據(jù)，然后將其傳輸?shù)巾敳績(jī)?nèi)存層。憑借基于 1β 制程節(jié)點(diǎn)的先進(jìn) CMOS 技術(shù)創(chuàng)新，以及多達(dá) 2 倍硅通孔和封裝互連縮小 25% 的先進(jìn)封裝創(chuàng)新，美光 HBM3E 的功耗比競(jìng)品低 30%。在每個(gè)內(nèi)存實(shí)例 8Gbps 的速率下，功耗降低了 30%，以擁有 500,000 個(gè) GPU 安裝基數(shù)的客戶為例，僅在五年內(nèi)就可以節(jié)約超過(guò) 1.23 億美元運(yùn)營(yíng)成本。

因此，正如 Daniel Newman 所言，美光 HBM3E 內(nèi)存在容量、速度和功耗方面表現(xiàn)優(yōu)異，對(duì)數(shù)據(jù)中心的可持續(xù)發(fā)展需求產(chǎn)生了積極影響。

美光 HBM3E 如何滿足生成式 AI和高性能計(jì)算的需求？

美光相信通過(guò)解決各種技術(shù)問(wèn)題，可以幫助人們應(yīng)對(duì)所面臨的根本性難題，豐富所有人的生活。

如今，超級(jí)計(jì)算機(jī)模擬技術(shù)帶來(lái)了巨大的內(nèi)存和帶寬需求。正如 Girish 所言，在新冠疫情期間，制藥公司迫切需要找到用于治療新冠病毒的新藥物和化合物。HBM 作為高性能計(jì)算系統(tǒng)器件，可滿足大規(guī)模計(jì)算的需求，解決當(dāng)今時(shí)代的關(guān)鍵難題。因此，HBM 作為支持大規(guī)模計(jì)算系統(tǒng)發(fā)展的重要器件，以其緊湊的外形尺寸提供所需的性能和容量，同時(shí)大幅降低功耗，從根本上改變了人們對(duì)內(nèi)存技術(shù)的看法。

隨著 AI 時(shí)代計(jì)算規(guī)模的不斷擴(kuò)大，當(dāng)下的數(shù)據(jù)中心面臨著耗電量高、缺乏建設(shè)空間的難題。AI 和高性能計(jì)算 (HPC) 工作負(fù)載推動(dòng)提高內(nèi)存利用率和容量。冷卻數(shù)據(jù)中心所需的能源消耗巨大，也是個(gè)挑戰(zhàn)。對(duì)于采用 HBM 的系統(tǒng)而言，系統(tǒng)冷卻位于 DRAM 堆棧頂部，而底部顆粒和 DRAM 層功耗所產(chǎn)生的熱量則位于堆棧底部。這要求我們?cè)谠O(shè)計(jì)的早期階段就考慮功耗和散熱問(wèn)題。美光先進(jìn)的封裝創(chuàng)新技術(shù)提供了改善熱阻抗的結(jié)構(gòu)解決方案，有助于改善立方體的散熱表現(xiàn)。結(jié)合大幅降低的功耗，整體散熱表現(xiàn)將大大優(yōu)于競(jìng)品。美光 HBM3E 的功耗更低、散熱效率更高，有助于應(yīng)對(duì)數(shù)據(jù)中心面臨的重大挑戰(zhàn)。

AI 內(nèi)存解決方案的新興趨勢(shì)是什么？

生成式 AI 在從云到邊緣的各種應(yīng)用中迅速普及，推動(dòng)了異構(gòu)計(jì)算環(huán)境中系統(tǒng)架構(gòu)的重大創(chuàng)新。AI 正在加速推動(dòng)邊緣應(yīng)用的發(fā)展趨勢(shì)，如工業(yè) 4.0、自動(dòng)駕駛汽車、AI 個(gè)人電腦和 AI 智能手機(jī)等。正如 Girish 所分享的，這些長(zhǎng)期趨勢(shì)推動(dòng)了內(nèi)存子系統(tǒng)的重大技術(shù)創(chuàng)新，以提供更高的容量、帶寬、可靠性和更低的功耗。

美光基于 1β 技術(shù)的 LPDDR5X 產(chǎn)品組合為這些系統(tǒng)提供了出色的性能/功耗，可用于邊緣 AI 推理。美光率先在市場(chǎng)上推出基于 LPDDR5X 的創(chuàng)新型 LPCAMM2，旨在提升個(gè)人電腦用戶的體驗(yàn)，推動(dòng) AI 個(gè)人電腦革命。

數(shù)據(jù)中心架構(gòu)也在不斷演變。美光單顆粒大容量 RDIMM 推動(dòng)了全球數(shù)據(jù)中心服務(wù)器在 AI、內(nèi)存數(shù)據(jù)庫(kù)和通用計(jì)算工作負(fù)載方面的進(jìn)步。我們率先上市的 128GB 大容量 RDIMM 性能卓越、容量大、延遲低，可高效處理需要更大容量?jī)?nèi)存的應(yīng)用程序，包括從 GPU 卸載到 CPU 處理的 AI 工作負(fù)載。

我們還看到，由于 LPDDR 內(nèi)存（低功耗 DRAM）在性能/功耗方面的優(yōu)勢(shì)，越來(lái)越多的數(shù)據(jù)中心將其用于 AI 加速和推理應(yīng)用。美光顯存 GDDR6X 的引腳速率達(dá)到驚人的 24 Gb/s，也被用于數(shù)據(jù)中心的推理應(yīng)用中。

美光率先推出的另一種新興內(nèi)存解決方案 CXL 內(nèi)存，可為數(shù)據(jù)中心應(yīng)用提供內(nèi)存和帶寬擴(kuò)展。美光 CXL 內(nèi)存模塊 CZ120可為 AI、內(nèi)存數(shù)據(jù)庫(kù)、高性能計(jì)算和通用計(jì)算工作負(fù)載提供內(nèi)存擴(kuò)展。

AI 正在為人類開(kāi)創(chuàng)一個(gè)新時(shí)代，觸及我們生活的方方面面。隨著社會(huì)不斷利用 AI 的潛力，AI 將繼續(xù)推動(dòng)數(shù)字經(jīng)濟(jì)中各行業(yè)的快速創(chuàng)新。數(shù)據(jù)是數(shù)字經(jīng)濟(jì)的核心，也是內(nèi)存和存儲(chǔ)解決方案的核心。美光已做好準(zhǔn)備，憑借其技術(shù)實(shí)力、創(chuàng)新內(nèi)存和存儲(chǔ)解決方案的強(qiáng)大產(chǎn)品組合及強(qiáng)有力的路線圖，以及致力于通過(guò)改變世界使用信息的方式豐富全人類生活的承諾，助推 AI 革命。

審核編輯：劉清