作者：Rambus半導(dǎo)體IP產(chǎn)品管理總監(jiān)Nidish Kamath

當(dāng)前AI領(lǐng)域的發(fā)展格局正由大型語言模型（LLMs）的迅猛增長(zhǎng)所主導(dǎo)。雖然云端對(duì)于這些超大規(guī)模模型的訓(xùn)練依然至關(guān)重要，但一個(gè)顯著的轉(zhuǎn)變正在發(fā)生：AI推理正從集中式數(shù)據(jù)中心向網(wǎng)絡(luò)邊緣和終端設(shè)備遷移。這一趨勢(shì)涵蓋了從5G基礎(chǔ)設(shè)施到汽車、安防攝像頭和手機(jī)等終端設(shè)備在內(nèi)的廣泛領(lǐng)域。

在數(shù)字化轉(zhuǎn)型持續(xù)加速的高增長(zhǎng)地區(qū)，這種遷移趨勢(shì)尤為顯著。根據(jù)IDC數(shù)據(jù)顯示，2024年下半年，中國(guó)邊緣云市場(chǎng)規(guī)模達(dá)到73.9億元人民幣。在邊緣側(cè)完成輕量化模型訓(xùn)練和AI推理已成為行業(yè)關(guān)注的焦點(diǎn)，正驅(qū)動(dòng)這一細(xì)分市場(chǎng)實(shí)現(xiàn)快速增長(zhǎng)。

邊緣計(jì)算的優(yōu)勢(shì)顯而易見。本地化數(shù)據(jù)處理能提供用戶期待的實(shí)時(shí)響應(yīng)。而最大限度的減少數(shù)據(jù)傳輸不僅能減輕網(wǎng)絡(luò)負(fù)荷，還能通過敏感數(shù)據(jù)的本地化存儲(chǔ)來提升安全性。隨著先進(jìn)處理單元廣泛集成到日常設(shè)備中，我們正見證邊緣應(yīng)用的爆發(fā)式增長(zhǎng)，其功能已遠(yuǎn)超基礎(chǔ)任務(wù)范疇。如今這些應(yīng)用涵蓋語音識(shí)別、網(wǎng)絡(luò)監(jiān)控、天氣預(yù)報(bào)，甚至機(jī)器人技術(shù)與AI醫(yī)療設(shè)備，也對(duì)邊緣硬件的處理能力提出了更高且更嚴(yán)苛的要求。

不斷演進(jìn)的市場(chǎng)格局催生出具有不同內(nèi)存需求的細(xì)分市場(chǎng)。云托管應(yīng)用需要絕對(duì)最高級(jí)別的內(nèi)存帶寬，通常超過每秒1TB，傳統(tǒng)上采用HBM和DDR技術(shù)提供支持。網(wǎng)絡(luò)邊緣（如5G基礎(chǔ)設(shè)施）則需要在300-500 GB/s的高性能與成本效益之間尋求精妙平衡。終端設(shè)備則更注重成本控制，雖僅需50-100 GB/s的帶寬，但對(duì)帶寬增長(zhǎng)的需求同樣迫切。而這一貫穿所有細(xì)分領(lǐng)域的共同特征是：內(nèi)存帶寬的需求正在全面持續(xù)攀升。

然而，這一需求也暴露了現(xiàn)代系統(tǒng)設(shè)計(jì)中的一個(gè)關(guān)鍵弱點(diǎn)：處理能力與內(nèi)存帶寬之間正出現(xiàn)日益嚴(yán)重的脫節(jié)。在過去兩年中，AI模型規(guī)模驚人地增長(zhǎng)了410倍，而同期內(nèi)存帶寬僅提升約一倍。這種巨大反差導(dǎo)致顯著的“內(nèi)存鴻溝"——內(nèi)存子系統(tǒng)正日益成為制約AI性能的瓶頸，限制了先進(jìn)處理器的潛力發(fā)揮。

為此，業(yè)界正日益轉(zhuǎn)向?qū)Ｓ锰幚砥饕蕴嵘?。盡管GPU依然表現(xiàn)強(qiáng)勁，但針對(duì)特定應(yīng)用構(gòu)建專用硬件，可以通過精確匹配處理器與內(nèi)存的預(yù)期工作負(fù)載，來實(shí)現(xiàn)更高效的內(nèi)存利用。另一種解決方案則超越了處理器本身，通過采用2.5D架構(gòu)、3D堆疊或芯粒（Chiplets）等新興技術(shù)，使整個(gè)系統(tǒng)獲得卓越的處理能力。然而，盡管架構(gòu)變革層出不窮，核心挑戰(zhàn)依然存在：即如何選擇一個(gè)既能平衡性能，又具備商業(yè)可行性的內(nèi)存標(biāo)準(zhǔn)。

面對(duì)爆發(fā)式的邊緣 AI 應(yīng)用，選擇合適的內(nèi)存解決方案面臨著艱難的"三難困境"。高帶寬內(nèi)存（HBM）雖能提供海量帶寬，卻伴隨著高昂的系統(tǒng)成本和2.5D/3D堆疊設(shè)計(jì)的復(fù)雜性。低功耗雙列直插內(nèi)存（LPDDR）在標(biāo)準(zhǔn)封裝中兼具能效與高容量?jī)?yōu)勢(shì)，但單設(shè)備帶寬較低。邊緣AI系統(tǒng)正處于兩難境地：它們需要在帶寬、容量、成本和外形尺寸之間尋求平衡。

JEDEC GDDR7標(biāo)準(zhǔn)正是為解決這一特定挑戰(zhàn)而量身打造。該標(biāo)準(zhǔn)實(shí)現(xiàn)了性能的巨大飛躍，將每比特帶寬從GDDR6的24 Gbps提升至36 Gbps。這使得32位設(shè)備的總帶寬達(dá)到144 GB/s。憑借規(guī)格中48 Gbps的上限，總帶寬還能進(jìn)一步提升。采用2-4個(gè)GDDR7設(shè)備的內(nèi)存子系統(tǒng)，即可實(shí)現(xiàn)邊緣AI目標(biāo)帶寬——300-500 GB/s。

這一性能飛躍得益于信號(hào)傳輸技術(shù)的根本性變革。GDDR7從傳統(tǒng)的NRZ（2位）信號(hào)傳輸方式，升級(jí)為創(chuàng)新的PAM3（3位或三進(jìn)制）信號(hào)傳輸技術(shù)。通過這一創(chuàng)新技術(shù)，結(jié)合兩位專用糾錯(cuò)位，GDDR7控制器和物理層芯片能在與GDDR6相同的鏈路預(yù)算下實(shí)現(xiàn)更高數(shù)據(jù)速率。對(duì)于系統(tǒng)設(shè)計(jì)者而言，這不僅讓性能升級(jí)變得更可控，也更具成本效益。

為直觀展現(xiàn)這些技術(shù)指標(biāo)的實(shí)際影響，我們可以考察一個(gè)真實(shí)的商業(yè)設(shè)計(jì)場(chǎng)景。假設(shè)一個(gè)典型的邊緣AI應(yīng)用目標(biāo)是實(shí)現(xiàn)500 GB/s的內(nèi)存帶寬：若采用GDDR7，僅需四顆 32Gbps的封裝即可達(dá)標(biāo)。與LPDDR5X（速率為 9.6Gbps）相比，GDDR7占用的電路板面積更??；而與HBM4（速率為 8.0Gbps）相比，其總系統(tǒng)成本更低。在這個(gè)案例中，基于GDDR7的系統(tǒng)在LPDDR與HBM這兩種設(shè)計(jì)方案之間找到了一個(gè)理想的平衡點(diǎn)。

與 GDDR6 的雙通道設(shè)計(jì)相比，GDDR7 具備四個(gè)獨(dú)立通道。這種設(shè)計(jì)提供了更細(xì)的執(zhí)行顆粒度，對(duì)于 AI 推理應(yīng)用至關(guān)重要，它能實(shí)現(xiàn)更靈活的數(shù)據(jù)組織方式，并顯著提升整體系統(tǒng)效率。此外，該標(biāo)準(zhǔn)還整合了關(guān)鍵的RAS（可靠性、可用性、可維護(hù)性）特性，例如片上糾錯(cuò)碼（On-die ECC），這對(duì)于構(gòu)建穩(wěn)健可靠的邊緣部署至關(guān)重要。隨著行業(yè)采用這一新標(biāo)準(zhǔn)，可靠的IP合作伙伴對(duì)于確保芯片的成功實(shí)現(xiàn)將變得至關(guān)重要。

作為在高性能內(nèi)存和互連解決方案領(lǐng)域的領(lǐng)先企業(yè)，Rambus具備獨(dú)特優(yōu)勢(shì)來應(yīng)對(duì)這些挑戰(zhàn)。Rambus GDDR7控制器IP支持JEDEC規(guī)定的全部標(biāo)準(zhǔn)特性，已在客戶量產(chǎn)中通過高達(dá)40 Gbps的芯片驗(yàn)證。該方案同時(shí)具備全行（all-bank）和單行（per-bank）刷新模式以降低功耗。同時(shí)，該IP對(duì)x16及x8合蓋模式（Clamshell mode）的支持，為邊緣側(cè)設(shè)備提供了更多樣化的實(shí)現(xiàn)選擇。

Rambus GDDR7控制器以軟IP核形式交付，能夠與第三方GDDR7物理層（PHY）實(shí)現(xiàn)無縫協(xié)作。該功能為客戶提供了“開箱即用”的完整子系統(tǒng)，極大簡(jiǎn)化了SoC的集成工作。在向客戶SoC團(tuán)隊(duì)交付過程中，Rambus會(huì)對(duì)每個(gè)客戶的內(nèi)存控制器配置及第三方物理層文件進(jìn)行全面回歸測(cè)試。此外，Rambus還提供專家級(jí)技術(shù)支持和定制化服務(wù)等增值方案，助力客戶加速產(chǎn)品上市進(jìn)程。

在人工智能和生成式AI時(shí)代，內(nèi)存帶寬缺口仍將是一個(gè)挑戰(zhàn)。作為內(nèi)存技術(shù)的行業(yè)先行者，Rambus將繼續(xù)與行業(yè)合作伙伴緊密協(xié)作，提供關(guān)鍵的內(nèi)存與互連技術(shù)，為從云端到邊緣的AI產(chǎn)業(yè)進(jìn)步注入強(qiáng)勁動(dòng)力。