人工智能在通過大量的數(shù)據(jù)進(jìn)行訓(xùn)練之后，神經(jīng)網(wǎng)絡(luò)打造的完整模型將被集成在邊緣或?qū)嶋H應(yīng)用場之中，往往大量的AI正是應(yīng)用在于邊緣AI推理。與AI訓(xùn)練需要大量的數(shù)據(jù)和算力不同，AI推理對算力的需求大幅下降，但對成本和功耗更為敏感。

在AI推理應(yīng)用越來越多的趨勢下，Rambus率先研判與推出GDDR6 IP產(chǎn)品組合。Rambus IP核產(chǎn)品營銷高級總監(jiān)Frank Ferro先生表示，作為更加理想的方案，GDDR6有著高帶寬以及低時延的特性，能夠幫助邊緣端更好地處理數(shù)據(jù)。

Rambus GDDR6 PHY以及控制器的配套產(chǎn)品，已經(jīng)達(dá)到了業(yè)界領(lǐng)先的24Gb/s的數(shù)據(jù)傳輸速率，這也是全新的一個行業(yè)標(biāo)桿，可以為AI推理等應(yīng)用場景帶來巨大性能優(yōu)勢和收益。

除性能之外，另一大優(yōu)勢是對功耗的管理。因?yàn)楫?dāng)設(shè)備在高速和高帶寬環(huán)境下運(yùn)行時，良好的功耗管理非常重要。

還有系統(tǒng)層面的設(shè)計(jì)。如果要確保系統(tǒng)在24Gb/s環(huán)境下運(yùn)行，需要良好的系統(tǒng)級信號完整性。Rambus信號完整性的工程師，也會與客戶進(jìn)行非常緊密的從設(shè)計(jì)初期開始的合作，能夠確?？蛻暨\(yùn)行系統(tǒng)的時候達(dá)到最高的性能。

另外，Rambus提供的產(chǎn)品已經(jīng)實(shí)現(xiàn)了PHY以及控制器的完整集成。在客戶收到產(chǎn)品之后，可以直接對這些子系統(tǒng)進(jìn)行定制化應(yīng)用。

GDDR6內(nèi)存接口子系統(tǒng)的結(jié)構(gòu)

下圖的結(jié)構(gòu)包括PHY物理層、控制器、DRAM以及客戶端的ASIC。



Frank Ferro解析，PHY的物理層與DRAM進(jìn)行直接連接，這個接口是由兩個16位的插槽所組成，加起來是32位。

另外一側(cè)是DFI接口與內(nèi)存的控制器進(jìn)行連接，控制器直接接入到整個系統(tǒng)的邏輯控制。Rambus提供的是中間標(biāo)藍(lán)的兩個非常重要的環(huán)節(jié)，也就是完整的子系統(tǒng)，Rambus會根據(jù)客戶具體應(yīng)用場景和實(shí)際的訴求對子系統(tǒng)來進(jìn)行優(yōu)化，并將其作為完整的子系統(tǒng)來交付給客戶。

GDDR的“G”代表的是graphic （圖形），因此它可以用于圖形處理，同時也可以用于人工智能以及機(jī)器學(xué)習(xí)算法中，以及網(wǎng)絡(luò)應(yīng)用等。

在GDDR6擁有的諸多特點(diǎn)中，值得一提的是clamshell模式，具體指的是每個信道可以支持兩個GDDR6的設(shè)備。換句話說，在clamshell模式之下整個容量是直接翻倍乘以2的。



另外，GDDR6現(xiàn)在已經(jīng)支持比較先進(jìn)的FinFET工藝節(jié)點(diǎn)，實(shí)際上從2019年開始Rambus就已經(jīng)支持非常先進(jìn)的制程工藝。

同時，也會針對PCB以及封裝提供相關(guān)的參考設(shè)計(jì)。在內(nèi)部有專門的信號完整度和邊緣完整性的專家，來幫助客戶去完成整個的設(shè)計(jì)工作。

Frank Ferro表示，Rambus的GDDR6接口子系統(tǒng)可以實(shí)現(xiàn)高達(dá)24Gb/s的卓越性能，可以為每個GDDR6內(nèi)存設(shè)備提供最高達(dá)到96Gb/s的帶寬。GDDR6是在AI應(yīng)用場景下比較合理的產(chǎn)品和選擇，因?yàn)榭梢栽诔杀竞托阅苤g達(dá)成不錯的平衡。

邊緣AI推理，GDDR6是更合適的選擇

實(shí)際上內(nèi)存的形式有很多種，DDR、LPDDR、GDDR以及HBM等，那么邊緣AI推理用哪種內(nèi)存最合適，在Frank Ferro看來GDDR6將是脫穎而出的那一個。

他說，GDDR6有著優(yōu)秀的數(shù)據(jù)傳輸速率，可適用于很多AI推理場景。尤其在一些網(wǎng)絡(luò)應(yīng)用中，GDDR6能具有重要作用。“現(xiàn)在非常多的具體網(wǎng)絡(luò)應(yīng)用場景都已經(jīng)開始在邊緣端實(shí)現(xiàn)了。尤其是有的應(yīng)用要求所有傳入的數(shù)據(jù)必須在本地進(jìn)行實(shí)時處理，這種需求的增加對本身產(chǎn)品架構(gòu)的要求會很高。因此傳統(tǒng)的DDR方案已經(jīng)遠(yuǎn)遠(yuǎn)不能滿足要求，因?yàn)樾枰泻芏嗟腄DR設(shè)備。而部署GDDR6在邊緣設(shè)備，能夠大幅度降低網(wǎng)絡(luò)邊緣設(shè)備對DDR數(shù)量的需求?！?br />
一般來說，AI推理對帶寬的需求在200到500Gb/s的范圍之間。而每一個GDDR6設(shè)備的帶寬可以達(dá)到96Gb/s，通過將4-5個GDDR6設(shè)備組合，就可以輕松滿足500Gb/s及以下的帶寬需求。

以DDR4為例，它的速度可能最高能達(dá)到3.2Gb/s。雖然它的成本相對較低，但是速度是一大劣勢。GDDR技術(shù)在幾年前就能夠?qū)崿F(xiàn)16Gb/s的帶寬，已經(jīng)超過DDR技術(shù)的三到四倍之多。當(dāng)然，DDR、GDDR和LPDDR這些不同的產(chǎn)品都是以標(biāo)準(zhǔn)的DRAM為基礎(chǔ)，LPDDR更關(guān)注低功耗管理，DDR本身的數(shù)據(jù)存儲密度會更高一點(diǎn)，而GDDR是更關(guān)注于速度。

此外，如果用到一個HBM3設(shè)備就能夠達(dá)到接近800Gb的帶寬，但它會使得成本增加3至4倍。因此，對于對帶寬和低延遲有很高要求的AI訓(xùn)練場景，HBM可能是更好的選擇。而對于需要更大容量、更高帶寬的AI推理場景，則GDDR6是更合適的選擇。

全面的產(chǎn)品組合，滿足中國客戶不同的AI需求

Rambus作為一家業(yè)界領(lǐng)先的半導(dǎo)體IP和芯片供應(yīng)商，技術(shù)實(shí)力強(qiáng)勁，擁有3000多項(xiàng)技術(shù)專利，企業(yè)使命是讓數(shù)據(jù)傳輸更快、更安全。經(jīng)過三十多年的發(fā)展和創(chuàng)新，Rambus現(xiàn)在的主要業(yè)務(wù)包含基礎(chǔ)專利授權(quán)、芯片IP授權(quán)和內(nèi)存接口芯片。Rambus的技術(shù)和產(chǎn)品面向的市場是數(shù)據(jù)密集型市場，包括數(shù)據(jù)中心、5G、物聯(lián)網(wǎng)IoT、汽車等細(xì)分市場。其產(chǎn)品組合，與AIGC應(yīng)用對數(shù)據(jù)傳輸?shù)男枨笫制鹾稀?br />


以ChatGPT為代表的AIGC應(yīng)用熱潮襲卷到中國，我們可以看到中國不少互聯(lián)網(wǎng)大廠都發(fā)布了自己的AI大模型。那么Rambus如何支持中國客戶的AI數(shù)據(jù)傳輸需求呢？

Rambus大中華區(qū)總經(jīng)理蘇雷先生長期投身中國市場，他表示Rambus在和芯片廠商的溝通中發(fā)現(xiàn)更多廠商聚焦于AI訓(xùn)練，因此他們的方案更多需求在于HBM；在與云廠商的溝通中，他們更多是關(guān)注數(shù)據(jù)中心推出的一系列產(chǎn)品，即中國式ChatGPT產(chǎn)品，他們需要更多的算力。在內(nèi)存產(chǎn)品上，Rambus有非常好的接口芯片，向云廠商提供我們的服務(wù)和產(chǎn)品。



還有一類客戶是中國的OEM和ODM廠商，他們把目光轉(zhuǎn)向了當(dāng)前非常新的技術(shù)CXL。因?yàn)镃XL可以帶來更多內(nèi)存帶寬和內(nèi)存容量，所以我們正在緊密合作提供方案，以加大整個系統(tǒng)內(nèi)存的帶寬，幫助他們的產(chǎn)品推向市場。

蘇雷說，Rambus China立足于中國市場，愿意更多、更緊密地支持中國公司在ChatGPT產(chǎn)業(yè)的發(fā)展，以最好的技術(shù)、最快的響應(yīng)和最好的技術(shù)支持來服務(wù)中國市場，給廣大客戶保駕護(hù)航。