近年來(lái)，隨著內(nèi)存帶寬逐漸成為影響人工智能持續(xù)增長(zhǎng)的關(guān)鍵焦點(diǎn)領(lǐng)域之一，以高帶寬內(nèi)存(HBM、HBM2、HBM2E)和GDDR開(kāi)始逐漸顯露頭角，成為搭配新一代AI/ML加速器和專(zhuān)用芯片的新型內(nèi)存解決方案。

人工智能/機(jī)器學(xué)習(xí)(AI/ML)在全球范圍內(nèi)的迅速興起，正推動(dòng)著制造業(yè)、交通、醫(yī)療、教育和金融等各個(gè)領(lǐng)域的驚人發(fā)展。從2012年到2019年，人工智能訓(xùn)練能力增長(zhǎng)了30萬(wàn)倍，平均每3.43個(gè)月翻一番，就是最有力的證明。支持這一發(fā)展速度需要的遠(yuǎn)不止摩爾定律，人工智能計(jì)算機(jī)硬件和軟件的各個(gè)方面都需要不斷的快速改進(jìn)。

2012-2019年，人工智能訓(xùn)練能力增長(zhǎng)30萬(wàn)倍(圖片來(lái)源：openai.com)

而中國(guó)作為全球人工智能發(fā)展最快的國(guó)家之一，正備受矚目。根據(jù)德勤最新發(fā)布的統(tǒng)計(jì)預(yù)測(cè)數(shù)據(jù)顯示，2020年全球人工智能市場(chǎng)規(guī)模將達(dá)到6800億元人民幣，復(fù)合增長(zhǎng)率(CAGR)達(dá)26%。而中國(guó)人工智能市場(chǎng)的表現(xiàn)尤為突出，2019年末已經(jīng)達(dá)到了510億元人民幣的市場(chǎng)規(guī)模，人工智能企業(yè)超過(guò)2600家。預(yù)計(jì)到2020年，中國(guó)AI市場(chǎng)規(guī)模將達(dá)到710億元人民幣，五年間(2015-2020)的復(fù)合增長(zhǎng)率高達(dá)44.5%。

近年來(lái)，中國(guó)正在積極推動(dòng)人工智能與實(shí)體經(jīng)濟(jì)的融合，從而實(shí)現(xiàn)產(chǎn)業(yè)的優(yōu)化升級(jí)。2017年7月，國(guó)務(wù)院印發(fā)了《新一代人工智能發(fā)展規(guī)劃》，這一規(guī)劃與2015年5月發(fā)布的《中國(guó)制造2025》共同構(gòu)成了中國(guó)人工智能戰(zhàn)略的核心。這份具有里程碑意義的規(guī)劃，對(duì)人工智能發(fā)展進(jìn)行了戰(zhàn)略性部署，力爭(zhēng)到2030年把中國(guó)建設(shè)成為世界主要人工智能創(chuàng)新中心。此外，2020年還是中國(guó)的新基建元年，而人工智能作為一大重點(diǎn)板塊，勢(shì)必成為新基建的核心支撐。

內(nèi)存帶寬將是影響AI發(fā)展的關(guān)鍵因素

“內(nèi)存帶寬將成為人工智能持續(xù)增長(zhǎng)的關(guān)鍵焦點(diǎn)領(lǐng)域之一。”Rambus IP核產(chǎn)品營(yíng)銷(xiāo)高級(jí)總監(jiān) Frank Ferro日前在接受《電子工程專(zhuān)輯》采訪時(shí)表示，以先進(jìn)的駕駛員輔助系統(tǒng)(ADAS)為例，L3級(jí)及更高級(jí)別系統(tǒng)的復(fù)雜數(shù)據(jù)處理需要超過(guò)200GB/s的內(nèi)存帶寬。這些高帶寬是復(fù)雜AI/ML算法的基本需求，自駕過(guò)程中需要這些算法快速執(zhí)行大量計(jì)算并安全地執(zhí)行實(shí)時(shí)決策。而在L5級(jí)，如果車(chē)輛要能夠獨(dú)立地對(duì)交通標(biāo)志和信號(hào)的動(dòng)態(tài)環(huán)境做出反應(yīng)，以便準(zhǔn)確地預(yù)測(cè)汽車(chē)、卡車(chē)、自行車(chē)和行人的移動(dòng)，將需要超過(guò)500GB/s的內(nèi)存帶寬。

不同ADAS級(jí)別對(duì)存儲(chǔ)帶寬的要求(圖片來(lái)源：anandtech.com)

鑒于此，高帶寬內(nèi)存(HBM、HBM2、HBM2E)和GDDR開(kāi)始逐漸顯露頭角，成為搭配新一代AI/ML加速器和專(zhuān)用芯片的新型內(nèi)存解決方案。他說(shuō)過(guò)去幾年內(nèi)，HBM、HMC、PAM4等標(biāo)準(zhǔn)在市場(chǎng)上展開(kāi)了激烈的競(jìng)爭(zhēng)，但從目前的發(fā)展態(tài)勢(shì)來(lái)看，還是HBM占據(jù)了更多的市場(chǎng)份額。不過(guò)他同時(shí)也坦承，由于汽車(chē)安全等級(jí)要求很高，考慮到HBM本身采用的是復(fù)雜的2.5D架構(gòu)，再結(jié)合DRAM設(shè)備，所以目前為止在汽車(chē)市場(chǎng)上并沒(méi)有得到突破性的應(yīng)用，相比之下，GDDR反而會(huì)是比較好的解決方案。

高帶寬內(nèi)存(HBM)于2013年推出，是一種高性能3D堆棧SDRAM構(gòu)架。與前一代產(chǎn)品一樣，HBM2為每個(gè)堆棧包含最多8個(gè)內(nèi)存芯片，同時(shí)將管腳傳輸速率翻倍，達(dá)到2Gbps。HBM2實(shí)現(xiàn)每個(gè)封裝256GB/s的內(nèi)存帶寬(DRAM堆棧)，采用HBM2規(guī)格，每個(gè)封裝支持高達(dá)8GB的容量。

2018年末，JEDEC宣布推出HBM2E規(guī)范，以支持增加的帶寬和容量。當(dāng)傳輸速率上升到每管腳3.6Gbps時(shí)，HBM2E可以實(shí)現(xiàn)每堆棧461GB/s的內(nèi)存帶寬。此外，HBM2E支持12個(gè)DRAM的堆棧，內(nèi)存容量高達(dá)每堆棧24GB。

單一DRAM堆棧的HBM2E內(nèi)存系統(tǒng)(圖片來(lái)源：Rambus)

HBM2E提供了達(dá)成巨大內(nèi)存帶寬的能力。連接到一個(gè)處理器的四塊HBM2E內(nèi)存堆棧將提供超過(guò)1.8TB/s的帶寬。通過(guò)3D堆疊內(nèi)存，可以以極小的空間實(shí)現(xiàn)高帶寬和高容量需求。進(jìn)一步，通過(guò)保持相對(duì)較低的數(shù)據(jù)傳輸速率，并使內(nèi)存靠近處理器，總體系統(tǒng)功率得以維持在較低水位。

坦率的說(shuō)，采用HBM的設(shè)計(jì)的代價(jià)是增加復(fù)雜性和成本，因此Frank Ferro并不建議在人工智能推理應(yīng)用中使用HBM技術(shù)。然而，對(duì)于人工智能訓(xùn)練應(yīng)用，HBM2E的優(yōu)點(diǎn)使其成為一個(gè)更好的選擇。它的性能非常出色，所增加的采用和制造成本可以透過(guò)節(jié)省的電路板空間和電力相互的緩解。在物理空間日益受限的數(shù)據(jù)中心環(huán)境中，HBM2E緊湊的體系結(jié)構(gòu)提供了切實(shí)的好處。它的低功率意味著它的熱負(fù)荷較低，在這種環(huán)境中，冷卻成本通常是幾個(gè)最大的運(yùn)營(yíng)成本之一。官方數(shù)據(jù)顯示，Rambus IP系統(tǒng)以及IP產(chǎn)品在實(shí)驗(yàn)室經(jīng)過(guò)了非常嚴(yán)苛的環(huán)境測(cè)試，確保從零下50到125攝氏度范圍內(nèi)均能夠正常運(yùn)行。

同時(shí)，F(xiàn)rank Ferro也不認(rèn)為在芯片上采取分布式內(nèi)存的方法會(huì)給HBM2E和GDDR長(zhǎng)期的發(fā)展帶來(lái)影響。原因在于盡管SRAM的速度和延遲性都高于DRAM，但在固定的芯片面積上能安裝的SRAM數(shù)量卻非常少，很多情況下為了滿足人工智能訓(xùn)練的需求，一部分SRAM設(shè)備不得不裝在芯片之外，這就是問(wèn)題所在。但總體來(lái)說(shuō)，這兩種方案屬于從不同角度出發(fā)解決同一個(gè)問(wèn)題，兩者之間是互補(bǔ)而非相互阻礙。

創(chuàng)紀(jì)錄的性能

針對(duì)高帶寬和低延遲進(jìn)行了優(yōu)化，Rambus HBM2E內(nèi)存接口解決方案實(shí)現(xiàn)了創(chuàng)紀(jì)錄的4Gbps性能。該解決方案由完全集成且經(jīng)過(guò)驗(yàn)證的PHY和內(nèi)存控制器IP組成，搭配SK Hynix 3.6Gbps運(yùn)行速度的HBM2E DRAM，在物理層面實(shí)現(xiàn)了完整的集成互聯(lián)，可以從單個(gè)HBM2E設(shè)備提供460GB/s的帶寬，這也被Frank Ferro視作其HBM2E 產(chǎn)品的核心差異化優(yōu)勢(shì)之一。這意味著，除了提供完整的內(nèi)存子系統(tǒng)、硬核PHY和時(shí)序收斂外，用戶額外需要的系統(tǒng)級(jí)支持、工具套件和技術(shù)服務(wù)也都包含在內(nèi)，集成難度和設(shè)計(jì)時(shí)間得以大幅度下降。

Rambus HBM2E 4Gbps發(fā)送端眼圖(圖片來(lái)源：Rambus)

從2017年正式投產(chǎn)HBM解決方案以來(lái)，Rambus目前已經(jīng)擁有第三代PHY和第二代內(nèi)存控制器IP，全球范圍內(nèi)的成功案例項(xiàng)目超過(guò)50個(gè)。除了4Gbps HBM2E外，Rambus在其他不同工藝節(jié)點(diǎn)的產(chǎn)品還包括采用Global Foundries 12nm/14nm工藝的HBM2，速度為2.0 Gbps/s；采用Global Foundries 12LP+和三星14nm/11nm工藝的HBM2E產(chǎn)品。

不可否認(rèn)，4.0Gbps是一個(gè)全新的行業(yè)標(biāo)桿。在這一過(guò)程中，Rambus與SK hynix和Alchip展開(kāi)了合作，采用臺(tái)積電N7工藝和CoWoS?先進(jìn)封裝技術(shù)，實(shí)現(xiàn)了HBM2E 2.5D系統(tǒng)在硅中驗(yàn)證Rambus HBM2E PHY和內(nèi)存控制器IP。Alchip與Rambus的工程團(tuán)隊(duì)共同設(shè)計(jì)，負(fù)責(zé)中介層和封裝基板的設(shè)計(jì)。

“在我們提供的完整參考設(shè)計(jì)框架中，最重要的一點(diǎn)就是如何更好地對(duì)中介層進(jìn)行完整的設(shè)計(jì)和表征化處理，以確保信號(hào)完整性。此外，我們還協(xié)助用戶對(duì)每個(gè)信號(hào)通道進(jìn)行仿真分析，通過(guò)Lab Station工具對(duì)內(nèi)存子系統(tǒng)進(jìn)行最優(yōu)化設(shè)計(jì)，并提供在SI高速信號(hào)完整性和電源完整性方面的經(jīng)驗(yàn)等等?！盕rank Ferro說(shuō)Rambus的初衷，不僅僅只是扮演IP供應(yīng)商的角色，更是希望在系統(tǒng)層面降低用戶設(shè)計(jì)難度。

信號(hào)完整性之所以如此重要，是因?yàn)镠BM作為高速內(nèi)存接口，在與中介層互聯(lián)的過(guò)程中包括至少上千條不同的數(shù)據(jù)鏈路，必須要確保所有鏈路的物理空間得到良好的控制，整個(gè)信號(hào)的完整性也必須得到驗(yàn)證。因此，Rambus的做法如果從表征化層面來(lái)講，不但需要對(duì)整個(gè)中介層的材料做出非常精細(xì)的選擇，還要考慮漸進(jìn)層的厚度以及整個(gè)電磁反射相關(guān)的物理參數(shù)，并在此基礎(chǔ)上進(jìn)行完整的分析和仿真，以實(shí)現(xiàn)信號(hào)一致性的處理。

HBM2E內(nèi)存接口子系統(tǒng)示例

燧原科技是Frank Ferro在發(fā)布會(huì)上提及的中國(guó)合作伙伴。在此次合作中，燧原科技為自己下一代人工智能訓(xùn)練芯片選擇了Rambus HBM2 PHY和內(nèi)存控制器IP，可實(shí)現(xiàn)2Tb/s的性能。而在今年4月和5月，長(zhǎng)鑫存儲(chǔ)、兆易創(chuàng)新兩家公司還分別和Rambus簽署了DRAM(動(dòng)態(tài)隨機(jī)存取存儲(chǔ))與RRAM(電阻式隨機(jī)存取存儲(chǔ)器，也可寫(xiě)作ReRAM)技術(shù)專(zhuān)利授權(quán)。

Rambus大中華區(qū)總經(jīng)理 Raymond Su表示，通過(guò)對(duì)IP控制器公司Northwest Logic和Verimatrix安全I(xiàn)P業(yè)務(wù)部門(mén)的收購(gòu)，Rambus實(shí)現(xiàn)了在內(nèi)存IP層面提供一站式采購(gòu)和“turn key”服務(wù)的目標(biāo)。接下來(lái)，在中國(guó)市場(chǎng)，公司將緊密地與云廠商、OEM和ODM合作，推動(dòng)整個(gè)內(nèi)存產(chǎn)業(yè)生態(tài)系統(tǒng)的建設(shè)。

編輯：hfy