為什么 SRAM 被視為新型和傳統(tǒng)計(jì)算架構(gòu)中的關(guān)鍵元素。

近日，半導(dǎo)體工程與Alphawave Semi首席技術(shù)官 Tony Chan Carusone 和Steve Roddy， Quadric首席營(yíng)銷官；Jongsin Yun，西門子 EDA的內(nèi)存技術(shù)專家，坐下來(lái)談?wù)摿?a href="http://m.makelele.cn/v/tag/150/" target="_blank">人工智能和 SRAM 的最新問(wèn)題。

SE：SRAM 有哪些關(guān)鍵特性使其適合 AI 工作負(fù)載？

Yun：SRAM與CMOS邏輯工藝兼容，這使得SRAM在將一種技術(shù)遷移到另一種技術(shù)時(shí)都會(huì)跟蹤邏輯性能的改進(jìn)。SRAM 是芯片內(nèi)本地可用的存儲(chǔ)器。因此，它提供即時(shí)訪問(wèn)的數(shù)據(jù)，這就是它在人工智能應(yīng)用程序中受到青睞的原因。憑借數(shù)十年的制造經(jīng)驗(yàn)，我們了解其大部分潛在問(wèn)題以及如何最大化其效益。在性能方面，SRAM 是迄今為止我們所知道的性能最高的內(nèi)存解決方案，使其成為人工智能的首選。

Roddy：SRAM 的數(shù)量是任何人工智能處理解決方案的關(guān)鍵要素，它的數(shù)量在很大程度上取決于您是在談?wù)摂?shù)據(jù)中心還是設(shè)備，或者是訓(xùn)練還是推理。但我想不出有哪些應(yīng)用程序在處理元件旁邊沒(méi)有至少大量的 SRAM，用于運(yùn)行人工智能訓(xùn)練或推理。任何類型的處理器都需要某種形式的 SRAM 作為暫存器、本地存儲(chǔ)器、存儲(chǔ)中間結(jié)果。無(wú)論您談?wù)摰?SoC 是否在計(jì)算引擎旁邊的芯片上具有合理數(shù)量的 SRAM，并且您在片外使用 DDR 或HBM之類的東西來(lái)保存模型的大部分內(nèi)容，或者是否你說(shuō)的是一個(gè)巨大的訓(xùn)練芯片，里面有數(shù)百兆字節(jié)的 SRAM。無(wú)論哪種情況，您都需要在執(zhí)行實(shí)際計(jì)算的乘法累加單元大陣列旁邊擁有良好、快速的 SRAM。這只是生活中的一個(gè)事實(shí)，剩下的問(wèn)題就是一個(gè)平衡的問(wèn)題。將運(yùn)行什么樣的模型？模型是大還是??？這是高性能機(jī)器學(xué)習(xí)還是低性能、始終在線的機(jī)器學(xué)習(xí)？那么這就變成了一個(gè)問(wèn)題：模型中的大部分激活位于推理期間還是訓(xùn)練期間？某處總有 SRAM。它只是一個(gè)基于細(xì)節(jié)的架構(gòu)權(quán)衡問(wèn)題。

Chan Carusone：SRAM 對(duì)于 AI 至關(guān)重要，尤其是嵌入式 SRAM。它具有最高的性能，您可以將其直接與高密度邏輯集成。僅出于這些原因，它就很重要。邏輯的擴(kuò)展性比 SRAM 更好。因此，SRAM 變得更加重要，并且占用了更大的芯片面積。一些處理器上有大量的 SRAM，這種趨勢(shì)可能會(huì)持續(xù)下去，這開始成為整個(gè)處理器的重要成本驅(qū)動(dòng)因素。我們希望將盡可能多的計(jì)算集成到這些高性能訓(xùn)練引擎上。隨著我們的進(jìn)展，看看如何處理這個(gè)問(wèn)題將會(huì)很有趣。您看到的一件事是，這些達(dá)到標(biāo)線極限的大型芯片被分解為多個(gè)小芯片，并通過(guò)適當(dāng)?shù)幕ミB使它們能夠充當(dāng)一個(gè)大型芯片，從而集成更多的計(jì)算和更多的 SRAM。反過(guò)來(lái)，大量的 SRAM 進(jìn)一步推動(dòng)了向基于小芯片的實(shí)現(xiàn)的轉(zhuǎn)變。

Roddy：無(wú)論是數(shù)據(jù)中心還是兩美元的邊緣設(shè)備，機(jī)器學(xué)習(xí)都是一個(gè)內(nèi)存管理問(wèn)題。這不是一個(gè)計(jì)算問(wèn)題。歸根結(jié)底，你要么擁有大量的訓(xùn)練集，并且整天試圖在片外和片內(nèi)來(lái)回洗牌，要么你正在迭代推理，你已經(jīng)得到了一堆權(quán)重，你就會(huì)得到激活。不同風(fēng)格的計(jì)算實(shí)現(xiàn)之間的所有架構(gòu)差異都可以歸結(jié)為管理內(nèi)存以及管理權(quán)重和激活流的不同策略，這在很大程度上取決于可用和選擇的內(nèi)存類型。任何芯片架構(gòu)師都在有效地規(guī)劃出適合其部署場(chǎng)景的內(nèi)存層次結(jié)構(gòu)，但在任何場(chǎng)景中，您都必須擁有 SRAM。

SE：內(nèi)存架構(gòu)會(huì)隨著 CXL 采用的擴(kuò)大而發(fā)展嗎？

Chan Carusone：一系列新技術(shù)可能為計(jì)算機(jī)架構(gòu)師提供新的優(yōu)化機(jī)會(huì)。CXL 可能就是其中之一。另一個(gè)是 HBM，它可以實(shí)現(xiàn)密集的集成 DRAM 堆棧。隨著 EDA 工具和 IP 變得更容易實(shí)現(xiàn)這些類型的解決方案，可能會(huì)有一些實(shí)現(xiàn)，包括基于小芯片的架構(gòu)。架構(gòu)師必須使用各種新的旋鈕，這些旋鈕可能允許針對(duì)不同級(jí)別的緩存混合使用不同的內(nèi)存技術(shù)。這為針對(duì)特定工作負(fù)載定制硬件解決方案創(chuàng)造了良好的機(jī)會(huì)，而無(wú)需從頭開始進(jìn)行完整的新設(shè)計(jì)。

Yun：CXL就像是PCI Express的進(jìn)化版。它提供 CPU、GPU 和其他存儲(chǔ)器等設(shè)備之間的高速通信。它們提供一些緩存共享，因此允許設(shè)備之間進(jìn)行一些通信和共享內(nèi)存。使用這種解決方案，三星最近建議在 DRAM 內(nèi)進(jìn)行近內(nèi)存計(jì)算，這可能會(huì)填充 L3 級(jí)別之后和主內(nèi)存級(jí)別之后的一些內(nèi)存層次結(jié)構(gòu)。

Roddy：與四年前相比，我們現(xiàn)在獲得了更廣泛的模型尺寸動(dòng)態(tài)范圍。大型語(yǔ)言模型 (LLM) 已經(jīng)在數(shù)據(jù)中心存在了幾年，現(xiàn)在開始遷移到邊緣。您會(huì)看到人們談?wù)撛诠P記本電腦上運(yùn)行 70 億個(gè)參數(shù)的模型。在這種情況下，您希望將生成能力融入到您的 Microsoft 產(chǎn)品中。例如，當(dāng)你被困在飛機(jī)上時(shí)，你無(wú)法訪問(wèn)云端，但你希望能夠運(yùn)行一個(gè)大模型。兩四年前還不是這樣，甚至人們?cè)谠贫诉\(yùn)行的模型也沒(méi)有這些700億到1000億參數(shù)的模型那么大。

SE：這有什么影響？

Roddy：它對(duì)系統(tǒng)中的內(nèi)存總量以及在處理元素的“前門”暫存權(quán)重和激活的策略都有著巨大的影響。例如，在我們工作的設(shè)備領(lǐng)域，設(shè)備上或片上更大的 SRAM 的集成度要高得多。

然后是接口，無(wú)論是 DDR、HBM 還是 CXL 之類的東西，人們?cè)噲D弄清楚，“好吧，我有冷存儲(chǔ)，因?yàn)槲乙呀?jīng)將 100 億個(gè)參數(shù)模型存儲(chǔ)在某個(gè)地方了” ，以及我的高端手機(jī)中的所有其他元素。”我必須將其從冷存儲(chǔ)中取出，放入片外“溫存儲(chǔ)”、DDR、HBM，然后我必須快速將片上和片外的數(shù)據(jù)移至 SRAM（靠近我的計(jì)算元件） ，無(wú)論是我們的芯片，還是 NVIDIA 的芯片，等等。同樣的層次結(jié)構(gòu)也必須存在。因此，這些接口的速度和功率對(duì)于系統(tǒng)的整體功率性能至關(guān)重要，而信號(hào)策略現(xiàn)在也將成為整體系統(tǒng)性能的關(guān)鍵因素。幾年前，人們將機(jī)器學(xué)習(xí)的效率視為硬件問(wèn)題。如今，它更多地是一個(gè)離線提前編譯軟件的問(wèn)題。我如何看待這個(gè)龐大的模型，我將對(duì)其進(jìn)行多次排序（無(wú)論是訓(xùn)練還是推理），以及如何以最智能的方式對(duì)數(shù)據(jù)中的張量進(jìn)行排序以最小化接口？它已成為編譯器挑戰(zhàn)、MAC 效率挑戰(zhàn)。所有利用模擬計(jì)算或內(nèi)存計(jì)算構(gòu)建系統(tǒng)的早期嘗試，以及所有其他深?yuàn)W的執(zhí)行，都半途而廢了。人們現(xiàn)在意識(shí)到，如果我一遍又一遍地來(lái)回移動(dòng) 1000 億字節(jié)的數(shù)據(jù)，那就是我需要解決的問(wèn)題。不是，“我是否使用某種不消耗電力的奇怪預(yù)期邏輯來(lái)進(jìn)行 8 x 8 乘法運(yùn)算？”歸根結(jié)底，這只是整個(gè)問(wèn)題的一小部分。

Chan Carusone：如果 SRAM 密度成為一個(gè)問(wèn)題并限制芯片尺寸，那么可能會(huì)在內(nèi)存應(yīng)駐留的位置方面做出不同的權(quán)衡。CXL 等新技術(shù)工具的可用性可能會(huì)滲透并影響軟件的架構(gòu)和構(gòu)思方式，以及對(duì)于特定應(yīng)用程序可能最有效的算法。這種相互作用將變得更加有趣，因?yàn)檫@些模型是如此巨大，以至于像這樣的正確決策可以對(duì)總功耗或模型實(shí)施成本產(chǎn)生巨大影響。

SE：SRAM 如何幫助平衡AI和其他系統(tǒng)的低功耗和高性能？

Chan Carusone：簡(jiǎn)單的答案是，嵌入 SRAM 可以實(shí)現(xiàn)快速數(shù)據(jù)檢索并減少計(jì)算所需的延遲。它減少了芯片外的需要，芯片通常更耗電。每一筆片外交易的成本都更高。這是在用 SRAM 填充芯片和沒(méi)有任何剩余空間來(lái)執(zhí)行邏輯之間的權(quán)衡。

Roddy：當(dāng)你沿著邏輯和 SRAM 之間的技術(shù)曲線向下移動(dòng)時(shí)，擴(kuò)展差異與有關(guān)管理、功耗和可制造性的其他問(wèn)題相互作用。例如，有很多人工智能推理或訓(xùn)練架構(gòu)都依賴于處理元素陣列。你會(huì)看到很多數(shù)據(jù)流類型的架構(gòu)，很多矩陣計(jì)算引擎的數(shù)組。

我們?cè)?Quadric 的架構(gòu)有一個(gè)處理元素的二維矩陣，我們將 8 個(gè) MAC、一些 ALU 和內(nèi)存分塊，然后將其平鋪和擴(kuò)展——與人們?cè)诰哂写罅恐饕婊蚋鞣N其他引擎的 GPU 中所做的事情沒(méi)有太大不同。數(shù)據(jù)流架構(gòu)。當(dāng)我們第一次實(shí)現(xiàn)我們的架構(gòu)時(shí)，我們做了一個(gè) 16 納米的概念驗(yàn)證芯片。我們選擇在每個(gè)計(jì)算元素旁邊放置多少內(nèi)存是相當(dāng)簡(jiǎn)單的。我們?cè)诿恳粋€(gè) MAC 和 ALU 的小引擎旁邊都有一個(gè) 4k 字節(jié)的 SRAM，具有相同的邏輯塊，組織為 512 x 32 位。當(dāng)你縮小規(guī)模時(shí)，突然你會(huì)看到 4nm，你會(huì)想，讓我們用觸發(fā)器來(lái)構(gòu)建它，因?yàn)閾碛兴?SRAM 結(jié)構(gòu)的開銷并沒(méi)有像邏輯那樣擴(kuò)展。在 4 納米，處理器設(shè)計(jì)人員是否需要思考：“我是否需要在本地計(jì)算引擎級(jí)別更改整個(gè)系統(tǒng)中的資源量？我是否應(yīng)該增加內(nèi)存大小以使其成為 SRAM 的有用大??？或者我是否需要從 SRAM 轉(zhuǎn)換為傳統(tǒng)的基于觸發(fā)器的設(shè)計(jì)？”但是，如果您談?wù)摰氖瞧嚱鉀Q方案，那么這會(huì)改變可測(cè)試性和適合率方面的方程式。所以這里有很多事情在起作用，這些都是這個(gè)能力層次結(jié)構(gòu)的一部分。

解決方案架構(gòu)師需要了解的整個(gè)情況需要大量技能，例如流程技術(shù)、效率、內(nèi)存和編譯器。這是一個(gè)不平凡的世界，這就是為什么有如此多的投資涌入這一領(lǐng)域。我們都希望這些聊天機(jī)器人能夠做出奇妙的事情，但目前還不清楚什么是正確的方法。這不是一個(gè)成熟的行業(yè)，你需要年復(fù)一年地進(jìn)行增量設(shè)計(jì)。這些系統(tǒng)會(huì)在兩三年內(nèi)發(fā)生根本性的變化。這就是它令人興奮的原因——但也很危險(xiǎn)。

Chan Carusone：臺(tái)積電廣為人知的 FinFlex 技術(shù)可以提供另一種在功率與性能泄漏與面積之間進(jìn)行權(quán)衡的途徑。另一個(gè)跡象是人們現(xiàn)在談?wù)摰氖?8T 細(xì)胞而不是 6T 細(xì)胞。每個(gè)人都在推動(dòng)這些設(shè)計(jì)，為不同的應(yīng)用探索設(shè)計(jì)空間的不同部分。所有研發(fā)投資都說(shuō)明了這一點(diǎn)的重要性。

Yun：使用觸發(fā)器作為存儲(chǔ)器是個(gè)好主意。我們可以更快地讀/寫，因?yàn)?a href="http://m.makelele.cn/tags/寄存器/" target="_blank">寄存器文件的翻轉(zhuǎn)速度比 L1 高速緩存快得多。如果我們使用它，這將是提高性能的最終解決方案。根據(jù)我的經(jīng)驗(yàn)，寄存器文件在處理瞬態(tài)缺陷方面比 SRAM 更穩(wěn)健，因?yàn)樗哂懈鼜?qiáng)的下拉和上拉性能。如果我們有大量帶有微小存儲(chǔ)器的內(nèi)核，并且內(nèi)核中的這些存儲(chǔ)器由寄存器文件組成，那么這是一個(gè)非常好的解決方案。我唯一擔(dān)心的是寄存器文件使用比SRAM更大的晶體管，因此待機(jī)泄漏和動(dòng)態(tài)功耗比SRAM高得多。當(dāng)我們使用寄存器文件時(shí)，是否有解決方案來(lái)解決額外的功耗？

Roddy：然后你就會(huì)遇到寄存器文件分區(qū)、時(shí)鐘門控和斷電的問(wèn)題。這是編譯器的挑戰(zhàn)，離線提前編譯，因此您將知道在任何給定時(shí)間點(diǎn)正在使用多少 reg 文件或內(nèi)存。如果您在銀行中構(gòu)建它，并且可以將其關(guān)閉，則可以減輕此類問(wèn)題，因?yàn)閷?duì)于在機(jī)器學(xué)習(xí)中運(yùn)行的圖表的某些部分，您不需要所有內(nèi)存。對(duì)于其他部分，您確實(shí)需要所有內(nèi)存來(lái)啟動(dòng)和關(guān)閉電源。我們正在對(duì)張量的形狀和大小以及張量的局部性進(jìn)行大量復(fù)雜的分析。張量的移動(dòng)成為一個(gè)大型的提前圖編譯問(wèn)題，而不是 8 x 8 乘法或浮點(diǎn)乘法的優(yōu)化。仍然重要的是，上面還有一個(gè)更高的杠桿點(diǎn)。通過(guò)優(yōu)化操作順序，您可以盡早獲得更多的優(yōu)勢(shì)，而不是在已經(jīng)安排好之后再優(yōu)化能效延遲。