本文來自“2023新型算力中心調(diào)研報(bào)告（2023）”。更多內(nèi)容參考“《海光CPU+DCU技術(shù)研究報(bào)告合集（上）》?”，“《海光CPU+DCU技術(shù)研究報(bào)告合集（下）》?”和“龍芯CPU技術(shù)研究報(bào)告合集”。

積極引入新制程生產(chǎn) CCD 的 AMD 對 SRAM 成本的感受顯然比較深刻，在基 于臺積電 5nm 制程的 Zen 4 架構(gòu) CCD 中，L2、L3 Cache 占用的面積已經(jīng)達(dá)到整體的約一半比例。

△ Zen4 CCD 的布局，請感受一下 L3 Cache 的面積

向上堆疊，翻越內(nèi)存墻

AMD 當(dāng)前架構(gòu)面臨內(nèi)存性能落后的問題，其原因包括核心數(shù)量較多導(dǎo)致的平均每核心的內(nèi)存帶寬偏小、核心與內(nèi)存的“距離”較遠(yuǎn)導(dǎo)致延遲偏大、跨 CCD 的帶寬過小等。這就促使 AMD 需要用較大規(guī)模的 L3 Cache 來彌補(bǔ)訪問內(nèi)存的劣勢。而從 Zen 2 到 Zen 4 架構(gòu)，AMD 每個 CCD 的 L3 Cache 都為 32MB，并沒有“與時俱進(jìn)”。為了解決 SRAM 規(guī)模拖后腿的問題，AMD 決定將 SRAM 擴(kuò)容的機(jī)會獨(dú)立于 CPU 之外。

AMD 在代號 Milan-X 的 EPYC 7003X 系列處理器上應(yīng)用了第一代 3D V-Cache 技術(shù)。這些處理器采用 Zen 3 架構(gòu)核心，每片 Cache（L3 Cache Die，簡稱 L3D）為 64MB 容量，面積約 41mm2，采用 7nm 工藝制造——回顧 ISSCC2020 的論文，7nm 恰恰是 SRAM 的微縮之路遇挫的拐點(diǎn)。

緩存芯片通過混合鍵合、TSV（Through Silicon Vias，硅通孔）工藝與 CCD（背面）垂直連接，該單元包含 4 個組成部分：最下層的 CCD、上層中間部分 L3D，以及上層兩側(cè)的支撐結(jié)構(gòu)——采用硅材質(zhì)，將整組結(jié)構(gòu)在垂直方向找平，并將下方 CCX（Core Complex，核心復(fù)合體）部分的熱量傳導(dǎo)到頂蓋。

AMD 在 Zen3 架構(gòu)核心設(shè)計(jì)之初就備了這一手，預(yù)留了必要的邏輯電路以及 TSV 電路，相關(guān)部分大約使 CCD 增加了 4% 的面積。L3D 堆疊的位置正好位于 CCD 的 L2/L3 Cache區(qū)域上方，這一方面匹配了雙向環(huán)形總線的 CCD 內(nèi)的 Cache 居中、CPU 核心分居兩側(cè)的布局，另一方面是考慮到（L3）Cache的功率密度相對低于CPU核心，有利于控制整個 Cache 區(qū)域的發(fā)熱量。

△ 3D V-Cache 結(jié)構(gòu)示意圖

Zen3 的 L3 Cache 為 8 個切片（Slice），每片4MB；L3D 也設(shè)計(jì)為 8 個切片，每片 8MB。兩組 Cache 的每個切片之間是 1024 個 TSV 連接，總共 8192 個連接。AMD 宣稱這外加的L3 Cache 只增加 4 個周期的時延。

隨著 Zen4 架構(gòu)處理器進(jìn)入市場，第二代 3D V-Cache 也粉墨登場，其帶寬從上一代的 2TB/s 提升到 2.5TB/s，容量依舊為 64MB，制程依舊為 7nm，但面積縮減為 36mm2?？s減的面積主要是來自 TSV 部分，AMD 宣稱基于上一代積累的經(jīng)驗(yàn)和改進(jìn)，在 TSV 最小間距沒有縮小的情況下，相關(guān)區(qū)域的面積縮小了 50%。代號 Genoa-X 的 EPYC 系列產(chǎn)品預(yù)計(jì)在 2023 年中發(fā)布。

SRAM 容量增加可以大幅提高 Cache 命中率，減少內(nèi)存延遲對性能的拖累。AMD 3D V-Cache 以比較合理的成本，實(shí)現(xiàn)了 Cache 容量的巨大提升（在CCD 內(nèi) L3 Cache 基礎(chǔ)上增加 2 倍），對性能的改進(jìn)也確實(shí)是相當(dāng)明顯。代價方面，3D V-Cache 限制了處理器整體功耗和核心頻率的提升，在豐富了產(chǎn)品矩陣的同時，用戶需要根據(jù)自己的實(shí)際應(yīng)用特點(diǎn)進(jìn)行抉擇。

那么，堆疊 SRAM 會是 Chiplet 大潮中的主流嗎？

△ 應(yīng)用 3D V-Cache 的 AMD EPYC 7003X 處理器

說到這里，其實(shí)是為了提出一個外部 SRAM 必須考慮的問題：更好的外形兼容性。堆疊于處理器頂部是兼容性最差的形態(tài)，堆疊于側(cè)面的性能會有所限制，堆疊于底部則需要 3D 封裝的進(jìn)一步普及。對于第三種情況，使用硅基礎(chǔ)層的門檻還是比較高的，可以看作是 Chiplet 的一個重大階段。以目前 AMD 通過 IC 載板布線水平封裝 CCD 和 IOD 的模式，將 SRAM 置于 CCD 底部是不可行的。至于未來 Zen 5、Zen 6 的組織架構(gòu)何時出現(xiàn)重大變更還暫時未知。

對于數(shù)據(jù)中心，核數(shù)是硬指標(biāo)。表面上，目前 3D V-Cache 很適合與規(guī)模較小的 CCD 匹配，畢竟一片 L3D 只有幾十平方毫米（mm2）的大小。但其他高性能處理器的核心尺寸比 CCD 大得多，在垂直方向堆疊 SRAM 似乎不太匹配。但實(shí)際上，這個是處理器內(nèi)部總線的特征決定的問題：垂直堆疊 SRAM，不論其角色是 L2 還是 L3 Cache，都更適合 Cache 集中布置的環(huán)形總線架構(gòu)。

x86 服務(wù)器 CPU 對 eDRAM 則沒有什么興趣。 在處理器內(nèi)部，其面積占用依舊不可忽視，且其本質(zhì)是 DRAM，目前仍未看到 DRAM 能夠推進(jìn)到 10nm 以下制程。IBM 的 Power10 基于三星的 7nm 制程，便不再提及 eDRAM 的問題。

在處理器外部，eDRAM 并非業(yè)界廣泛認(rèn)可的標(biāo)準(zhǔn)化產(chǎn)品，市場規(guī)模小，成本偏高，性能和容量也相對有限。

后起之秀HBM（High Bandwidth Memory，高帶寬內(nèi)存）則很好地解決了上述問題：

首先，不去 CPU 所在的 die 里搶地盤；

其次，縱向堆疊封裝，可通過提升存儲密度實(shí)現(xiàn)擴(kuò)容；

最后，在前兩條的基礎(chǔ)上，較好的實(shí)現(xiàn)了標(biāo)準(zhǔn)化。 HBM 的好處都是通過與 CPU 核心解耦實(shí)現(xiàn)的，代價是生態(tài)位更靠近內(nèi)存而不是 Cache，以時延換容量，很科學(xué)。 向下發(fā)展：基礎(chǔ)層加持 英特爾數(shù)據(jù)中心 Max GPU 系列引入了 Base Tile的概念，姑且稱之為基礎(chǔ)芯片。相對于中介層的概念，我們也可以把基礎(chǔ)芯片看作是基礎(chǔ)層。基礎(chǔ)層表面上看與硅中介層功能類似，都是承載計(jì)算核心、高速 I/O（如 HBM），但實(shí)際上功能要多得多。硅中介層的本質(zhì)是利用成熟的半導(dǎo)體光刻、沉積等工藝（65nm 等級），在硅上形成超高密度的電氣連接。而基礎(chǔ)層更進(jìn)一步：既然都要加工多層圖案，為什么不把邏輯電路之類的也做進(jìn)去呢？

△ 英特爾數(shù)據(jù)中心 Max GPU

Intel 在 ISSCC2022 中展示了英特爾數(shù)據(jù)中心 Max GPU 的Chiplet（小芯片）架構(gòu)，其中，基礎(chǔ)芯片面積為 640mm2，采用了 Intel 7 制程——這是目前Intel用于主流處理器的先進(jìn)制程。為何在“基礎(chǔ)”芯片上就需要使用先進(jìn)制程呢？因?yàn)?Intel 將高速 I/O 的 SerDes 都集成在基礎(chǔ)芯片中了，其作用有點(diǎn)兒類似 AMD 的 IOD。這些高速 IO 包括 HBM PHY、Xe?Link PHY、PCIe 5.0，以及，這一節(jié)的重點(diǎn)：Cache。這些電路都比較適合 5nm 以上的工藝制造，將它們與計(jì)算核心解耦后重新打包在一個制程之內(nèi)是相當(dāng)合理的選擇。

△ 英特爾數(shù)據(jù)中心Max GPU的基礎(chǔ)芯片。注意，此圖中的兩組?Xe?Link PHY應(yīng)為筆誤。芯片下方應(yīng)為兩個 HBM PHY 和一個Xe?Link PHY 英特爾數(shù)據(jù)中心 Max GPU 系列通過 Foveros 封裝技術(shù)在基礎(chǔ)芯片上方疊加 8 顆計(jì)算芯片（Compute Tile）、4 顆 RAMBO 芯片（RAMBO Tile）。計(jì)算芯片采用臺積電 N5 工藝制造，每顆芯片都自有 4MB L1 Cache。RAMBO是“Random Access Memory, Bandwidth Optimized”的縮寫，即為帶寬優(yōu)化的隨機(jī)訪問存儲器。獨(dú)立的 RAMBO 芯片基于 Intel 7 制程，每顆有 4 個 3.75MB 的 Bank，共 15MB。每組 4 顆 RAMBO 共提供了 60MB 的 L3 Cache。此外，在基礎(chǔ)芯片中也有 RAMBO，容量有 144MB，外加 L3 Cache 的交換網(wǎng)絡(luò)（Switch Fabric）。

△ 英特爾數(shù)據(jù)中心 Max GPU 的 Chiplet 架構(gòu) 因此，在英特爾數(shù)據(jù)中心 Max GPU 中，基礎(chǔ)芯片通過了 Cache 交換網(wǎng)絡(luò)，將基礎(chǔ)層內(nèi)的 144MB Cache，與 8 顆計(jì)算芯片、4 顆 RAMBO 芯片的 60MB Cache 組織在一起，總共 204MB L2/L3 Cache，整個封裝是兩組，就是 408MB L2/L3 Cache。

英特爾數(shù)據(jù)中心 Max GPU 的每組處理單元都通過?Xe? Link Tile 與另外 7 組進(jìn)行連接。Xe?Link 芯片采用臺積電 N7 工藝制造。

△?Xe?? HPC 的邏輯架構(gòu)

△?Xe?Link 的網(wǎng)狀連接

前面已經(jīng)提到，I/O 芯片獨(dú)立是大勢所趨，共享 Cache 與 I/O 拉近也是趨勢。英特爾數(shù)據(jù)中心 Max GPU 將 Cache 與各種高速 I/O 的 PHY 集成在同一芯片內(nèi)，正是前述趨勢的集大成者。至于 HBM、Xe?

Link?芯片，以及同一封裝內(nèi)相鄰的基礎(chǔ)芯片，則通過 EMIB（爆炸圖中的橙色部分）連接在一起。

△ 英特爾數(shù)據(jù)中心Max GPU爆炸圖
?

根據(jù)英特爾在 HotChips 上公布的數(shù)據(jù)，英特爾數(shù)據(jù)中心 Max GPU 的 L2 Cache 總帶寬可以達(dá)到 13TB/s。考慮到封裝了兩組基礎(chǔ)芯片和計(jì)算芯片，我們給帶寬打個對折，基礎(chǔ)芯片和 4 顆 RAMBO 芯片的帶寬是 6.5TB/s，依舊遠(yuǎn)遠(yuǎn)超過了目前至強(qiáng)和 EPYC 的 L2、L3 Cache 的帶寬。其實(shí)之前 AMD 已經(jīng)通過了指甲蓋大小的 3D V-Cache 證明了 3D 封裝的性能，那就更不用說英特爾數(shù)據(jù)中心 Max GPU 的 RAMBO 及基礎(chǔ)芯片的面積了。

△ 英特爾數(shù)據(jù)中心Max GPU的存儲帶寬

回顧一下 3D V-Cache 的弱點(diǎn)——“散熱”不良，我們還發(fā)現(xiàn)將 Cache 集成到基礎(chǔ)芯片當(dāng)中還有一個優(yōu)點(diǎn)：將高功耗的計(jì)算核心安排在整個封裝的上層，更有利于散熱。再往遠(yuǎn)一些看，在網(wǎng)格化的處理器架構(gòu)中，L3 Cache 并非簡單的若干個塊（切片），而是分成數(shù)十甚至上百單元，分別掛在網(wǎng)格節(jié)點(diǎn)上的。基礎(chǔ)芯片在垂直方向可以完全覆蓋（或容納）處理器芯片，其中的 SRAM 可以分成等量的單元與處理器的網(wǎng)格節(jié)點(diǎn)相連。

換句話說，對于網(wǎng)格化的處理器，將 L3 Cache 移出到基礎(chǔ)芯片是有合理性的。目前已經(jīng)成熟的 3D 封裝技術(shù)的凸點(diǎn)間距在 30～50 微米的量級，足夠勝任每平方毫米內(nèi)數(shù)百至數(shù)千個連接的需要，可以滿足當(dāng)前網(wǎng)格節(jié)點(diǎn)帶寬的需求。更高密度的連接當(dāng)然也是可行的，10 微米甚至亞微米的技術(shù)正在推進(jìn)當(dāng)中，但優(yōu)先的場景是 HBM、3D NAND 這種高度定制化的內(nèi)部堆棧的混合鍵合，未必適合 Chiplet 對靈活性的要求。

編輯：黃飛

?