?? ??目前 AI 大模型的算力水平顯著供不應求。以 Open AI 的算力基礎設施為例，芯片層面 GPGPU 的需求最為直接受益，其次是 CPU、AI 推理芯片、FPGA 等。AI 服務器市場的擴容，同步帶動高速網(wǎng)卡、HBM、DRAM、NAND、PCB 等需求提升。同時，圍繞解決大算力場景下 GPU“功耗墻、內(nèi)存墻”問題的相關技術不斷升級，如存算一體、硅光/CPO 產(chǎn)業(yè)化進程有望提速。

1.“內(nèi)存墻”、“功耗墻”等掣肘 AI 的算力發(fā)展

“存”“算”性能失配，內(nèi)存墻導致訪存時延高，效率低。內(nèi)存墻，指內(nèi)存的容量或傳輸帶寬有限而嚴重限制 CPU 性能發(fā)揮的現(xiàn)象。內(nèi)存的性能指標主要有“帶寬”(Bandwidth)和“等待時間”(Latency)。近 20 年間，運算設備的算力提高了 90000 倍，提升非?？?。雖然存儲器從 DDR 發(fā)展到 GDDR6x，能夠用于顯卡、游戲終端和高性能運算，接口標準也從 PCIe1.0a 升級到 NVLink3.0，但是通訊帶寬的增長只有 30 倍，和算力相比提高幅度非常緩慢。

馮諾依曼架構下，數(shù)據(jù)傳輸導致嚴重的功耗損失。馮·諾依曼架構要求數(shù)據(jù)在存儲器單元和處理單元之間不斷地“讀寫”，這樣數(shù)據(jù)在兩者之間來回傳輸就會消耗很多的傳輸功耗。根據(jù)英特爾的研究表明，當半導體工藝達到 7nm 時，數(shù)據(jù)搬運功耗高達 35pJ/bit，占總功耗的63.7%。數(shù)據(jù)傳輸造成的功耗損失越來越嚴重，限制了芯片發(fā)展的速度和效率，形成了“功耗墻”問題。

AI 模型參數(shù)量極速擴大，GPU 內(nèi)存增長速度捉襟見肘。在 GPT-2 之前的模型時代，GPU 內(nèi)存還能滿足 AI 大模型的需求。近年來，隨著 Transformer 模型的大規(guī)模發(fā)展和應用，模型大小每兩年平均增長了 240 倍。GPT-3 等大模型的參數(shù)增長已經(jīng)超過了 GPU 內(nèi)存的增長。傳統(tǒng)的設計趨勢已經(jīng)不適應當前的需求，芯片內(nèi)部、芯片之間或 AI 加速器之間的通信成為了 AI訓練的瓶頸。AI 訓練不可避免地遇到了“內(nèi)存墻”問題。

AI 模型運算量增長速度不斷加快，推動硬件算力增長。預訓練技術的進步導致了各領域模型計算量的快速增長，大約每兩年就要增加 15 倍。而 Transformer 類模型的運算量更是每兩年就要增加 750 倍。這種近乎指數(shù)的增長趨勢促使 AI 硬件的研發(fā)方向發(fā)生變化，需要更高的峰值算力。

當前的研究為了實現(xiàn)更高的算力，甚至不惜簡化或者優(yōu)化其他部分組件，例如內(nèi)存的分層架構，將 DRAM 容量用于需要高性能訪問的熱數(shù)據(jù)，將容量層用于處理需要大容量但性能要求不那么高的任務，以適應不同的數(shù)據(jù)類型、用例、技術需求和預算限制，適用于 AI、ML 和 HPC 等眾多應用場景，能幫助企業(yè)以經(jīng)濟高效的方式滿足內(nèi)存需求。

2.“內(nèi)存墻”、“功耗墻”等問題解決路徑

2.2.1.存算一體技術：以 SRAM、RRAM 為主的新架構，大算力領域優(yōu)勢大存算一體在存儲器中嵌入計算能力，以新的運算架構進行乘加運算。存算一體是一種以數(shù)據(jù)為中心的非馮諾依曼架構，它將存儲功能和計算功能有機結合起來，直接在存儲單元中處理數(shù)據(jù)。存算一體通過改造“讀”電路的存內(nèi)計算架構，可以直接從“讀”電路中得到運算結果，并將結果“寫”回存儲器的目標地址，避免了在存儲單元和計算單元之間頻繁地轉移數(shù)據(jù)。存算一體減少了不必要的數(shù)據(jù)搬移造成的開銷，不僅大幅降低了功耗（降至 1/10~1/100），還可以利用存儲單元進行邏輯計算提高算力，顯著提升計算效率。它不僅適用于 AI 計算，也適用于感存算一體芯片和類腦芯片，是未來大數(shù)據(jù)計算芯片架構的主流方向。

存算一體技術可分為查存計算、近存計算、存內(nèi)計算和存內(nèi)邏輯，提供多種方式解決內(nèi)存墻問題。

查存計算：早期技術，在存儲芯片內(nèi)部查表來完成計算操作。

近存計算：早已成熟，計算操作由位于存儲區(qū)域外部的獨立計算芯片/模塊完成。典型代表是 AMD 的 Zen 系列 CPU，以及封裝 HBM 內(nèi)存（包括三星的 HBM-PIM）與計算模組（裸Die）的芯片。

存內(nèi)計算：計算操作由位于存儲芯片/區(qū)域內(nèi)部的獨立計算單元完成，存儲和計算可以是模擬或數(shù)字的。典型代表是 Mythic、千芯科技、閃億、知存、九天睿芯等。

存內(nèi)邏輯：通過在內(nèi)部存儲中添加計算邏輯，直接在內(nèi)部存儲執(zhí)行數(shù)據(jù)計算。典型代表包括 TSMC（在 2021 ISSCC 發(fā)表論文）和千芯科技。

SRAM、RRAM 是存算一體介質的主流研究方向。存算一體的成熟存儲器有幾種，比如 NOR FLASH、SRAM、DRAM、RRAM、MRAM 等 NVRAM。

FLASH 是非易失性存儲，成本低，可靠性高，但制程有瓶頸。

SRAM 速度快，能效比高，在存內(nèi)邏輯技術發(fā)展后有高能效和高精度的特點。

DRAM 容量大，成本低，但速度慢，需要不斷刷新電力。

新型存儲器 PCAM、MRAM、RRAM 和 FRAM 也適用于存算一體。其中 RRAM 在神經(jīng)網(wǎng)絡計算中有優(yōu)勢，是下一代存算一體介質的主流方向之一。除了 SRAM 之外，RRAM 也是未來發(fā)展最快的新型存儲器之一，它結構簡單，速度高，但材料不穩(wěn)定，工藝還需 2-5 年才能成熟。

存算一體有著廣泛的應用場景，在不同大小設備上均有需求。

從技術領域來看，存算一體可以應用于：

（1）AI 和大數(shù)據(jù)計算：將 AI 計算中大量乘加計算的權重部分存在存儲單元中，從而在讀取的同時進行數(shù)據(jù)輸入和計算處理，在存儲陣列中完成卷積運算。

（2）感存算一體：集傳感、儲存和運算為一體構建感存算一體架構，在傳感器自身包含的 AI存算一體芯片上運算，來實現(xiàn)零延時和超低功耗的智能視覺處理能力。

（3）類腦計算：使計算機像人腦一樣將存儲和計算合二為一，從而高速處理信息。存算一體天然是將存儲和計算結合在一起的技術，是未來類腦計算的首選和產(chǎn)品快速落地的關鍵。

從應用場景來分，存算一體可以適用于各類人工智能場景和元宇宙計算，如可穿戴設備、移動終端、智能駕駛、數(shù)據(jù)中心等。

（1）針對端側的可穿戴等小設備，對成本、功耗、時延難度很敏感。端側競品眾多，應用場景碎片化，面臨成本與功效的難題。存算一體技術在端側的競爭力影響約占 30%。（例如 arm占 30%，降噪或 ISP 占 40%，AI 加速能力只占 30%）

（2）針對云計算和邊緣計算的大算力設備，是存算一體芯片的優(yōu)勢領域。存算一體在大算力領域的競爭力影響約占 90%。

傳統(tǒng)存儲大廠紛紛入局，新興公司不斷涌現(xiàn)。

（1）國外方面，三星電子在多個技術路線進行嘗試，發(fā)布新型 HBM-PIM（存內(nèi)計算）芯片、全球首個基于 MRAM（磁性隨機存儲器）的存內(nèi)計算研究等。臺積電在 ISSCC 2021 上提出基于數(shù)字改良的 SRAM 設計存內(nèi)計算方案。英特爾也早早提出近內(nèi)存計算戰(zhàn)略，將數(shù)據(jù)在存儲層級向上移動，使其更接近處理單元進行計算。

（2）國內(nèi)方面，阿里達摩院成功研發(fā)全球首款基于 DRAM 的 3D 鍵合堆疊存算一體芯片，可突破馮·諾依曼架構的性能瓶頸。千芯科技是可重構存算一體 AI 芯片的領導者和先驅，核心產(chǎn)品包括高算力低功耗的存算一體 AI 芯片/IP 核（支持多領域多模態(tài)人工智能算法）。 ?

編輯：黃飛

?