電子發(fā)燒友網(wǎng)報(bào)道 DeepSeek團(tuán)隊(duì)發(fā)布了一篇由創(chuàng)始人梁文鋒署名的新論文，主題為《Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models》（直譯為《基于可擴(kuò)展查找的條件記憶：大語言模型稀疏性的新維度》）。這篇論文不僅揭示了當(dāng)前大語言模型在知識檢索方面的低效問題，還通過創(chuàng)新的Engram架構(gòu)，將模型的“條件記憶”與“計(jì)算”分離，從而大幅降低錯誤率并節(jié)省算力。

條件記憶與Engram架構(gòu)

論文的核心創(chuàng)新點(diǎn)在于提出了“條件記憶”這一概念，旨在解決當(dāng)前大語言模型在知識檢索方面的低效和算力消耗問題。梁文鋒團(tuán)隊(duì)指出，語言建模本質(zhì)上包含兩類子任務(wù)：一類是組合式推理，需要依賴深層、動態(tài)計(jì)算完成；另一類是知識檢索，面向命名實(shí)體等相對靜態(tài)的內(nèi)容，理論上可以通過簡單查找更高效地處理。然而，現(xiàn)有Transformer架構(gòu)缺乏原生的查找組件，遇到靜態(tài)信息時往往仍需反復(fù)調(diào)用深層網(wǎng)絡(luò)進(jìn)行重建，加劇了算力浪費(fèi)并推高了推理成本。

為了解決這一問題，DeepSeek團(tuán)隊(duì)提出了Engram架構(gòu)（記憶痕跡架構(gòu)），通過將靜態(tài)知識存儲與動態(tài)計(jì)算分離，實(shí)現(xiàn)了靜態(tài)模式的常數(shù)時間O(1)查找。具體而言，條件記憶通過Engram模塊實(shí)現(xiàn)，模型能夠基于輸入中的局部上下文模式，從大規(guī)模參數(shù)化記憶中快速檢索并融合靜態(tài)知識表示，從而避免在推理過程中反復(fù)通過深層計(jì)算重建高頻、模板化信息。

突破GPU內(nèi)存限制

在GPU內(nèi)存限制方面，DeepSeek的新論文同樣帶來了革命性的突破。傳統(tǒng)上，GPU內(nèi)存容量有限，處理大規(guī)模數(shù)據(jù)集時往往需要頻繁的數(shù)據(jù)傳輸和復(fù)雜的數(shù)據(jù)管理策略。而Engram架構(gòu)通過稀疏存儲模式，支持更大規(guī)模的知識存入，突破了傳統(tǒng)注意力窗口的物理限制。當(dāng)大約20%至25%的稀疏參數(shù)預(yù)算分配給Engram，剩余部分留給混合專家模型（MoE）時，模型性能達(dá)到最佳。

此外，DeepSeek團(tuán)隊(duì)還通過優(yōu)化數(shù)據(jù)流動和調(diào)度機(jī)制，進(jìn)一步降低了GPU內(nèi)存的壓力。例如，采用預(yù)取策略預(yù)測后續(xù)計(jì)算所需數(shù)據(jù)，提前從低速層加載至高速層；通過淘汰策略根據(jù)訪問頻率與重要性，將不活躍數(shù)據(jù)逐出至低速層；以及利用壓縮策略對暫存于內(nèi)存或磁盤的數(shù)據(jù)進(jìn)行無損或有損壓縮，減少I/O開銷。這些技術(shù)手段的結(jié)合，使得GPU在處理大規(guī)模數(shù)據(jù)集時能夠更加高效地利用內(nèi)存資源。

當(dāng)前，全球高端GPU資源90%集中于美國企業(yè)，且美國政府通過《芯片與科學(xué)法案》對中國實(shí)施高端GPU限售，直接導(dǎo)致中國AI企業(yè)面臨“硬件卡脖子”困境。以訓(xùn)練千億參數(shù)模型為例，傳統(tǒng)架構(gòu)需配置數(shù)萬塊H100 GPU，單次訓(xùn)練成本超1億美元，而內(nèi)存瓶頸更使模型規(guī)模受限于物理顯存容量。

DeepSeek的Engram架構(gòu)通過稀疏存儲與動態(tài)計(jì)算分離技術(shù)，使模型在同等硬件條件下可處理3-5倍規(guī)模的參數(shù)。實(shí)驗(yàn)數(shù)據(jù)顯示，其27B參數(shù)模型在32k上下文任務(wù)中，內(nèi)存占用僅增加25%卻實(shí)現(xiàn)13%的準(zhǔn)確率提升。這種技術(shù)突破不僅降低中國AI企業(yè)對進(jìn)口芯片的依賴度，更通過內(nèi)存效率優(yōu)化使現(xiàn)有硬件產(chǎn)能釋放3倍以上算力。

結(jié)語

DeepSeek團(tuán)隊(duì)此次發(fā)布的新論文，不僅揭示了當(dāng)前大語言模型在知識檢索方面的低效問題，還通過創(chuàng)新的Engram架構(gòu)和條件記憶概念，實(shí)現(xiàn)了GPU內(nèi)存限制的革命性突破。這一技術(shù)突破不僅提高了模型運(yùn)行效率，還為中國AI發(fā)展提供了戰(zhàn)略支撐。在全球AI競爭日益激烈的背景下，DeepSeek的探索為中國AI企業(yè)開辟了一條自主創(chuàng)新、突破封鎖的發(fā)展道路。