2026年1月13日凌晨，DeepSeek突然發(fā)布由創(chuàng)始人梁文鋒署名的新論文《Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models》，并同步開源記憶模塊Engram。這一機(jī)制通過可擴(kuò)展查找結(jié)構(gòu)，讓大模型實現(xiàn)O(1)時間復(fù)雜度的"條件反射式"記憶檢索，被業(yè)界視為破解Transformer效率瓶頸的關(guān)鍵鑰匙。

傳統(tǒng)Transformer的"記憶困境"

當(dāng)前大語言模型面臨三大結(jié)構(gòu)性問題：注意力計算的O(n2)復(fù)雜度在長序列下成為瓶頸；所有知識隱式存儲在參數(shù)中，檢索常識需激活整個網(wǎng)絡(luò)；早期層負(fù)擔(dān)過重，既要做語義理解又要承擔(dān)知識檢索。這種"低效的反復(fù)計算"導(dǎo)致算力浪費，尤其在知識調(diào)用、代碼補(bǔ)全等需要高頻查表的任務(wù)中表現(xiàn)突出。

Engram的"雙通道記憶"設(shè)計

DeepSeek從神經(jīng)科學(xué)汲取靈感：人腦分為程序性記憶（騎自行車）和陳述性記憶（回憶電話號碼）。Engram將這一機(jī)制映射到模型架構(gòu)中——條件記憶負(fù)責(zé)快速查表，注意力負(fù)責(zé)靈活推理，兩者協(xié)同構(gòu)成"稀疏性的新軸"。

技術(shù)實現(xiàn)上，Engram采用哈希N-Gram嵌入機(jī)制：對輸入Token序列進(jìn)行連續(xù)N個詞的切片，通過哈希算法映射到可擴(kuò)展的靜態(tài)查找表。這種方法是確定性且O(1)時間復(fù)雜度的，無論存儲多少萬億記憶片段，檢索速度恒定，算力消耗極低。同時，輕量化門控機(jī)制會根據(jù)當(dāng)前上下文判斷是否啟用查表結(jié)果，避免生硬注入。

實測數(shù)據(jù)：性能提升超預(yù)期

DeepSeek在同等參數(shù)和算力條件下進(jìn)行嚴(yán)格對比測試（均為38億激活參數(shù)，2620億訓(xùn)練Token）：

知識密集型任務(wù) ：MMLU提升3分，CMMLU提升4.0分，TriviaQA提升1.9分

通用推理與代碼 ：BBH大幅提升5.0分，HumanEval代碼生成提升3.0分，數(shù)學(xué)任務(wù)MATH提升2.4分

長上下文能力 ：Multi-Query NIAH準(zhǔn)確率從84.2躍升至97.0，Variable Tracking從77.0提升到89.0

更關(guān)鍵的是，Engram讓模型早期層不再做"苦力活"，第5層的表征即可達(dá)到基線模型第12層的水平，有效深度增加一倍，省下的層數(shù)用于更復(fù)雜的推理。

行業(yè)意義：DeepSeek V4的前奏

梁文鋒連續(xù)署名兩篇論文（mHC架構(gòu)與Engram），預(yù)示DeepSeek V4的技術(shù)輪廓日漸清晰。如果說mHC是底層架構(gòu)創(chuàng)新，Engram則是在架構(gòu)層面做"分工重構(gòu)"。這種"存算分離"設(shè)計，完美契合算力受限環(huán)境下的性價比路線——在同等算力下實現(xiàn)更強(qiáng)性能。

對行業(yè)而言，開源Engram的價值在于：它提供了第一個可微分、可訓(xùn)練、原生嵌入模型結(jié)構(gòu)的記憶增強(qiáng)方案，讓開發(fā)者無需從零構(gòu)建。從代碼補(bǔ)全到醫(yī)療知識庫，從多語言翻譯到法律條文檢索，O(1)查找式記憶將為垂直領(lǐng)域大模型帶來35-45%的吞吐量提升和25-35%的成本降低。

效率革命的"陽謀"

DeepSeek此舉既是技術(shù)突破，更是戰(zhàn)略卡位。當(dāng)行業(yè)陷入"算力軍備競賽"，它選擇用架構(gòu)創(chuàng)新打破硬約束。Engram的巧妙在于不挑戰(zhàn)Transformer根基，而是增強(qiáng)其薄弱環(huán)節(jié)，與MoE形成"計算-記憶"雙稀疏，實現(xiàn)1+1>2。

但挑戰(zhàn)同樣存在：哈希沖突率如何控制？靜態(tài)記憶表更新機(jī)制是否成熟？在創(chuàng)意生成等需要強(qiáng)泛化場景下，Engram是否會產(chǎn)生"記憶固化"副作用？這些都需要大規(guī)模實戰(zhàn)檢驗。

Engram的開源，標(biāo)志著大模型優(yōu)化從"參數(shù)競賽"轉(zhuǎn)向"架構(gòu)效率"。當(dāng)梁文鋒將"記憶痕跡"這一神經(jīng)科學(xué)概念注入AI，我們看到的不僅是性能數(shù)字的提升，更是中國AI企業(yè)在技術(shù)路線上從追隨到并跑的自信。若DeepSeek V4搭載Engram如期上線，或?qū)⒆C明：在算力受限時代，聰明的架構(gòu)設(shè)計比野蠻的參數(shù)量堆砌更具長期價值。這場記憶革命，才剛剛開始。

審核編輯 黃宇