看DeepSeek-v3的感受是, 算法和Infra的非常緊密結(jié)合. 其實很多大模型團隊的算法和Infra是非常割裂的, 完全同時懂算法和Infra的人并不多, DeepSeek這個團隊就是其中之一, DeepSeek團隊中應(yīng)該有不少OI競賽獲獎選手, 其實對于我們這些搞過OI的人, 對于計算上的優(yōu)化策略基本上都是手到擒來,很多時候把處理器的體系結(jié)構(gòu)也研究的很深, 所以同時做算法和Infra是非常自然的一件事情, 而如今很多算法崗的新人大多數(shù)人的代碼能力是非常有限的....

當然渣B稍微再得瑟一下, 比DeepSeek他們還更懂更底層的芯片以及它們的互聯(lián), Maybe再多懂一點數(shù)學... 昨天還跟一朋友講了一個冷玩笑, FP8訓練這些Quantization不就是Quant變渣("za"tion)么,^o^.

1. 算力不再應(yīng)當只是約束,而是一個可以聯(lián)合優(yōu)化的變量

其實很多年前, 阿里媽媽團隊就在推薦系統(tǒng)引入深度學習時做過大量的算法和算力Infra協(xié)同的工作, 非常認同周國睿老師的一句話:“算力不再應(yīng)當只是約束,而是一個可以聯(lián)合優(yōu)化的變量”

今年年初還把這一系列的算法和算力的協(xié)同發(fā)展整理了一下, 可以參考

《談?wù)?a href="http://m.makelele.cn/tags/ai/" target="_blank">AI落地容易的業(yè)務(wù)-搜廣推》

其實再來說說量化交易這一塊, 它和搜廣推很類似的也是需要在一個時間約束下做到算力和算法的平衡, 對于很多高頻交易策略其實就更難了, 涉及到一系列硬件上和算法算力的協(xié)同了, 有些時候還可以犧牲穩(wěn)定性為代價, 舉個例子有些高頻交易的團隊還在用家用CPU超頻的方式來獲得更快的運算速度, 另一個例子在很多網(wǎng)卡上連一個寄存器都要省....

對于DeepSeek/幻方有了這樣的主營業(yè)務(wù)做大模型時,整個團隊的火力自然是滿滿的...當然渣B這樣的參與了國內(nèi)幾乎所有交易所的交易網(wǎng)絡(luò)設(shè)計有合規(guī)問題和自身的職業(yè)操守就沒有去趟高頻這塊...

另一方面渣B對現(xiàn)在的大模型Transformer架構(gòu)還是有更多的不認同, 它一定不是通往AGI的終態(tài), 因為這樣的依賴極大算力的ScalingLaw的算法本質(zhì)上應(yīng)該是一個錯誤, 所以渣B更多的時間是在底層優(yōu)化算力和頂層算法背后的數(shù)學原理上花了更多的精力.

在底層算力方面, 主要是GPU微架構(gòu)的分析和Tensor運算相關(guān)的工作以及AI加速器高速互聯(lián)等

《GPU架構(gòu)演化史》

《Tensor運算》

《AI加速器互聯(lián)》

在數(shù)學方面(嗯,學習J神“數(shù)學方面”), 渣B一直有一個暴論:這一次人工智能革命的數(shù)學基礎(chǔ)是：范疇論/代數(shù)拓撲/代數(shù)幾何這些二十世紀的數(shù)學第一登上商用計算的舞臺。, 因此一直也在做一些專題的研究

《大模型的數(shù)學基礎(chǔ)》

最近看到一些論文, 例如TOPOS的視角來看待多模態(tài)大模型, 還有一些Grothendieck圖神經(jīng)網(wǎng)絡(luò)一類的東西, 似乎看到一些光了,但是這些東西是這個世界上為數(shù)不多英雄主義的存在, 一張紙一支筆的浪漫.

當然很多人懷疑這些代數(shù)上的東西以及GNN本身的一些稀疏計算的效率問題似乎跟AGI毫無關(guān)系. 但事實上它們可能是人腦里最精彩的存在. 昨天也到MTP時有一個觀點:

MTP讓我想到了Zen5的2-Ahead Branch Predictor 非常有趣的工作, 其實對于o3這樣的模型, 本質(zhì)上是token as an intruction.

原來GPT是一個順序執(zhí)行結(jié)果predic next token 類似于 pc++, 然后在棧上(historical tokens as stack)操作. 順序預測下一個token

o1/o3 Large Reasoning Model 無論是MoE或者是強化學習一類的PRM, 實質(zhì)上是在Token Predict上做了Divergence, 例如跳轉(zhuǎn)/循環(huán)/回溯 等, PRM可以看作是一個CPU分支預測器. 從體系架構(gòu)上漸漸的可以讓大模型做到類似于圖靈完備的處理能力.

基于這個觀點, 那么當前的GPU的TensorCore/Cuda Core實際上就構(gòu)成了一個執(zhí)行引擎, 外面還需要一系列控制, 分支預測, 譯碼器, LSU來配合, 對于基礎(chǔ)設(shè)施帶來的演進還是有很多有趣的話題可以去探索的

另外一個暴論:當前的Transformer模型本身作為一種生成Token的數(shù)據(jù)路徑, 而Grothendieck圖神經(jīng)網(wǎng)絡(luò)一類的東西和相關(guān)的代數(shù)結(jié)構(gòu)本身作為模型的控制路徑, 這是跑通LRM的一條路

2. 硬件和體系架構(gòu)的演進

DeepSeek-v3的實現(xiàn)也非常優(yōu)雅, 例如考慮H800被閹割的影響, 訓練沒有采用TP并行. 然后針對MoE的AlltoAll做了極致的優(yōu)化, 例如PXN和IBGDA等, 還有warp specialization以及dualpipe等.

相反我們看看Meta那群人, AlltoAll去年的OCP還在叫喚著Call for Action, 然后Llama3的MoE聽李沐講了一個八卦他們訓練失敗了...也難怪要多花10倍的錢...

回到DS團隊提到的一些未來硬件的需求, 例如當前H800的132個SM中被分配了20個SM用于通信, 需要通信協(xié)處理器,以及為了減少應(yīng)用程序編程的復雜性，希望這種硬件能夠從計算單元的角度統(tǒng)一ScaleOut和ScaleUp網(wǎng)絡(luò)。通過這種統(tǒng)一接口, 計算單元可以通過提交基于簡單原語的通信請求.

其實這些東西渣B幾年前就全部講清楚并做了一系列POC. 在2018年的時候, 看到Transformer出來以及模型開始越來越大通信成為瓶頸時, 渣B當時在Cisco就在做AI Infra相關(guān)的預研, 第一個把深度學習模型引入到Cisco路由器中做一系列Performance Assurance和Security Assurance相關(guān)的業(yè)務(wù).

然后2020年的時候和第四范式的一些研討后, 然后設(shè)計和實現(xiàn)了NetDAM. 到如今你會發(fā)現(xiàn)Tesla TTPoE也是在做同樣的事情.

《NetDAM專題》

時至今日, 你會發(fā)現(xiàn)DeepSeek對未來硬件的演進, 都在這一套框架內(nèi)完全實現(xiàn).

首先, 它對GPU側(cè)是一個標準的內(nèi)存接口, 通過在NetDAM上的一片內(nèi)存, 基于內(nèi)存語義把ScaleOut(Inter-Host)和ScaleUP(Intra-host)的通信完全融合了. 然后DS提到的Read/Write/multicast/reduce這些也是NetDAM一開始就做的功能, 例如RoCE需要多次訪問GPU內(nèi)存并引入CPU控制流

而NetDAM直接進行了卸載:

而對于DS后面提到的一系列量化和Scale相關(guān)的近內(nèi)存計算, 本質(zhì)上在NetDAM上是最好的附著點. 例如很多人說Mellanox延遲低, NetDAM直接bypass PCIe延遲輕松秒殺

但是這個世界并不是完美的, 因為人總歸是有屁股的. 例如思科當時的重心全部放在了Silicon One上, Intel守著自己的UPI在CXL上扣扣搜搜的, 而同樣Nvidia在B200這一代雖然把IB和NVSwitch融合在一起做交換芯片, 但最終在未來還是分開了...

而如今呢?當一切的事情越來越清晰的時候, 或許這些廠商們會明白這個問題了...