中國AI芯片公司的天花板，可能是AMD。

ChatGPT火爆時，浩然被兩股矛盾的情緒夾在縫隙：一面是興奮，一面是悲傷。 作為一名AI芯片公司的高級軟件工程師，ChatGPT大爆發(fā)前夜，浩然對自己參與研發(fā)的大算力AI芯片充滿信心，他相信為特定AI算法研發(fā)的專用芯片，相比英偉達通用的GPGPU在同等功耗下可以有2倍的性能優(yōu)勢，價格可以做到50%甚至更低，只要軟件體驗不太差，客戶一定會買單。 可ChatGPT掀起的大模型熱潮，讓浩然和同行們都開始思考，AI算法是否有從百家爭鳴走向大一統(tǒng)的可能。

這意味著，過去為特定領域AI算法研發(fā)的專用AI芯片，由于計算負載特性的急劇變化，之前的性價比優(yōu)勢會被明顯削弱，英偉達兼具高顯存帶寬和高互聯(lián)帶寬特性的通用GPU優(yōu)勢將會進一步擴大，想要和英偉達競爭的難度更大了，這讓浩然有些悲觀。 但從自己工作的角度，AI算法的大一統(tǒng)可以讓硬件工程師和軟件工程師工作的目標都更清晰，工作會難度降低，這是浩然歡呼的理由。 “我不相信英偉達能一直保持領先。”芯片架構師宇陽保持信心，“GPU不見得是大模型的最佳解，中國AI芯片公司里一定會有能和英偉達掰手腕的公司。 國內(nèi)眾多的AI大芯片公司，誰能吃下大模型市場？

芯片公司想喝口大模型的湯也不容易

就算是英偉達長久以來的競爭對手AMD，在英偉達大口吃AI大模型肥肉的時候，AMD也沒喝上多少湯。綜合實力不及AMD的國內(nèi)初創(chuàng)公司們，就算嘴上高呼趕超英偉達，心里也清楚能做互聯(lián)網(wǎng)公司的第二供應商，喝上大模型的湯就是巨大的成功。 大模型火爆，全世界的公司都在找英偉達買GPU。原先售價3萬多美元的最新款H800 GPU，就算終端售價加價1萬多美元依舊一卡難求。這種供不應求的盛況直接將英偉達的市值推向1萬億美元，創(chuàng)造了全球半導體公司市值的新紀錄。 “客戶很奇怪，就算AMD有性能不錯的GPU現(xiàn)貨，許多想要購買H800 GPU的人依舊不為所動?！币患褹I芯片公司的高管道出想要超越英偉達的難度。

技術出身，如今已是芯片公司高管的洪杰深諳其中的道理，“客戶對AMD的要求和對英偉達產(chǎn)品的要求一樣，有的時候甚至更苛刻，客戶愿意買單的替代產(chǎn)品是比英偉達的GPU便宜，體驗還要差不多?！?“采購英偉達GPU量最大的公司還沒有第二供應商。”洪杰感嘆，“不得不承認英偉達的強大，現(xiàn)階段不要說超越英偉達，成為二供都很難?！?困難的事情往往收益很高，像是字節(jié)跳動這類大客戶，每年采購英偉達GPU的訂單金額就接近百億元。只要能從英偉達嘴里分到幾十億的市場份額，就足夠養(yǎng)活幾家國內(nèi)的AI芯片公司。 離開AMD創(chuàng)業(yè)的人成為二供的概率會更大嗎？歡迎添加文章作者微信BENSONEIT聊聊離開AMD的人。

「追隨派」和「創(chuàng)新派」爭搶大模型

國內(nèi)AI大芯片初創(chuàng)公司非常特別，有跟隨英偉達路線做GPGPU的初創(chuàng)公司，可以叫他們“追隨派”。也有另辟蹊徑，設計AI專用芯片（也就是DSA，Domain Specific Architecture，領域專用架構）的“創(chuàng)新派”。 這是一個非常有趣的現(xiàn)象，因為在國外只有創(chuàng)新派沒有追隨派，也就是沒人選擇走GPGPU的技術路線創(chuàng)業(yè)。 “所有人都知道，沿著英偉達的路徑不可能超越英偉達，這幾乎是不證自明的事情。并且，西方的創(chuàng)業(yè)者更喜歡做顛覆式創(chuàng)新。”洪杰分析，“尋求顛覆式創(chuàng)新的架構師們對AI計算問題的理解與定義不同，自然也計出了各種不同的AI芯片架構?！?谷歌定義的TPU專用性很強，是一個典型的領域專用芯片DSA。

被譽為全球AI芯片獨角獸的SambaNova Systems選擇了可重構架構。Cerebras Systems走了一條直接用晶圓做芯片的路。英國AI芯片獨角獸Graphcore創(chuàng)造了獨特的IPU架構。 國內(nèi)也有多家走DSA路徑創(chuàng)業(yè)的AI大芯片公司，比如寒武紀、昆侖芯、燧原科技、瀚博半導體、墨芯人工智能。 “選擇DSA路徑創(chuàng)業(yè)還有一個優(yōu)勢，核心IP設計門檻相對較低?！毙酒幾g器專家德輝打了個比方， 用搭樂高來理解設計GPGPU和DSA的難度，設計GPGPU就是面向18歲以上玩家的樂高，有許多精細的小模塊，拼起來難度大但作品很精巧。設計DSA就像是面向5歲的樂高，模塊更大拼起來更容易。

“DSA的門檻可以很低，上限也可以很高?！庇铌栒f，“ GPU也是一個DSA。最初的GPU圖形專用加速芯片，沒有可編程性，后來英偉達為其增加了通用性之后才變成了GPGPU?！?英偉達將GPU變?yōu)榇蟊娬J知里的通用芯片，也是通過了近20年的努力，從建立CUDA軟件生態(tài)到成熟，讓GPGPU能做圖形加速，AI計算，科學計算。 “從技術維度，區(qū)別CPU和DSA可以看其是否能運行Windows、Linux這樣的操作系統(tǒng)?！庇铌栄a充，“從這個角度看GPU依舊是DSA?！?只是在大部分人眼里，英偉達的GPGPU已然成為了一顆通用芯片，在當下最為火熱的AI市場里供不應求。

早已看到英偉達GPGPU強大的中國創(chuàng)業(yè)者，直接選擇了GPGPU架構進行創(chuàng)業(yè)，就像天數(shù)智芯、登臨科技、壁仞科技、海飛科。 “選擇GPGPU的路徑雖然不能超越英偉達，但有國產(chǎn)替代的剛需，而且這條路線可以通過多種技術方案做到‘兼容CUDA’，降低用戶的軟件切換成本?！焙迫恢毖?，“有了國產(chǎn)替代的需求，讓中國大芯片創(chuàng)業(yè)公司有機會與英偉達競爭，并且最終一定會留下幾家AI大芯片的公司?！?這時誰能吃下大模型的問題就變成了追隨派和創(chuàng)新派的機會誰更大？

兩派相爭，創(chuàng)新派已死？

一個非常犀利的觀點是，DSA已死。這是一個極具爭議性的話題，探討這個話題可以添加作者微信BENSONEIT。 這種論調(diào)核心的邏輯是英偉達編程性很強的GPGPU已經(jīng)通過了AI大模型的驗證，在Transformer讓AI算法趨于收斂的現(xiàn)狀下，英偉達可以通過手工優(yōu)化底層代碼，高效調(diào)度底層硬件獲得持續(xù)的性能提升，讓已經(jīng)流片量產(chǎn)的DSA不再擁有設計之初的巨大性能優(yōu)勢。 “算法不確定的時候，英偉達沒有動力針對某個算法做手工優(yōu)化。這讓針對某類算法（比如CNN）的DSA可以有2倍甚至更多的性能優(yōu)勢?！焙迫粚SA的未來有些悲觀。

“現(xiàn)在算法和模型收斂，英偉達進行手工優(yōu)化可以充分釋放出硬件的性能，每一代CUDA升級都會帶來10-20%的性能提升。而通過底層硬件固化實現(xiàn)性價比優(yōu)勢的DSA要持續(xù)通過軟件優(yōu)化提升性能的難度很大，極端的情況軟件甚至沒有多大的提升空間?！?德輝從他擅長的編譯角度解釋，F(xiàn)lash Attention系列工作在大模型上的驚艷效果，正是說明針對特定模型的手工融合大算子是一種典型手段，本質是通過手工將特定的模型子結構從存儲受限（memory bound）轉化成了計算受限（compute bound），最大程度發(fā)揮出了GPU的計算性能。 “這種方式只是做了局部的優(yōu)化，手工成本比較高，也難以大規(guī)模推廣。”德輝不認為DSA已死，“只有擁有一個能夠自動生成融合算子的編譯器，GPU才能最大程度發(fā)揮出性能優(yōu)勢。但自動編譯CPU做了幾十年也沒做出來，這是一個業(yè)界難題。” 比編譯器更底層的芯片架構，也決定著計算AI大模型任務的效率。

宇陽也指出了GPU架構的局限性，GPU為了保證很強的編程性，在架構上借鑒了CPU的設計，芯片上沒有緩沖器（Buffer），每次操作的對象只能是寄存器，典型寄存器大小是個很短的向量，比如64字節(jié)，這是保證編程靈活性的最好設計，但數(shù)據(jù)要不斷在芯片內(nèi)部和外部存儲之間搬運，效率不高。 “AI大模型動輒就是上百億個參數(shù)，要提升計算效率需要盡量減少數(shù)據(jù)的搬移。DSA可以為大模型設計很大的片上緩存，一次可以操作64字節(jié)的上千倍，相比GPGPU有明顯優(yōu)勢?！庇铌栔赋觥?兩者的差別非常明顯，GPGPU計算 AI模型時計算單元的利用率一般情況下只有30%-40%，而DSA一般都能做到計算單元的利用率達到80%-90%。 “許多人沒看到DSA的核心價值——數(shù)據(jù)流優(yōu)化?！钡螺x的經(jīng)驗告訴他，“通過充分發(fā)揮DSA片上有的大存儲器（SRAM）優(yōu)勢，利用編譯器進行徹底優(yōu)化，實現(xiàn)理想的圖編譯，每一層都把大模型計算的存儲受限轉化為計算受限，能夠最大化DSA的優(yōu)勢?！?而DSA的優(yōu)勢沒被充分挖掘出來，還是因為許多DSA芯片公司都在用英偉達的思路設計軟件。

“用英偉達GPGPU的方法設計軟件既是一個思維定式，也是一個經(jīng)過驗證成功的路，風險更低。并且，要針對DSA的優(yōu)勢用另外的思路設計編譯器，也有技術上的挑戰(zhàn)，比如打破算子邊界帶來的復雜性?！边@是德輝的心得。 即便再看好DSA，宇陽和德輝都沒有否認未來的趨勢是混合DSA。

專用和通用融合才是大模型的最優(yōu)解

“一個完美的AI大模型處理器應該是用T4 GPU的計算核心，用H100 GPU的顯存?！焙榻苡靡粋€形象的說法道出大模型的真實需求。 而兼具通用性和專用性的混合DSA芯片才是滿足大模型需求的理想產(chǎn)品，未來AI芯片公司的比拼是混合DSA。 6年前，英偉達的Volta架構首次為深度學習加入了Tensor Core，此后的每代架構都不斷優(yōu)化Tensor Core，增強GPU的AI性能。 2022年發(fā)布的H100 GPU，又增加了軟硬結合的Transformer Engine，目的是加速AI大模型計算。 Tensor Core和Transformer引擎，都是為AI工作流設計的專用計算單元。也就是說，英偉達早就在“通用”的GPGPU上增加了“專用”的AI加速單元，這種融合設計兼顧了GPGPU的通用性，又能發(fā)揮專用加速單元的能效比優(yōu)勢，更像是大模型的最優(yōu)解。

這里有一個會讓人費解的問題，既然AI模型都穩(wěn)定了，為什么不是設計一個Transformer專用的加速芯片，還需要通用性？ “算法的類別雖然從幾千種變成幾百種，但還在不斷優(yōu)化，只有具備足夠的通用性，才能最大化芯片的價值?！庇铌柦忉?。 “從芯片的設計規(guī)律看，設計一個Transformer專用加速芯片，去‘賭’未來三至五年內(nèi)不會有新的模型結構顛覆性的替換掉Transformer，也是一個非常瘋狂的想法。”浩然補充。 那混合DSA的路線明確之后，各家芯片的差異會如何體現(xiàn)？ “混合DSA其實就是在通用的CPU和純粹專用的DSA之間找一個平衡點。不同的架構師選擇的點會完全不一樣，但到底誰的設計更好，需要時間的檢驗。因為架構的設計不是一個純粹的技術問題，還與當時所處的時間，環(huán)境有很大關系?！庇铌栠@樣認為。 其中有賭的部分，浩然說，“混合DSA的片上存儲（SRAM）非常貴，因為需要占用的芯片面積非常大，所以到底設計多大的SRAM，需要賭?！?br />
最終混合DSA芯片之間差異將會很小。 “就像如今安卓系統(tǒng)和iOS系統(tǒng)越來越像一樣，最后能夠留下來的混合DSA架構的AI芯片，可能也是80%相同，只有20%不同。”洪杰做出了這樣的判斷。 但在走到這一天之前，混合DSA還有一個巨大的難題——比GPGPU和DSA都更復雜的軟件棧。這很容易理解，既然是將兩種架構融合，系統(tǒng)就更加復雜，難度自然也更大。 當然，更明確的算法又能降低軟件開發(fā)和優(yōu)化的難度。 此時，就可以回到最初的問題，中國芯片公司誰能喝到大模型的湯？

誰能更快吃上大模型？

商業(yè)的成功不是單純的技術路線“好壞”就可以決定，現(xiàn)在可以看到的是，跟隨派轉向混合DSA的技術難度相對低一些，創(chuàng)新派有RISC-V CPU可選，可謂各有優(yōu)劣。具體到每一家公司的時候，情況又各不相同。 “GPU的眾核（Many Core）設計，相比DSA的設計難度更大，所以已經(jīng)設計出GPGPU的初創(chuàng)公司，再增加一個DSA，比DSA增加一個GPGPU的難度小一些?！焙迫粡谋姾嗽O計的難度判斷各家芯片公司面臨的挑戰(zhàn)大小。 “GPU的一致性控制確實很難?！庇铌柌糠终J同浩然的觀點，“但增加可編程性并不一定就是要做一個GPGPU，有很多路徑可選。” 德輝就非?？春?a target="_blank">RISC-V CPU加上DSA的混合DSA，“RISC-V CPU可以提供向量計算，并且有足夠的通用性，與DSA混合是一個不錯的選擇。” 這種混合DSA方式要自己建立軟件生態(tài)，需要投入的資源巨大。

“芯片要落地非常關鍵的是要接受客戶的批評和質疑，然后務實地迭代?！焙榻艿南敕ㄊ?，“芯片公司要把客戶不愿做的活都做了，比如遷移芯片的大量工作，讓客戶可以無感遷移，但這需要極大的人力和時間的投入。” 相比之下，DSA路徑的公司想兼容CUDA生態(tài)的難度比GPGPU路徑的公司難度更大。

但對于走GPGPU路徑創(chuàng)業(yè)的公司也不是一件容易的事情，要兼容英偉達的CUDA生態(tài)，硬件設計和軟件都要盡量接近英偉達，才能實現(xiàn)接近英偉達GPU的性能。 “AMD就是走兼容英偉達的路，國內(nèi)公司走這條路的天花板就是AMD?！钡螺x指出，“在部分場景做到英偉達80%的體驗沒有問題，但超越不了英偉達。” 再大致看看各家的情況，追隨派里天數(shù)智芯和登臨科技具有先發(fā)優(yōu)勢，壁仞科技也被多位內(nèi)工程師視作黑馬。 創(chuàng)新派里的寒武紀受到美國禁令的限制前途難料；燧原科技每一代產(chǎn)品都采用了HBM（高帶寬存儲器）適合大模型，但和其它公司一樣，軟件是個不小的挑戰(zhàn)。 注意一個時間點，2025年英特爾計劃推出融合其GPU和DSA的新一代AI芯片，那時候AI芯片的競爭將會更加激烈。




審核編輯：劉清