CUDA之所以會(huì)成為算力芯片硬件廠商必須要認(rèn)真考慮的一個(gè)選擇，最直接的原因，是其已經(jīng)實(shí)現(xiàn)了與算法客戶(hù)的強(qiáng)綁定。眾多算法工程師已經(jīng)習(xí)慣了CUDA提供的工具庫(kù)及其編程語(yǔ)言，向外遷移總是會(huì)存在不習(xí)慣的問(wèn)題。

因此，很多算力芯片硬件廠商選擇了兼容CUDA的路線(xiàn)——使硬件能夠直接用CUDA調(diào)動(dòng)起來(lái)，這樣可以降低用戶(hù)更換硬件平臺(tái)的不適感。

換手機(jī)有“一鍵遷移”功能。而如果兼容CUDA——記者在采訪(fǎng)中了解到——換芯片硬件也可以像換手機(jī)一樣容易。如果芯片客戶(hù)原本用的是CUDA軟件和英偉達(dá)的卡，在向兼容CUDA的算力硬件遷移過(guò)程中，原有的代碼一個(gè)都不改，直接就能用起來(lái)。這樣一來(lái)，客戶(hù)嘗試選用新的算力芯片的意愿將大大提升。

算法工程師對(duì)CUDA的使用習(xí)慣并不是一天養(yǎng)成的。

英偉達(dá)GPU及其并行計(jì)算和編程平臺(tái)CUDA進(jìn)入行業(yè)時(shí)間早，這為英偉達(dá)積累了非常明顯的先發(fā)優(yōu)勢(shì)。從當(dāng)前火熱的大模型的發(fā)展歷程來(lái)看，許多大模型發(fā)展之初都是基于開(kāi)源機(jī)器學(xué)習(xí)庫(kù)PyTorch訓(xùn)練，最早期使用的也是英偉達(dá)的GPU，與之相配套，算法工程師便會(huì)大量地用到CUDA庫(kù)代碼。從機(jī)器學(xué)習(xí)出現(xiàn)到大模型盛行，經(jīng)過(guò)十幾年的發(fā)展，算法工程師們不可避免地會(huì)用到CUDA庫(kù)支持的算子。這樣一來(lái)，如果使用CUDA驅(qū)動(dòng)硬件，大模型寫(xiě)好之后，編程語(yǔ)言就能直接運(yùn)行起來(lái)，實(shí)現(xiàn)無(wú)縫對(duì)接。 ? ? 包括大模型企業(yè)在內(nèi)，使用計(jì)算芯片的企業(yè)所采用的硬件基礎(chǔ)也基本上是由英偉達(dá)的產(chǎn)品搭建的。在一次計(jì)算訓(xùn)練中，統(tǒng)一硬件品牌，也能更好保證其訓(xùn)練的穩(wěn)定性。因?yàn)橛ミ_(dá)產(chǎn)品入局早，許多工程師對(duì)CUDA的使用習(xí)慣甚至是從學(xué)校受教育階段便培養(yǎng)起來(lái)的，在畢業(yè)參加工作后，各企業(yè)采用的軟硬件工具也是英偉達(dá)廠牌。這樣一來(lái)，算法工程師在軟件工具使用上存在非常大的慣性。

這對(duì)于英偉達(dá)之外的算力芯片來(lái)說(shuō)意味著，如果不兼容CUDA，市場(chǎng)推廣過(guò)程將存在一定的困難。

某算力芯片企業(yè)告訴記者，要想打開(kāi)市場(chǎng)，短期內(nèi)必須兼容CUDA生態(tài)。如果不兼容CUDA，就會(huì)出現(xiàn)很多問(wèn)題，包括要在代碼上做微調(diào)，跑模型時(shí)要實(shí)現(xiàn)收斂等問(wèn)題，這背后的工作量相當(dāng)大。但如果整個(gè)軟硬件能夠支持CUDA，客戶(hù)就無(wú)需再做二次開(kāi)發(fā)或者修改算法。這被認(rèn)為是降低客戶(hù)使用成本最簡(jiǎn)單的方式。

兼容CUDA也是在幫助客戶(hù)節(jié)約時(shí)間。對(duì)于以大模型為主營(yíng)業(yè)務(wù)的企業(yè)而言，時(shí)間就是生命。模型推演快一天、比競(jìng)爭(zhēng)對(duì)手的產(chǎn)品早一天上線(xiàn)都是非常重要的。因此，若是硬件遷移需要工程師花大量的時(shí)間適應(yīng)軟件工具，將極大地降低客戶(hù)對(duì)新產(chǎn)品的接受意愿。

來(lái)源：CUDA官網(wǎng)，《中國(guó)電子報(bào)》整理 “要站在用戶(hù)的角度思考問(wèn)題”，這是企業(yè)選擇兼容CUDA的立足基點(diǎn)?？蛻?hù)開(kāi)發(fā)大模型，是以效率為第一要義的，很多軟件工程，也都是拿到現(xiàn)成的代碼再做調(diào)優(yōu)?，F(xiàn)在很火的大模型的開(kāi)發(fā)也是同樣的，很多廠家先拿到小模型和機(jī)器學(xué)習(xí)的代碼，再在此基礎(chǔ)上做累加和調(diào)優(yōu)，最終實(shí)現(xiàn)規(guī)模化。

要讓客戶(hù)覺(jué)得“好用”，首先要解決的是“能用”的問(wèn)題。也就是首先得將客戶(hù)積累了十幾甚至二十幾年的軟件基礎(chǔ)跑起來(lái)，解決“從0到1”的問(wèn)題。只有這個(gè)問(wèn)題解決了，才能考慮“好用”的問(wèn)題、 “從1到100”的問(wèn)題——能幫助客戶(hù)通過(guò)編程支持新功能。

從企業(yè)戰(zhàn)略的角度來(lái)看，英偉達(dá)的生態(tài)已經(jīng)形成比較成熟的市場(chǎng)、標(biāo)準(zhǔn)和護(hù)城河。基于這樣的事實(shí)，在既有標(biāo)準(zhǔn)的基礎(chǔ)上切入，對(duì)于算力芯片企業(yè)而言，將是更加便利且高效的路徑。

02.?兼容CUDA也是一把“雙刃劍”

不過(guò)，也有業(yè)界專(zhuān)家提醒記者，許多宣稱(chēng)“兼容”CUDA的產(chǎn)品，并不是真的“兼容”，而是通過(guò)架構(gòu)的相似性，使產(chǎn)品可以比較容易地運(yùn)行CUDA的代碼。因?yàn)镃UDA不是開(kāi)源代碼，是“黑盒子”，因此100%兼容CUDA在技術(shù)上是無(wú)法實(shí)現(xiàn)的。同時(shí)在安全、知識(shí)產(chǎn)權(quán)方面存在風(fēng)險(xiǎn)。 “兼容”CUDA就像一把雙刃劍，一方面可以降低算力芯片企業(yè)的獲客成本，另一方面，也會(huì)在一定程度上給產(chǎn)品的創(chuàng)新潛能帶來(lái)限制。

許多算力芯片企業(yè)選擇在軟件棧上另辟蹊徑，主要是因?yàn)閾?dān)心“兼容”CUDA會(huì)成為自家產(chǎn)品發(fā)展“天花板”。當(dāng)前“兼容”CUDA的方式，主要是試圖將編程模型做到與CUDA一致，但實(shí)際底層的硬件架構(gòu)難以實(shí)現(xiàn)與英偉達(dá)的GPU完全相同。由此，兼容CUDA很有可能只能是短期行為，長(zhǎng)期來(lái)看將不利于芯片架構(gòu)創(chuàng)新與性能的提升。而自研軟件棧，則相當(dāng)于將創(chuàng)新的“天花板”掌握在自己手中。

從全球來(lái)看，許多國(guó)外的做算力芯片企業(yè)，例如 Graphcore、SambaNova、tenstorrent，沒(méi)有一家兼容CUDA。而之所以不去兼容CUDA，歸根結(jié)底，是因?yàn)楦骷蚁Ｍ剿鞒龈m合做AI計(jì)算的路。英偉達(dá)的GPU早期只做GPU圖形渲染，只是因?yàn)槠洚a(chǎn)品能夠借助CUDA在通用計(jì)算領(lǐng)域，也就是在包括AI在內(nèi)的領(lǐng)域用起來(lái)，才使其逐漸成為AI算力芯片領(lǐng)域的領(lǐng)頭羊。但從英偉達(dá)產(chǎn)品的計(jì)算架構(gòu)和性?xún)r(jià)比來(lái)看，都不是最合適的AI計(jì)算的產(chǎn)品。 換句話(huà)說(shuō)，如果英偉達(dá)是最合適的，可能也就沒(méi)有這么多AI芯片公司存在了。

算力芯片的后來(lái)者，要做的是從前人的發(fā)展中吸取經(jīng)驗(yàn)，但依然要摸索自己的路。CUDA的出現(xiàn)，最初只是為了使GPU能夠滿(mǎn)足除視覺(jué)處理之外的其他通用計(jì)算功能。而之所以CUDA會(huì)富有市場(chǎng)競(jìng)爭(zhēng)力，核心在于它實(shí)現(xiàn)了從硬件層到軟件層的全跑通，且基于其百萬(wàn)級(jí)的客戶(hù)體量，實(shí)現(xiàn)了對(duì)性能的優(yōu)化。

芯片設(shè)計(jì)、軟件開(kāi)發(fā)，這是一件亟需創(chuàng)新能力的事情。如果還想走CUDA的老路，只是盡可能模仿英偉達(dá)的產(chǎn)品，其實(shí)就沒(méi)有往把AI芯片做得更好的路徑上走，兼容CUDA某種程度也是在壯大英偉達(dá)的生態(tài)，增強(qiáng)對(duì)CUDA的依賴(lài)性。

而如果不兼容CUDA，走自主創(chuàng)新的道路，產(chǎn)品和企業(yè)發(fā)展的路徑都將更寬。因此有的企業(yè)選擇了走自定義編程模型的路線(xiàn)，提供從硬件平臺(tái)到開(kāi)發(fā)者工具包、計(jì)算庫(kù)和框架的一整套方案。

而對(duì)于這條路可能存在的獲客困難問(wèn)題，有的算力芯片企業(yè)向《中國(guó)電子報(bào)》記者表示，如果客戶(hù)下定決心向英偉達(dá)生態(tài)之外的其他產(chǎn)品遷移，其實(shí)平臺(tái)間遷移的困難并沒(méi)有想象中那么大，客戶(hù)還是能獲得豐厚商業(yè)價(jià)值回報(bào)的。

03.?底層邏輯是構(gòu)建開(kāi)發(fā)者生態(tài)

軟硬件協(xié)同完善的生態(tài)是客戶(hù)選擇CUDA的根本原因，也是英偉達(dá)領(lǐng)先于其他算力芯片企業(yè)最核心的競(jìng)爭(zhēng)力。

盡管在是否兼容CUDA的問(wèn)題上，算力芯片設(shè)計(jì)企業(yè)具有不同的觀點(diǎn)，但在搭建企業(yè)生態(tài)的問(wèn)題上，記者接觸的算力芯片企業(yè)都給出了一致的回答：要建設(shè)企業(yè)自己的生態(tài)體系。

至于何為生態(tài)、如何搭建生態(tài)，業(yè)界的觀點(diǎn)存在些許差異。

有的企業(yè)選擇從指令集開(kāi)始，到計(jì)算庫(kù)和編譯器等層次進(jìn)行自研，構(gòu)建軟硬件相結(jié)合的生態(tài)。構(gòu)建自己的軟件棧首先是打好基礎(chǔ)，對(duì)標(biāo)CUDA及以下的抽象層次，充分發(fā)揮自己芯片的特色，開(kāi)發(fā)出一套用戶(hù)可用、易用的編程模型。積硅步以至千里，最終幫助目標(biāo)客戶(hù)完成從英偉達(dá)到自家芯片的平滑遷移，同時(shí)又能使客戶(hù)在使用自己的軟件棧時(shí)充分感受到新特性帶來(lái)的更優(yōu)體驗(yàn)。

所謂的“生態(tài)”底層邏輯是開(kāi)發(fā)者生態(tài)。AI芯片作為技術(shù)屬性很強(qiáng)的產(chǎn)品，其核心價(jià)值是幫助開(kāi)發(fā)者在這個(gè)硬件的基礎(chǔ)上加速其算法開(kāi)發(fā)與業(yè)務(wù)部署。生態(tài)建設(shè)的成功與否取決于這款產(chǎn)品能否給客戶(hù)帶來(lái)價(jià)值。例如學(xué)生學(xué)習(xí)了這款產(chǎn)品的知識(shí)能夠幫助其找到工作，企業(yè)使用該產(chǎn)品后能實(shí)現(xiàn)其業(yè)務(wù)目標(biāo)，并且市場(chǎng)上也有相應(yīng)熟悉該產(chǎn)品的人才儲(chǔ)備等等；生態(tài)里的每一個(gè)角色都能獲得利益才是生態(tài)健康成長(zhǎng)的關(guān)鍵。

因此，有的算力芯片廠商給出了這樣的發(fā)展建議：國(guó)內(nèi)廠商協(xié)同定義自研編程模型，以此聯(lián)合拓展開(kāi)發(fā)者，集聚企業(yè)的力量，讓更多的高校、商業(yè)伙伴使用。

大模型的出現(xiàn)，為生態(tài)搭建從芯片廠各自為戰(zhàn)走向產(chǎn)業(yè)聯(lián)合提供了契機(jī)。

如果沒(méi)有大模型，各家都會(huì)選擇適合自己的通用方式，缺少將供應(yīng)鏈上下游集合到一起解決問(wèn)題的利益取向。用簡(jiǎn)單的話(huà)來(lái)說(shuō)，如果是三五張卡一臺(tái)服務(wù)器就能解決的問(wèn)題，一家企業(yè)單點(diǎn)調(diào)優(yōu)就可以實(shí)現(xiàn)了。而大模型是需要大算力和大互聯(lián)的東西，動(dòng)輒要調(diào)動(dòng)上萬(wàn)張卡、上千臺(tái)服務(wù)器，還要考慮供電等各種問(wèn)題，最后呈現(xiàn)的是關(guān)乎生產(chǎn)基礎(chǔ)甚至國(guó)計(jì)民生的東西，它所需要的資源就不是一家企業(yè)能夠做到的，因此更需要產(chǎn)業(yè)鏈的協(xié)作，更有機(jī)會(huì)調(diào)動(dòng)產(chǎn)業(yè)鏈更多的資源。

不僅如此，大模型的出現(xiàn)，也為算力芯片市場(chǎng)突破提供了機(jī)會(huì)。大模型的發(fā)展使人工智能的技術(shù)路線(xiàn)出現(xiàn)了收斂的趨勢(shì)。在大模型出現(xiàn)之前，對(duì)應(yīng)一個(gè)需求的解決方案非常繁雜，每個(gè)企業(yè)都會(huì)提出自己的方案。而大模型的發(fā)展，使得算法技術(shù)路線(xiàn)逐漸統(tǒng)一于Transformer模型，從而也為算力芯片日后需要瞄準(zhǔn)的技術(shù)方向樹(shù)立了“靶子”。在這種情況下，如果算力芯片企業(yè)能夠爭(zhēng)取到大的算力供應(yīng)商（例如大的互聯(lián)網(wǎng)公司）作為合作伙伴，再以此為基礎(chǔ)推出結(jié)合其他行業(yè)的特點(diǎn)做微調(diào)，進(jìn)而產(chǎn)出適合多行業(yè)的解決方案，就有很大的機(jī)會(huì)贏得更廣闊的市場(chǎng)前景，也就有了打破英偉達(dá)商業(yè)壁壘的機(jī)會(huì)。

關(guān)于如何實(shí)現(xiàn)產(chǎn)業(yè)鏈協(xié)作，實(shí)現(xiàn)算力芯片的破局，記者采訪(fǎng)的企業(yè)表示，可以聯(lián)通可控的供應(yīng)鏈，在所有的供應(yīng)鏈成員中了解自己有哪些獨(dú)特的技術(shù)，評(píng)估有競(jìng)爭(zhēng)力的地方，結(jié)合自己的技術(shù)特色解決人工智能發(fā)展中存在的問(wèn)題。、

要做好自己的產(chǎn)業(yè)生態(tài)，當(dāng)前最缺的是大量工程師的調(diào)優(yōu)工作。英偉達(dá)的GPU加速庫(kù)中有數(shù)學(xué)庫(kù)、并行算法庫(kù)、圖像和視頻庫(kù)、通信庫(kù)、深度學(xué)習(xí)庫(kù)等多個(gè)類(lèi)型，有100個(gè)加速庫(kù)，每個(gè)計(jì)算庫(kù)又積累了開(kāi)源代碼。這是英偉達(dá)幾萬(wàn)工程師耕耘了20年，通過(guò)解決客戶(hù)的問(wèn)題所積累起來(lái)的結(jié)果。

對(duì)于算力芯片企業(yè)而言，要做好自己的軟件生態(tài)，當(dāng)前不存在很多科研問(wèn)題，很多問(wèn)題都可以通過(guò)開(kāi)源代碼找到答案。當(dāng)前業(yè)內(nèi)存在的是工程問(wèn)題，需要安下心來(lái)一點(diǎn)一點(diǎn)做，需要依靠眾多工程師的力量，集中力量辦大事。現(xiàn)在算力芯片從0到1的突破已經(jīng)實(shí)現(xiàn)了，剩下的就要看時(shí)間和積累。

編輯：黃飛

?