我前兩天看到了一個挺震撼的視頻，科學(xué)家們在NASA戈達(dá)德空間飛行中心的天體物理學(xué)家指導(dǎo)下，使用Discover超級計算機模擬了跳入黑洞的過程。

畫面視覺效果攝人心魄，而一組數(shù)據(jù)同樣讓我感到震撼：該視頻生成10TB的數(shù)據(jù)，只用了5天，耗費了0.3%總算力。如果我們想用自己的筆記本電腦模擬這個場景，需要花費的時間是10年。

“時間就是金錢，效率就是生命”，這句改開時代的口號，在大模型驅(qū)動的智算時代，仍舊不過時。

算力作為生產(chǎn)力，所節(jié)約的不只是金錢，更重要的是時間。

目前算力集群已經(jīng)從千卡，邁入了萬卡、五萬卡集群。甚至有媒體預(yù)測，GPT6未來部署的時候，需要70萬-80萬張卡才能支撐。

那問題來了，萬卡集群在執(zhí)行大規(guī)模訓(xùn)練任務(wù)時負(fù)載重，發(fā)生軟硬件錯誤的概率，當(dāng)然也就更高。萬卡時代，一張卡、一臺機器或一個鏈路的故障，都可能導(dǎo)致中斷，拖慢進(jìn)程。那么十萬卡、百萬卡等更大數(shù)量級的提升，未來如何應(yīng)對？

最近幾個月，我們團隊跟不少ICT廠商做了交流，簡單總結(jié)一下行業(yè)動向，那就是：邁入萬卡時代，必須“過三關(guān)”。

萬卡時代，做AI=“中彩票”？

有必要首先說明一下，為什么智能計算仍在“堆卡”？從千卡、萬卡到十萬卡、百萬卡，這個趨勢是可持續(xù)的嗎？

伴隨著模型規(guī)模與數(shù)據(jù)參數(shù)愈發(fā)龐大，在可以預(yù)見的未來，基礎(chǔ)設(shè)施層面的“堆卡”競賽仍將繼續(xù)。

目前，國際科技巨頭如谷歌、微軟、蘋果等，在算力集群建設(shè)上持續(xù)投入，其中AI算力占總算力支出的比例持續(xù)增長，預(yù)計到2025年將達(dá)到25%。放眼國內(nèi)，萬卡及以上的組網(wǎng)也成為下一代智算中心的建設(shè)重點。

然而，算力集群卡的數(shù)量非線性增加，會帶來更大的不穩(wěn)定性和協(xié)作難度。正如新華三在前不久的媒體與分析師大會上所說，單卡單打獨斗我們（與N卡）有差距，多卡集群服務(wù)不能打群架。

（拍攝自新華三集團2024媒體與分析師溝通會）

我們知道，分布式并行訓(xùn)練能夠加速訓(xùn)練過程，是大模型常用的訓(xùn)練方式，相當(dāng)于將任務(wù)分配給多個AI硬件，組成協(xié)作節(jié)點和集群，主打一個“人多力量大”。但是，人多還得心齊啊，讓多卡用高效一致的步伐進(jìn)行協(xié)作，卻是一件難事，容易出現(xiàn)“打群架”的情況。

多卡“打架”，集群就會因故障而中斷。

一位清華大學(xué)計算機教授曾分享過一個數(shù)據(jù)，其團隊寫一次容錯檢查點checkpoint需要三小時，這還是世界先進(jìn)水平（未經(jīng)優(yōu)化前）。

工作三小時就得被迫停下，活（訓(xùn)練過程）又一點不能少，只能加班加點。普通打工人聽了都得“抓狂”，更別說要跟技術(shù)創(chuàng)新?lián)屗俣?、作業(yè)生產(chǎn)要效率的產(chǎn)學(xué)界了。

多卡集群“不打群架”，將算力最大化地有效使用起來，發(fā)揮每一張GPU的價值，提升訓(xùn)練效率，對開發(fā)人員來說，堪比中“彩票”，價值很大，但概率卻不定。

顯然，千行百業(yè)智能化，當(dāng)然不能靠“中彩”和運氣。

當(dāng)算力集群即將從萬卡，邁入五萬、十萬乃至百萬卡的清晰未來，我們不能只以單一的規(guī)模和FLOPS浮點運算次數(shù)，來衡量智算中心的綜合水平。其他因素也同樣重要，比如集群擴展性、兼容性、算效比、能耗比等。

如何提供一個穩(wěn)定可靠高性能的智算基礎(chǔ)設(shè)施，萬卡時代要“過三關(guān)”。

第一關(guān)：闖過資源墻

超大規(guī)模集群的不穩(wěn)定性，一方面要對抗硬件數(shù)量非線性增長帶來的“增熵”。

隨著集群增大，AI芯片也會出現(xiàn)算力衰減的情況。支撐穩(wěn)定高效的訓(xùn)練，就需要優(yōu)化分布式計算系統(tǒng)的并行加速比。

更高的加速比，可以讓集群在執(zhí)行同一任務(wù)時，獲得更高的速度和效率。也就是說，算力集群能夠最大限度地一直運轉(zhuǎn)，那么有效訓(xùn)練時間的比例更高，是開發(fā)人員衡量集群性能的一個關(guān)鍵。

比如國產(chǎn)大模型文心4.0，就通過百度智能云的萬卡集群進(jìn)行訓(xùn)練，支持模型的穩(wěn)定高效迭代進(jìn)化。目前，百度智能云上萬卡訓(xùn)練集群的加速比和有效訓(xùn)練時間，達(dá)到 95% 以上。

（拍攝自IPF2024浪潮信息生態(tài)伙伴大會）

另一方面，中國智算還有一個特殊的要求，那就是闖過多元異構(gòu)算力的“資源墻（resource wall)”。

不少智算中心，使用不一樣的AI芯片服務(wù)器組成異構(gòu)集群合池訓(xùn)練，共同完成一個大模型訓(xùn)練。尤其是此前GPU緊缺的情況下，一些數(shù)據(jù)中心、智算中心在不同時期，購買了不同的GPU，形成了不同類型、不同版本的異構(gòu)集群。

多元異構(gòu)的國產(chǎn)算力，既能以用促建，促進(jìn)國產(chǎn)AI芯片的發(fā)展，減少對海外單一供應(yīng)鏈的依賴，也能發(fā)揮不同類型芯片的特性，提高計算資源的利用率和訓(xùn)練效率。

但要將多元異構(gòu)算力進(jìn)行合池訓(xùn)練，會帶來精度誤差、同步問題，以及更復(fù)雜的資源管理和調(diào)度策略，更高的開發(fā)運維難度等。

未來，每個行業(yè)、每家公司都可能訓(xùn)練自己的大模型，帶來充沛、高效、穩(wěn)定的AI算力需求。讓十萬百萬級集群、多元異構(gòu)的算卡，以高效一致的步伐進(jìn)行協(xié)作，將成為中國智算行業(yè)的關(guān)鍵挑戰(zhàn)。

第二關(guān)：踏寬通信路

如果網(wǎng)絡(luò)通信的聯(lián)接能力不暢，大量算力資源折損在傳輸過程中，給智算中心與AI模型開發(fā)者帶來的損失都是難以估量的。

如何將大量算卡有效地連接起來，形成一個高效穩(wěn)定的計算網(wǎng)絡(luò)，是支撐超大規(guī)模集群的關(guān)鍵。

需要說明的是，網(wǎng)絡(luò)作為算力運輸?shù)牡缆?，并不能無止境地拓寬。集群網(wǎng)絡(luò)，尤其是萬卡、十萬卡集群網(wǎng)絡(luò)的拓展，會受到幾方面的制約。

首先是成本上，萬卡乃至五萬卡集群，所需要的網(wǎng)絡(luò)設(shè)備數(shù)、端口數(shù)、光模塊數(shù)量，可能會達(dá)到百萬級別。而一個普通的400G光模塊功耗就在10瓦到12瓦，當(dāng)一個網(wǎng)絡(luò)需要一萬多個光模塊，僅僅是電費成本都非常龐大。

此外，有業(yè)內(nèi)人士向我們表示，萬卡集群還容易搭建起來，未來如果要有百萬卡集群來訓(xùn)練的大模型，可能整個城市的電都不夠用。解決這個問題，那就需要分區(qū)、跨城域的算網(wǎng)，比如將多個萬卡集群連起來，組成五萬卡、十萬卡集群。這就需要超高帶寬的400G甚至800G網(wǎng)絡(luò)，低時延、無損地支撐算力資源調(diào)度。

而一張運力強大、輻射范圍廣的算力網(wǎng)絡(luò)，意味著管理運維的難度，也前所未有地增大了，依靠傳統(tǒng)人力運維是不現(xiàn)實、不高效的。通過智能化、平臺化、自動化，來實現(xiàn)更有效的網(wǎng)絡(luò)納管，是華為、新華三等ICT廠商正在探索的方向。

第三關(guān)：走出軟件生態(tài)叢林

鄭緯民院士曾提到一個觀點：目前國內(nèi)已經(jīng)有30多家公司推出了國產(chǎn)AI芯片，“但用戶不太喜歡用，核心問題就是生態(tài)不好”。

這里的生態(tài)，指的是國產(chǎn)軟件生態(tài)。

目前，編程框架、并行加速、通信庫、算子庫、AI編譯器、編程語言、調(diào)度器、內(nèi)存分配系統(tǒng)、容錯系統(tǒng)、存儲系統(tǒng)等關(guān)鍵軟件，雖然都有國產(chǎn)的，但仍有不足之處，比如功能不夠齊全、性能不夠好、生態(tài)貢獻(xiàn)者不夠繁榮等。

在鄭院士看來，如果能把軟件問題解決好，那么國產(chǎn)AI芯片硬件性能達(dá)到國外芯片的60%，大多數(shù)用戶也可以是滿意的，國產(chǎn)AI卡也會大受歡迎。軟件做不好，國產(chǎn)硬件再好，也沒有市場。

而萬卡時代，意味著AI硬件的種類更多，既有不同架構(gòu)，還有不同品類、不同版本。企業(yè)或開發(fā)者想要著手AI模型和應(yīng)用開發(fā)，會在復(fù)雜的軟件生態(tài)中暈頭轉(zhuǎn)向，很難快速找到路徑。

比如說，每個芯片廠商都有自己的底層軟件棧，且彼此不兼容，這就給AI開發(fā)者帶來了大量移植工作，適配遷移的操作繁瑣，時間、人力、金錢成本都很高。

我們注意到，2024年以來，幫助企業(yè)和AI開發(fā)者加快走出軟件叢林，不少智算廠商都在強化AI軟件賦能。比如寧暢在3月提出了“全局智算”戰(zhàn)略，以“AI軟動力”支持“精、準(zhǔn)、穩(wěn)”的AI集群設(shè)計，幫助客戶實現(xiàn)大規(guī)模AI集群方案架構(gòu)設(shè)計；中科曙光首次提出了“立體計算”體系，在“建、用、生態(tài)”三維發(fā)力的全新計算體系中，加大對軟件生態(tài)的投入和支持；4月浪潮信息發(fā)布的企業(yè)大模型開發(fā)平臺“元腦企智（EPAI）”，通過端到端的解決方案，為企業(yè)提供AI應(yīng)用開發(fā)全流程的系列工具。

可以看到，“軟硬兼施”的均衡能力，正在成為智算市場的兵家必爭之地。

（拍攝自寧暢全局智算發(fā)布會）

大模型正在重塑產(chǎn)品、企業(yè)和社會，AI將無處不在，也讓萬卡時代成為一個確定性的未來。五萬卡、十萬卡乃至百萬卡的算力集群，將是第四次工業(yè)革命的蒸汽機、發(fā)動機。

量子力學(xué)的創(chuàng)始人海森堡說過，提出正確的問題，往往等于解決了問題的大半。

從這個角度來說，正在闖關(guān)的中國智算行業(yè)，一定能在萬卡時代，將算力的“心臟”握在自己手中。