電子發(fā)燒友網(wǎng)報(bào)道（文/梁浩斌）過(guò)去幾年中爆發(fā)的AI算力需求，英偉達(dá)GPU成為了最大的贏家，無(wú)論是自動(dòng)駕駛還是AI大模型，比如特斯拉、小鵬、OpenAI、字節(jié)跳動(dòng)等廠商都在爭(zhēng)相搶購(gòu)英偉達(dá)GPU產(chǎn)品，獲得足夠的算力構(gòu)建自己的計(jì)算中心，用于訓(xùn)練不同應(yīng)用的AI模型。

AI領(lǐng)域眾星捧月也造就了英偉達(dá)市值曾突破三萬(wàn)億美元，并短暫登頂全球第一的位置。不過(guò)蘋(píng)果卻反其道而行之，在7月底蘋(píng)果公司揭露的官方論文顯示，蘋(píng)果自研大模型AFM背后，完全沒(méi)有英偉達(dá)GPU的影子。

蘋(píng)果大模型訓(xùn)練，選擇了谷歌芯片

在蘋(píng)果近期揭露的一篇技術(shù)論文中，詳細(xì)介紹了蘋(píng)果在端側(cè)和服務(wù)器側(cè)的大模型。在大模型預(yù)訓(xùn)練的階段，蘋(píng)果基礎(chǔ)模型是在AXLearn框架上進(jìn)行訓(xùn)練的，據(jù)蘋(píng)果介紹，AXLearn框架是蘋(píng)果公司在2023年發(fā)布的開(kāi)源項(xiàng)目，這個(gè)框架建立在JAX和XLA的基礎(chǔ)上，允許模型在各種硬件和云平臺(tái)上進(jìn)行高效和可擴(kuò)展性訓(xùn)練，包括TPU以及云端和本地的GPU。

蘋(píng)果采用了數(shù)據(jù)并行、張量并行、序列并行和完全分片數(shù)據(jù)并行（FSDP）的組合來(lái)沿多個(gè)維度擴(kuò)展訓(xùn)練，如數(shù)據(jù)規(guī)模、模型規(guī)模和序列長(zhǎng)度。

其中，蘋(píng)果的AFM服務(wù)器端大模型是蘋(píng)果規(guī)模最大的語(yǔ)言模型，該模型在8192個(gè)TPUv4芯片上進(jìn)行了預(yù)訓(xùn)練，這些芯片被配置成8*1024個(gè)芯片集群，通過(guò)數(shù)據(jù)中心網(wǎng)絡(luò)（DCN）連接。預(yù)訓(xùn)練有三個(gè)階段，首先使用 6.3 萬(wàn)億個(gè)Tokens開(kāi)始，接著使用 1 萬(wàn)億個(gè)Tokens繼續(xù)訓(xùn)練，最后使用 1000 億個(gè)Tokens進(jìn)行上下文長(zhǎng)度的擴(kuò)展。

而在AFM的端側(cè)模型上，蘋(píng)果對(duì)其進(jìn)行了大幅修剪，論文披露AFM端側(cè)模型是一個(gè)擁有30億參數(shù)的模型，該模型是從64億參數(shù)的服務(wù)器模型中蒸餾而來(lái)，而這個(gè)服務(wù)器模型則是在完整的6.3萬(wàn)億參數(shù)量上進(jìn)行訓(xùn)練。

與服務(wù)器端模型不同的是，AFM端側(cè)模型采用的芯片是谷歌的TPUv5，論文中的信息顯示，AFM端側(cè)模型是在一個(gè)由2048個(gè)TPUv5p芯片組成的集群上進(jìn)行訓(xùn)練的。

谷歌在去年12月發(fā)布了TPUv5p，面向云端AI加速，谷歌稱之為“迄今為止最強(qiáng)大、可擴(kuò)展性最強(qiáng)和最靈活的人工智能加速器”。

TPUv5p在bfloat16精度下可以提供459 teraFLOPS（每秒可執(zhí)行459萬(wàn)億次浮點(diǎn)運(yùn)算）算力；在Int8精度下，TPU v5p可以提供918 teraOPS（每秒可執(zhí)行918萬(wàn)億次整數(shù)運(yùn)算）；支持95GB的HBM內(nèi)存，帶寬高達(dá)2.76 TB/s。

相比上一代的TPU v4，TPUv5p實(shí)現(xiàn)了每秒浮點(diǎn)運(yùn)算次數(shù)提高一倍，內(nèi)存帶寬是前代的三倍，訓(xùn)練大模型速度提升2.8倍，并且性價(jià)比是前代的2.1倍。

除了蘋(píng)果之外，目前采用谷歌TPU系列芯片進(jìn)行大模型訓(xùn)練的還有谷歌自家的Gemini、PaLM，以及OpenAI前副總裁創(chuàng)立的Anthropic所推出的Claude大模型，上個(gè)月Anthropic發(fā)布的Llama 3.1 405B還被認(rèn)為是最強(qiáng)開(kāi)源大模型。

蘋(píng)果、谷歌、Anthropic的實(shí)例，證明了TPU在大模型訓(xùn)練上的能力。但相比于英偉達(dá)，TPU目前在大模型領(lǐng)域的應(yīng)用依舊只是冰山一角，背后更多的大模型公司，包括OpenAI、特斯拉、字節(jié)跳動(dòng)等巨頭，主力AI數(shù)據(jù)中心依然是普遍采用英偉達(dá)GPU。

英偉達(dá)的挑戰(zhàn)者們

一直以來(lái)，圍繞CUDA打造的軟件生態(tài)，是英偉達(dá)在GPU領(lǐng)域最大的護(hù)城河，尤其是隨著目前AI領(lǐng)域的發(fā)展加速，市場(chǎng)火爆，英偉達(dá)GPU+CUDA的開(kāi)發(fā)生態(tài)則更加穩(wěn)固，AMD、英特爾等廠商雖然在努力追趕，但目前還未能看到有威脅英偉達(dá)地位的可能。

但市場(chǎng)的火爆難免吸引更多的玩家入局，對(duì)英偉達(dá)發(fā)起挑戰(zhàn)，或者說(shuō)是在AI廣闊的市場(chǎng)空間中，希望分得一杯羹。

首先是英偉達(dá)在GPU領(lǐng)域的最大對(duì)手AMD ，今年一月有研究人員在Frontier超算集群上，利用其中8%左右的GPU，訓(xùn)練出一個(gè)GPT 3.5級(jí)別規(guī)模的大模型。而Frontier超算集群是完全基于AMD硬件的，由37888個(gè)MI250X GPU和9472個(gè)Epyc 7A53 CPU組成，這次研究也突破了在AMD硬件上突破了先進(jìn)分布式訓(xùn)練模型的難點(diǎn)，為AMD平臺(tái)訓(xùn)練大模型驗(yàn)證了可行性。

同時(shí)，CUDA生態(tài)也在逐步擊破，今年7月英國(guó)公司Spectral Compute推出了可以為AMD GPU原生編譯CUDA源代碼的方案，大幅提高了AMD GPU對(duì)CUDA的兼容效率。

英特爾的Gaudi 3 也在發(fā)布時(shí)直接對(duì)標(biāo)英偉達(dá)H100，并宣稱在模型訓(xùn)練速度和推理速度上分別比英偉達(dá)H100提高了40%和50%。

除了芯片巨頭外，也不乏來(lái)自初創(chuàng)公司的沖擊。比如Groq推出的LPU、Cerebras推出的Wafer Scale Engine 3、Etched推出的Sohu等等。國(guó)內(nèi)方面，有走多卡集群訓(xùn)練路線的初創(chuàng)公司，比如摩爾線程在今年6月宣布與羽人科技合作成功實(shí)現(xiàn)了摩爾線程夸娥（KUAE）千卡智算集群與羽人系列模型解決方案的訓(xùn)練兼容適配，高效完成了70億參數(shù)羽人大語(yǔ)言模型YuRen-7b的訓(xùn)練測(cè)試。

摩爾線程夸娥方案基于全功能MTT S4000 GPU，該GPU采用了第三代MUSA內(nèi)核，單卡支持48GB顯存容量和768GB/s的顯存帶寬，F(xiàn)P16算力為100TFLOPS。值得一提的是，MTT S4000計(jì)算卡借助摩爾線程自研開(kāi)發(fā)工具，可以充分兼容現(xiàn)有CUDA軟件生態(tài)，實(shí)現(xiàn)CUDA代碼零成本遷移到MUSA平臺(tái)。

天數(shù)智芯也與智源研究院、愛(ài)特云翔合作，提供天垓100加速卡、構(gòu)建算力集群及全程技術(shù)支持，實(shí)現(xiàn)基于自主通用GPU的大模型CodeGen（高效編碼）項(xiàng)目，通過(guò)中文描述來(lái)生成可用的C、Java、Python代碼以實(shí)現(xiàn)高效編碼。

另外值得一提的是，國(guó)內(nèi)還有一家走TPU路線的AI芯片公司——中昊芯英。該公司在2023年底推出了國(guó)內(nèi)首款量產(chǎn)TPU AI訓(xùn)練芯片“剎那”，據(jù)稱在處理大模型訓(xùn)練和推理任務(wù)時(shí)相比英偉達(dá)A100，性能提高近150%，能耗下降30%，單位算力成本僅為A100的42%。

當(dāng)然，除了芯片公司，據(jù)現(xiàn)有的信息，目前主流的云服務(wù)供應(yīng)商，比如前面提到的谷歌，還有亞馬遜、微軟、Meta、阿里巴巴、字節(jié)跳動(dòng)、百度、華為等都有自研芯片的布局，其中還包括用于AI大模型訓(xùn)練的芯片。

寫(xiě)在最后

從長(zhǎng)遠(yuǎn)來(lái)看，自研芯片是云服務(wù)供應(yīng)商有效降低算力成本的方式之一，當(dāng)AI大模型訓(xùn)練成為了云計(jì)算的重要用途時(shí)，自研AI訓(xùn)練芯片自然也是云服務(wù)廠商的長(zhǎng)遠(yuǎn)之計(jì)。蘋(píng)果作為消費(fèi)電子巨頭已經(jīng)邁出了重要的一步，即擺脫對(duì)英偉達(dá)的算力依賴，并且還有大量的挑戰(zhàn)者正在蠢蠢欲動(dòng)。星星之火，可以燎原，英偉達(dá)在AI訓(xùn)練領(lǐng)域的地位，可能沒(méi)有表面看起來(lái)那么穩(wěn)固。