大模型是AI開發(fā)的新范式，是人工智能邁向通用智能的里程碑：大模型指通過在大規(guī)模寬泛的數(shù)據(jù)上進行訓(xùn)練后能適應(yīng)一系列下游任務(wù)的模型，本質(zhì)依舊是基于統(tǒng)計學(xué)的語言模型，只不過“突現(xiàn)能力”賦予其強大的推理能力。大模型的訓(xùn)練和推理都會用到AI芯片的算力支持，在數(shù)據(jù)和算法相同情況下，算力是大模型發(fā)展的關(guān)鍵，是人工智能時代的“石油”。

1.算法：大模型——人工智能邁向通用智能的里程碑

大模型就是Foundation Model（基礎(chǔ)模型），指通過在大規(guī)模寬泛的數(shù)據(jù)上進行訓(xùn)練后能適應(yīng)一系列下游任務(wù)的模型。大模型兼具“大規(guī)?！焙汀邦A(yù)訓(xùn)練”兩種屬性，面向?qū)嶋H任務(wù)建模前需在海量通用數(shù)據(jù)上進行預(yù)先訓(xùn)練，能大幅提升人工智能的泛化性、通用性、實用性，是人工智能邁向通用智能的里程碑技術(shù)。

大模型的本質(zhì)依舊是基于統(tǒng)計學(xué)的語言模型，“突現(xiàn)能力”賦予其強大的推理能力。當(dāng)前幾乎所有參數(shù)規(guī)模超過千億的大語言模型都采取GPT模式。近些年來，大型語言模型研究的發(fā)展主要有三條技術(shù)路線：Bert模式、GPT模式以及混合模式。Bert模式適用于理解類、做理解類、某個場景的具體任務(wù)，專而輕，2019年后基本上就沒有什么標(biāo)志性的新模型出現(xiàn)；混合模式大部分則是由國內(nèi)采用；多數(shù)主流大語言模型走的還是GPT模式，2022年底在GPT-3.5的基礎(chǔ)上產(chǎn)生了ChatGPT，GPT技術(shù)路線愈發(fā)趨于繁榮。

GPT4作為人工智能領(lǐng)域最先進的語言模型，在如下四個方面有較大的改進。

1）多模態(tài)：GPT4可以接受文本和圖像形式的prompt，在人類給定由散布的文本和圖像組成的輸入的情況下生成相應(yīng)的文本輸出（自然語言、代碼等）；

2）多語言：在測試的26種語言的24種中，GPT-4優(yōu)于GPT-3.5和其他大語言模型（Chinchilla，PaLM）的英語語言性能；

3）“記憶力”：GPT-4的最大token數(shù)為32,768，即2^15，相當(dāng)于大約64,000個單詞或50頁的文字，遠(yuǎn)超GPT-3.5和舊版ChatGPT的4,096個token；

4）個性化：GPT-4比GPT-3.5更原生地集成了可控性，用戶將能夠?qū)ⅰ熬哂泄潭ㄈ唛L、語氣和風(fēng)格的經(jīng)典ChatGPT個性”更改為更適合他們需要的東西。

2.算力：AI訓(xùn)練的基礎(chǔ)設(shè)施

大模型算力成本主要分為初始訓(xùn)練成本和后續(xù)運營成本。

初始訓(xùn)練：根據(jù)openAI官網(wǎng)數(shù)據(jù)，每個token（token是服務(wù)端生成的一串字符串,以作客戶端進行請求的一個令牌）的訓(xùn)練成本通常約為6N FLOPS（FLOPS指每秒浮點運算次數(shù)，理解為計算速度,可以用來衡量硬件的性能），其中N是LLM（大型語言模型）的參數(shù)數(shù)量。1750億參數(shù)模型的GPT-3是在3000億token上進行訓(xùn)練的。根據(jù)openAI官網(wǎng)數(shù)據(jù)，在訓(xùn)練過程中，模型的FLOPS利用率為46.2%。我們假設(shè)訓(xùn)練時間為1個月，采用英偉達(dá)A100進行訓(xùn)練計算（峰值計算能力為312 TFLOPS FP16/FP32），則測算結(jié)果為需要843顆英偉達(dá)A100芯片。

運營（推理）成本：運營階段所需算力量與使用者數(shù)量緊密相關(guān)。根據(jù)openAI官網(wǎng)數(shù)據(jù)，每個token的推理成本通常約為2N FLOPS，其中N是LLM的參數(shù)數(shù)量。根據(jù)openAI官網(wǎng)數(shù)據(jù)，在訓(xùn)練過程中，模型的FLOPS利用率為21.3%。同樣采用英偉達(dá)A100進行推理計算（峰值計算能力為312 TFLOPS FP16/FP32）。我們假設(shè)GPT-3每日5000萬活躍用戶，每個用戶提10個問題，每個問題回答400字，則測算結(jié)果為需要16255顆英偉達(dá)A100芯片。

GPT-4為多模態(tài)大模型，對算力要求相比GPT-3會提升10倍。GPT-4的收費是8kcontext為$0.03/1k token，是GPT-3.5-turbo收費的15倍（$0.002 / 1K tokens），因此我們推斷GPT-4的參數(shù)量是GPT-3的10倍以上，預(yù)計GPT-4的算力需求是GPT-3的10倍以上。

國產(chǎn)大模型有望帶動國內(nèi)新增A100出貨量超200萬顆，使得中國算力市場空間增加2倍以上。我們假設(shè)國內(nèi)百度，華為，阿里，騰訊，字節(jié)等前10位頭部大廠都會發(fā)布自己的大模型。

加速卡國產(chǎn)化率較低，美國制裁加速。根據(jù)IDC數(shù)據(jù)，2021年，中國加速卡市場中Nvidia占據(jù)超過80%市場份額。

英偉達(dá)推出中國特供版A800，算力與A100基本一致。2022年11月8日，英偉達(dá)推出A800 GPU，將是面向中國客戶的A100 GPU的替代產(chǎn)品。A800符合美國政府關(guān)于減少出口管制的明確測試，并且不能通過編程來超過它。A800 GPU在算力上與A100保持一致，但增加了40GB顯存的PCIe版本，但在NVLink互聯(lián)速度上，A800相較于A100下降了200GB/s的速度。同時，A800 80GB SXM版本目前已經(jīng)不支持16塊GPU的成套系統(tǒng)，上限被限制在8塊?？偟膩砜矗珹800能夠滿足國內(nèi)市場需求，是A100的平替版本。

3.數(shù)據(jù)：AI發(fā)展的驅(qū)動力

數(shù)據(jù)資源是AI產(chǎn)業(yè)發(fā)展的重要驅(qū)動力之一。數(shù)據(jù)集作為數(shù)據(jù)資源的核心組成部分，是指經(jīng)過專業(yè)化設(shè)計、采集、清洗、標(biāo)注和管理，生產(chǎn)出來的專供人工智能算法模型訓(xùn)練的數(shù)據(jù)。

大模型的訓(xùn)練數(shù)據(jù)主要來自于維基百科、書籍、期刊、Reddit社交新聞?wù)军c、Common Crawl和其他數(shù)據(jù)集。OpenAI雖沒有直接公開ChatGPT的相關(guān)訓(xùn)練數(shù)據(jù)來源和細(xì)節(jié)，但可以從近些年業(yè)界公布過的其他大模型的訓(xùn)練數(shù)據(jù)推測出ChatGPT的訓(xùn)練數(shù)據(jù)來源，近幾年大模型訓(xùn)練采用的數(shù)據(jù)來源基本類似。國內(nèi)大模型的數(shù)據(jù)來源和自身優(yōu)勢業(yè)務(wù)有較強相關(guān)性，如百度文心一言大模型的來源主要基于互聯(lián)網(wǎng)公開數(shù)據(jù)，包括網(wǎng)頁、搜索、圖片、語音日均調(diào)用數(shù)據(jù)，以及知識圖譜等。

GPT4依靠大量多模態(tài)數(shù)據(jù)訓(xùn)練。GPT4是一個大規(guī)模的多模態(tài)模型，相比于此前的語言生成模型，數(shù)據(jù)方面最大的改進之一就是突破純文字的模態(tài)，增加了圖像模態(tài)的輸入，具有強大的圖像理解能力，即在預(yù)練習(xí)階段輸入任意順序的文本和圖畫，圖畫經(jīng)過Vision Encoder向量化、文本經(jīng)過普通transformer向量化，兩者組成多模的句向量，練習(xí)目標(biāo)仍為next-word generation。根據(jù)騰訊云開發(fā)者推測，GPT4訓(xùn)練數(shù)據(jù)中還額外增加了包含正誤數(shù)學(xué)問題、強弱推理、矛盾一致陳述及各種意識形態(tài)的數(shù)據(jù)，數(shù)據(jù)量可能是GPT3.5（45TB數(shù)據(jù)）的190倍。

4.應(yīng)用：AI的星辰大海

AI時代已經(jīng)來臨，最大的市場將是被AI賦能的下游應(yīng)用市場。如果說AI是第四次工業(yè)革命，那么正如前三次工業(yè)革命，最大的市場將是被AI賦能的下游應(yīng)用市場。本輪革命性的產(chǎn)品ChatGPT將極大地提升內(nèi)容生產(chǎn)力，率先落地于AIGC領(lǐng)域，打開其產(chǎn)業(yè)的想象邊界。文本生成、代碼生成、圖像生成以及智能客服將是能直接賦予給下游行業(yè)的能力，打開其產(chǎn)業(yè)想象的邊界。

最直接的應(yīng)用在內(nèi)容創(chuàng)作領(lǐng)域。ChatGPT的功能核心是基于文本的理解和分析，與內(nèi)容創(chuàng)作行業(yè)趨同。ChatGPT可用于創(chuàng)建新聞文章、博客文章甚至小說等內(nèi)容，它可以生成原創(chuàng)且連貫的內(nèi)容，為內(nèi)容創(chuàng)作者節(jié)省時間和資源。整體生成式AI已用于創(chuàng)建圖像，視頻，3D對象，Skyboxes等。這大大節(jié)省了創(chuàng)作時間，同時帶來了多樣的創(chuàng)作風(fēng)格。

ChatGPT解決了機器人的痛點。ChatGPT開啟了一種新的機器人范式，允許潛在的非技術(shù)型用戶參與到回路之中，ChatGPT可以為機器人場景生成代碼。在沒有任何微調(diào)的情況下，利用LLM的知識來控制不同的機器人動作，以完成各種任務(wù)。ChatGPT大大改善了機器人對指令的理解，并且不同于以前單一、明確的任務(wù)，機器人可以執(zhí)行復(fù)合型的任務(wù)。

ChatGPT在芯片設(shè)計領(lǐng)域的應(yīng)用。傳統(tǒng)的芯片設(shè)計強烈依賴模板而忽視了大量可以復(fù)用的優(yōu)秀數(shù)據(jù)，同時數(shù)據(jù)量大導(dǎo)致ChatGPT泛化性更好。此外芯片硬件模塊相對單一，有一些成熟范式，芯片設(shè)計代碼復(fù)雜但人工不足，這些都與ChatGPT有很好的互補。AI使得芯片開發(fā)成本降低、周期縮短，具備足夠多訓(xùn)練數(shù)據(jù)和AI能力的芯片設(shè)計公司競爭優(yōu)勢可能會擴大。

審核編輯 ：李倩