AI大模型是“大數(shù)據(jù)+大算力+強算法”結合的產(chǎn)物，凝聚了大數(shù)據(jù)內(nèi)在精華的“隱式知識庫”。包含了“預訓練”和“大模型”兩層含義，即模型在大規(guī)模數(shù)據(jù)集上完成了預訓練后無需微調(diào)，或僅需要少量數(shù)據(jù)的微調(diào)，就能直接支撐各類應用。

AI大模型成為人工智能邁向通用智能的里程碑技術。AI大模型的落地應用使得AI的三要素由“數(shù)據(jù)、算法、算力”演變?yōu)椤皥鼍?、產(chǎn)品、算力”?；跀?shù)據(jù)的互聯(lián)網(wǎng)時代和基于算力的云計算時代之后，我們將進入基于大模型的AI時代。

AI大模型的發(fā)展歷程

? 從參數(shù)規(guī)模上看，AI大模型先后經(jīng)歷了預訓練模型、大規(guī)模預訓練模型、超大規(guī)模預訓練模型三個階段，每年參數(shù)規(guī)模至少提升10倍，參數(shù)量實現(xiàn)了從億級到百萬億級的突破。目前千億級參數(shù)規(guī)模的大模型成為主流。

?從技術架構上看，?Transformer架構是當前大模型領域主流的算法架構基礎，由此形成了GPT和BERT兩條主要的技術路線，其中BERT最有名的落地項目是谷歌的AlphaGo。在GPT3.0發(fā)布后，GPT逐漸成為大模型的主流路線。綜合來看，當前幾乎所有參數(shù)規(guī)模超過千億的大型語言模型都采取GPT模式，如百度文心一言，阿里發(fā)布的通義千問等。

? 從模態(tài)支持上看，AI大模型可分為自然語言處理大模型，CV大模型、科學計算大模型等。AI大模型支持的模態(tài)更加多樣，從支持文本、圖片、圖像、語音單一模態(tài)下的單一任務，逐漸發(fā)展為支持多種模態(tài)下的多種任務。

?從應用領域上看，大模型可分為通用大模型和行業(yè)大模型兩種。通用大模型是具有強大泛化能力，可在不進行微調(diào)或少量微調(diào)的情況下完成多場景任務，相當于AI完成了“通識教育”，ChatGPT、華為的盤古都是通用大模型。行業(yè)大模型則是利用行業(yè)知識對大模型進行微調(diào)，讓AI完成“專業(yè)教育”，以滿足在能源、金融、制造、傳媒等不同領域的需求，如金融領域的BloombergGPT、航天-百度文心等。

當前，AI大模型的發(fā)展正從以不同模態(tài)數(shù)據(jù)為基礎過渡到與知識、可解釋性、學習理論等方面相結合，呈現(xiàn)出全面發(fā)力、多點開花的新格局。

AI大模型發(fā)展階段

AI大模型發(fā)展歷經(jīng)三個階段，分別是萌芽期、沉淀期和爆發(fā)期。

?萌芽期（1950-2005）：以CNN為代表的傳統(tǒng)神經(jīng)網(wǎng)絡模型階段。1956年，從計算機專家約翰·麥卡錫提出“人工智能”概念開始，AI發(fā)展由最開始基于小規(guī)模專家知識逐步發(fā)展為基于機器學習。1980年，卷積神經(jīng)網(wǎng)絡的雛形CNN誕生。1998年，現(xiàn)代卷積神經(jīng)網(wǎng)絡的基本結構LeNet-5誕生，機器學習方法由早期基于淺層機器學習的模型，變?yōu)榱嘶?a target="_blank">深度學習的模型,為自然語言生成、計算機視覺等領域的深入研究奠定了基礎，對后續(xù)深度學習框架的迭代及大模型發(fā)展具有開創(chuàng)性的意義。

?沉淀期（2006-2019）：以Transformer為代表的全新神經(jīng)網(wǎng)絡模型階段。2013年，自然語言處理模型 Word2Vec誕生，首次提出將單詞轉換為向量的“詞向量模型”，以便計算機更好地理解和處理文本數(shù)據(jù)。2014年，被譽為21世紀最強大算法模型之一的GAN（對抗式生成網(wǎng)絡）誕生，標志著深度學習進入了生成模型研究的新階段。2017年，Google顛覆性地提出了基于自注意力機制的神經(jīng)網(wǎng)絡結構——Transformer架構，奠定了大模型預訓練算法架構的基礎。2018年，OpenAI和Google分別發(fā)布了GPT-1與BERT大模型，意味著預訓練大模型成為自然語言處理領域的主流。在探索期，以Transformer為代表的全新神經(jīng)網(wǎng)絡架構，奠定了大模型的算法架構基礎，使大模型技術的性能得到了顯著提升。

?爆發(fā)期（2020-至今）：以GPT為代表的預訓練大模型階段。

2020年，OpenAI公司推出了GPT-3，模型參數(shù)規(guī)模達到了1750億，成為當時最大的語言模型，并且在零樣本學習任務上實現(xiàn)了巨大性能提升。隨后，更多策略如基于人類反饋的強化學習（RHLF）、代碼預訓練、指令微調(diào)等開始出現(xiàn), 被用于進一步提高推理能力和任務泛化。2022年11月，搭載了GPT3.5的ChatGPT橫空出世，憑借逼真的自然語言交互與多場景內(nèi)容生成能力，迅速引爆互聯(lián)網(wǎng)。2023年3月，最新發(fā)布的超大規(guī)模多模態(tài)預訓練大模型——GPT-4，具備了多模態(tài)理解與多類型內(nèi)容生成能力。在迅猛發(fā)展期，大數(shù)據(jù)、大算力和大算法完美結合，大幅提升了大模型的預訓練和生成能力以及多模態(tài)多場景應用能力。如ChatGPT的巨大成功,就是在微軟Azure強大的算力以及wiki等海量數(shù)據(jù)支持下，在Transformer架構基礎上，堅持GPT模型及人類反饋的強化學習（RLHF）進行精調(diào)的策略下取得的。

國內(nèi)外企業(yè)發(fā)展概況

目前，在大模型領域，國內(nèi)外巨頭的競爭已經(jīng)白熱化。OpenAI已成為引領大模型發(fā)展的標桿企業(yè)。繼多模態(tài)大模型GPT-4發(fā)布后，預計今年四季度OpenAI將發(fā)布更為高級的ChatGPT-5版本。微軟借助對OpenAI的投資與合作，將旗下Office辦公產(chǎn)品全線整合，已在3月下旬推出Copilot Office。5月24日，微軟宣布Win11接入GPT-4。

圖片來源：賽迪智庫

5月10日，微軟的直接競爭對手谷歌推出新一代大模型PaLM 2，已有超過25個AI產(chǎn)品和功能全線接入PaLM 2，包括原有對話機器人Bard，AI+辦公助手Duet AI、AI+搜索引擎等，Meta則發(fā)布大模型LLaMA，加入競賽。亞馬遜與人工智能初創(chuàng)公司Hugging Face合作開發(fā)ChatGPT競品——BLOOM。

國內(nèi)，產(chǎn)投研各方均已加快布局步伐。一是國內(nèi)科技龍頭企業(yè)密集發(fā)布自研大模型。百度發(fā)布大模型文心一言，阿里發(fā)布首個超大規(guī)模語言模型通義千問，騰訊混元AI大模型團隊推出了萬億級別中文NLP預訓練模型HunYuan-NLP-1T。華為發(fā)布的鵬城盤古大模型是業(yè)界首個千億級生成和理解中文NLP大模型。

二是投創(chuàng)界積極入局大模型競賽。美團聯(lián)合創(chuàng)始人王慧文自帶5000萬美元入局AI大模型，搜狗前CEO王小川與搜狗前COO茹麗云共同創(chuàng)立百川智能，瀾舟科技發(fā)布其語言生成模型——孟子MChat可控大模型，西湖心辰也推出了心辰Chat大模型。

三是高校與科研院所積極布局大模型。復旦大學推出國內(nèi)首個類ChatGPT大模型MOSS，清華大學知識工程實驗室與其技術成果轉化公司智譜AI發(fā)布ChatGLM，中科院自動化所推出多模態(tài)大模型紫東太初，IDEA 研究院 CCNL推出開源通用大模型“姜子牙”。

目前大模型面臨四個挑戰(zhàn)

第一，評估驗證：當前針對大模型的評估數(shù)據(jù)集往往是更像“玩具”的學術數(shù)據(jù)集，但是這些學術數(shù)據(jù)集無法完全反應現(xiàn)實世界中形形色色的問題與挑戰(zhàn)，因此亟需實際的數(shù)據(jù)集在多樣化、復雜的現(xiàn)實問題上對模型進行評估，確保模型可以應對現(xiàn)實世界的挑戰(zhàn)；

第二，倫理道德：模型應該與人類的價值觀相符，確保模型行為符合預期，作為一個高級的復雜系統(tǒng)，如果不認真處理這種道德問題，有可能會為人類醞釀一場災難；

第三，安全隱患：需要更多的做好模型的可解釋性、監(jiān)督管理工作，安全問題應該是模型開發(fā)的重要組成部分，而非錦上添花可有可無的裝飾；

第四，發(fā)展趨勢：模型的性能還會隨著模型規(guī)模的增加而增長嗎？這個問題估計 OpenAI 也難以回答，我們針對大模型的神奇現(xiàn)象的了解仍然十分有限，針對大模型原理性的見解仍然十分珍貴。

編輯：黃飛

?