上周，百度董事長(zhǎng)兼CEO李彥宏對(duì)于開(kāi)源大模型的一番言論引發(fā)了爭(zhēng)議。

李彥宏在Create 2024百度AI開(kāi)發(fā)者大會(huì)上表示：“開(kāi)源模型會(huì)越來(lái)越落后。”

李彥宏的解釋是，百度基礎(chǔ)模型文心4.0可根據(jù)不同需求，在效果、響應(yīng)速度和推理成本等方面靈活剪裁，生成適應(yīng)各種場(chǎng)景的精簡(jiǎn)模型，并支持精調(diào)和post pretrain。相較于直接使用開(kāi)源模型，文心4.0剪裁出的模型在同等尺寸下表現(xiàn)更佳，而在同等效果下成本更低，因此他預(yù)測(cè)開(kāi)源模型將會(huì)越來(lái)越落后。

但很多AI從業(yè)者都不太認(rèn)同這一結(jié)論。比如獵豹移動(dòng)董事長(zhǎng)兼CEO、獵戶(hù)星空董事長(zhǎng)傅盛很快發(fā)視頻反駁，說(shuō)“開(kāi)源社區(qū)將最終戰(zhàn)勝閉源”。

開(kāi)源模型到底能否超越閉源模型？這個(gè)問(wèn)題從去年開(kāi)始就備受爭(zhēng)議。

去年5月，外媒曾報(bào)道谷歌流出一份文件，主題是“我們沒(méi)有護(hù)城河，OpenAI也沒(méi)有。當(dāng)我們還在爭(zhēng)吵時(shí)，開(kāi)源已經(jīng)悄悄地?fù)屃宋覀兊娘埻搿薄?/p>

去年Meta發(fā)布開(kāi)源大模型Llama 2后，Meta副總裁、人工智能部門(mén)負(fù)責(zé)人楊立昆（Yann LeCun）表示，Llama 2將改變大語(yǔ)言模型的市場(chǎng)格局。

人們對(duì)于Llama系列模型所引領(lǐng)的開(kāi)源社區(qū)備受期待。但直到今天，最新發(fā)布的Llama 3仍然沒(méi)有追上最先進(jìn)的閉源模型GPT-4，盡管兩者的差距已經(jīng)很小了。

「甲子光年」采訪了多位AI從業(yè)者，一個(gè)普遍的反饋是，討論開(kāi)源好還是閉源好，本身是由立場(chǎng)決定的，也不簡(jiǎn)簡(jiǎn)單單是一個(gè)二元對(duì)立的問(wèn)題。

開(kāi)源與閉源并非一個(gè)技術(shù)問(wèn)題，更多是一個(gè)商業(yè)模式的問(wèn)題。然而，大模型當(dāng)前的發(fā)展現(xiàn)狀是，不論是開(kāi)源還是閉源，都還沒(méi)有找到切實(shí)可行的商業(yè)模式。

所以，未來(lái)到底會(huì)如何發(fā)展呢？

1.差距沒(méi)有拉大，而是在縮小

開(kāi)源模型與閉源模型到底誰(shuí)更強(qiáng)？不妨先看一下客觀的數(shù)據(jù)排名情況。

大模型領(lǐng)域最權(quán)威的榜單是大模型競(jìng)技場(chǎng)（LLM Arena），采用了國(guó)際象棋一直采用了ELO積分體系。它的基本規(guī)則是，讓用戶(hù)向兩個(gè)匿名模型（例如 ChatGPT、Claude、Llama）提出任何問(wèn)題，并投票給回答更好的一個(gè)?；卮鸶玫哪Ｐ蛯@得積分，最終的排名由累計(jì)積分的高低來(lái)確定。Arean ELO收集了50萬(wàn)人的投票數(shù)據(jù)。

大模型排行榜，圖片來(lái)自LLM Arena截圖

在LLM Arena榜單上，OpenAI的GPT-4長(zhǎng)期霸榜第一。Anthropic最新發(fā)布的Claude 3曾短期取代GPT-4取得第一名的桂冠，但OpenAI很快發(fā)布最新版本的GPT-4 Turbo，重新奪回第一的寶座。

LLM Arena排名前十的模型基本上被閉源模型壟。能夠擠進(jìn)前十名榜單的開(kāi)源模型只有兩個(gè)：一是Meta上周剛剛發(fā)布的LLama 3 70B，排名第五，也是表現(xiàn)最好的開(kāi)源模型；二是“Transformer八子”之一的Aidan Gomez創(chuàng)立的Cohere近期發(fā)布的Command R+，排名第七。值得一提的是，阿里發(fā)布的開(kāi)源模型Qwen1.5-72B-Chat，排名第十二，是國(guó)內(nèi)表現(xiàn)最好的開(kāi)源模型。

從絕對(duì)排名上看，閉源模型仍然遙遙領(lǐng)先開(kāi)源模型。但若從兩者的差距來(lái)看，并非李彥宏所說(shuō)的越來(lái)越大，而是越來(lái)越小。

閉源模型與開(kāi)源模型的差距，圖片來(lái)自X

昆侖萬(wàn)維董事長(zhǎng)兼CEO方漢此前曾對(duì)「甲子光年」表示，開(kāi)源模型與閉源模型的差距已經(jīng)從落后2年追到僅落后4~6個(gè)月了。

什么因素會(huì)影響開(kāi)源和閉源模型的能力差異？

微博新技術(shù)研發(fā)負(fù)責(zé)人張俊林認(rèn)為，模型能力增長(zhǎng)曲線的平滑或陡峭程度比較重要。如果模型能力增長(zhǎng)曲線越陡峭（單位時(shí)間內(nèi)，模型各方面能力的增長(zhǎng)數(shù)量，越快就類(lèi)似物體運(yùn)動(dòng)的“加速度”越大），則意味著短時(shí)間內(nèi)需要投入越大的計(jì)算資源，這種情況下閉源模型相對(duì)開(kāi)源模型是有優(yōu)勢(shì)的，主要是資源優(yōu)勢(shì)導(dǎo)致的模型效果優(yōu)勢(shì)。

反過(guò)來(lái)，如果模型能力增長(zhǎng)曲線越平緩，則意味著開(kāi)源和閉源模型的差異會(huì)越小，追趕速度也越快。這種由模型能力增長(zhǎng)曲線陡峭程度決定的開(kāi)源閉源模型的能力差異，可以稱(chēng)之為模型能力的“加速度差”。

張俊林認(rèn)為，往后多看幾年，開(kāi)源與閉源的能力是縮小還是增大，取決于在“合成數(shù)據(jù)”方面的技術(shù)進(jìn)展。如果“合成數(shù)據(jù)”技術(shù)在未來(lái)兩年能獲得突破，則兩者差距是有可能拉大的；如果不能突破，則開(kāi)源和閉源模型能力會(huì)相當(dāng)。

所以，“合成數(shù)據(jù)”是未來(lái)兩年大語(yǔ)言模型最關(guān)鍵的決定性的技術(shù)，很可能沒(méi)有之一。

2.開(kāi)源模型的“真假開(kāi)源”

人們對(duì)于開(kāi)源模型的期待，很大程度上就在于“開(kāi)源”兩個(gè)字。

開(kāi)源是軟件行業(yè)蓬勃發(fā)展的決定性力量。正如360集團(tuán)創(chuàng)始人周鴻祎近期在哈佛大學(xué)演講中提到的那樣：“沒(méi)有開(kāi)源就沒(méi)有Linux，沒(méi)有PHP，沒(méi)有MySQL，甚至沒(méi)有互聯(lián)網(wǎng)。包括在人工智能的發(fā)展上，如果沒(méi)有當(dāng)初谷歌開(kāi)源Transformer，就不會(huì)有OpenAI和GPT。我們都是受益于開(kāi)源成長(zhǎng)起來(lái)的個(gè)人和公司?！?

但是，這一次的開(kāi)源模型可能要讓很多開(kāi)源信徒失望了。

去年Llama 2發(fā)布后不久，就有批評(píng)聲音稱(chēng)，Meta其實(shí)是在“假開(kāi)源”。

比如，開(kāi)源友好型風(fēng)險(xiǎn)投資公司RedPoint的董事總經(jīng)理Erica Brescia表示：“誰(shuí)能向我解釋一下，如果Llama 2實(shí)際上沒(méi)有使用OSI（開(kāi)放源碼計(jì)劃）批準(zhǔn)的許可證，也不符合OSD（開(kāi)放源碼定義），Meta公司和微軟公司又如何稱(chēng)Llama 2為開(kāi)放源碼？他們是在故意挑戰(zhàn)OSS（開(kāi)放源碼軟件）的定義嗎？”?

的確，Llama 2并沒(méi)有遵循上述協(xié)議，而是自定義了一套“開(kāi)源規(guī)則”，包括禁止使用Llama 2去訓(xùn)練其它語(yǔ)言模型，如果該模型用于每月用戶(hù)超過(guò)7億的應(yīng)用程序和服務(wù)，則需要獲得Meta的特殊許可證。

Llama 2雖然自稱(chēng)為開(kāi)源模型，但僅僅開(kāi)放了模型權(quán)重——也就是訓(xùn)練之后的參數(shù)，但訓(xùn)練數(shù)據(jù)、訓(xùn)練代碼等關(guān)鍵信息都未開(kāi)放。

零一萬(wàn)物開(kāi)源負(fù)責(zé)人林旅強(qiáng)告訴「甲子光年」，現(xiàn)在說(shuō)的開(kāi)源模型，對(duì)比開(kāi)源軟件來(lái)說(shuō)，是一種介于閉源與開(kāi)源的中間狀態(tài)，開(kāi)發(fā)者可以在其基礎(chǔ)上做微調(diào)、做RAG，但又無(wú)法像開(kāi)源軟件那樣對(duì)模型本身做修改，更無(wú)法得到其訓(xùn)練源數(shù)據(jù)。

在“真開(kāi)源”的開(kāi)源軟件領(lǐng)域，一個(gè)顯著的特點(diǎn)是軟件源代碼共享，開(kāi)源社區(qū)的開(kāi)發(fā)者不僅可以反饋Bug，而且可以直接貢獻(xiàn)代碼。 比如，國(guó)產(chǎn)開(kāi)源數(shù)據(jù)庫(kù)TiDB就分享過(guò)一組數(shù)據(jù)，在每年更新的40%的代碼中，有40%是由外部貢獻(xiàn)者貢獻(xiàn)的。

但由于大模型的算法黑盒，僅僅開(kāi)放模型權(quán)重的“半開(kāi)源”，導(dǎo)致了一個(gè)結(jié)果：用Llama 2的開(kāi)發(fā)者再多，也不會(huì)幫助Meta提升任何Llama 3的能力和Know-how，Meta也無(wú)法靠Llama 2獲取任何的數(shù)據(jù)飛輪。

Meta想要訓(xùn)練更強(qiáng)的Llama 3，還是只能靠自己團(tuán)隊(duì)內(nèi)部的人才、數(shù)據(jù)、GPU資源來(lái)做，還是需要做實(shí)驗(yàn)（比如Scailing Law）、收集更多的優(yōu)質(zhì)數(shù)據(jù)、建立更大的計(jì)算集群。這本質(zhì)上與OpenAI訓(xùn)練閉源的GPT-4無(wú)異。

正如李彥宏在百度內(nèi)部信中所言，開(kāi)源模型并不能像開(kāi)源軟件那樣做到“眾人拾柴火焰高”。

今天，很多開(kāi)源模型都注意到了這個(gè)問(wèn)題。比如谷歌在發(fā)布開(kāi)源模型Gemma的時(shí)候，谷歌特意將其命名為“開(kāi)放模型（Open Model）”而非“開(kāi)源模型（Open Source Model）”。谷歌表示：開(kāi)放模型具有模型權(quán)重的免費(fèi)訪問(wèn)權(quán)限，但使用條款、再分發(fā)和變體所有權(quán)根據(jù)模型的具體使用條款而變化，這些條款可能不基于開(kāi)源許可證。

昆侖萬(wàn)維AI Infra負(fù)責(zé)人成誠(chéng)在知乎上對(duì)于開(kāi)源模型做了以下分級(jí)：

僅模型開(kāi)源（技術(shù)報(bào)告只列舉了 Evaluation）。主要利好做應(yīng)用的公司（繼續(xù)訓(xùn)練和微調(diào)）和普通用戶(hù)（直接部署） ?

技術(shù)報(bào)告開(kāi)源訓(xùn)練過(guò)程。比較詳盡的描述了模型訓(xùn)練的關(guān)鍵細(xì)節(jié)。利好算法研究。

訓(xùn)練代碼開(kāi)源/技術(shù)報(bào)告開(kāi)源全部細(xì)節(jié)。包含了數(shù)據(jù)配比的核心關(guān)鍵信息。這些信息價(jià)值連城，是原本需要耗費(fèi)很多GPU資源才能得到的Know-how。

全量訓(xùn)練數(shù)據(jù)開(kāi)源。其他有算力資源的團(tuán)隊(duì)可以基于訓(xùn)練數(shù)據(jù)和代碼完全復(fù)現(xiàn)該模型。訓(xùn)練數(shù)據(jù)可以說(shuō)是大模型團(tuán)隊(duì)最核心的資產(chǎn)。

數(shù)據(jù)清洗框架和流程開(kāi)源。從源頭的原始數(shù)據(jù)（比如CC網(wǎng)頁(yè)、PDF電子書(shū)等）到 可訓(xùn)練的數(shù)據(jù)的清洗過(guò)程也開(kāi)源， 其他團(tuán)隊(duì)不僅可以基于此清洗框架復(fù)現(xiàn)數(shù)據(jù)預(yù)處理過(guò)程，還可以通過(guò)搜集更多的源（比如基于搜索引擎抓取的全量網(wǎng)頁(yè)）來(lái)擴(kuò)展自己的數(shù)據(jù)規(guī)模，得到比原始模型更強(qiáng)的基座模型。

他表示，實(shí)際上大部分的模型開(kāi)源諸如LLama2、Mistral、Qwen等，只做到Level-1， 像DeepSeek可以做到Level-2。 而Level-4及以上的開(kāi)源一個(gè)都沒(méi)有。至今沒(méi)有一家公司開(kāi)源自己的全部訓(xùn)練數(shù)據(jù)和數(shù)據(jù)清洗代碼，以至于開(kāi)源模型無(wú)法被第三方完整復(fù)現(xiàn)。

這樣做的結(jié)果是： 掌握著模型進(jìn)步的核心機(jī)密（數(shù)據(jù)、配比）被大模型公司牢牢掌握在自己手里，除了大模型公司自己的團(tuán)隊(duì)，沒(méi)有任何其他來(lái)自開(kāi)源社區(qū)的力量可以幫助其提升下一次訓(xùn)練模型的能力。

因此，這就回到一個(gè)關(guān)鍵問(wèn)題：如果開(kāi)源不能借助外部力量幫助提升模型性能，為什么還要開(kāi)源？

3.模型開(kāi)源的意義是什么？

開(kāi)源還是閉源，本身并不決定模型性能的高低。閉源模型并非因?yàn)殚]源而領(lǐng)先，開(kāi)源模型也并非因?yàn)殚_(kāi)源而落后。甚至恰恰相反，模型是因?yàn)轭I(lǐng)先才選擇閉源，因?yàn)椴粔蝾I(lǐng)先不得不選擇開(kāi)源。

因此，如果一家公司做出了性能很強(qiáng)的模型，它就有可能不再開(kāi)源了。

比如法國(guó)的明星創(chuàng)業(yè)公司Mistral，其開(kāi)源的最強(qiáng)7B模型Mistral-7B和首個(gè)開(kāi)源MoE模型8x7B（MMLU 70）是開(kāi)源社區(qū)聲量最大的模型之一。 但是，Mistral后續(xù)訓(xùn)練的Mistral-Medium（MMLU-75）、Mistral-Large（MMLU-81） 均是閉源模型。

目前性能最好的閉源模型與性能最好的開(kāi)源模型都是由大公司所主導(dǎo)，而大公司里又屬M(fèi)eta的開(kāi)源決心最大。如果OpenAI不開(kāi)源是從商業(yè)回報(bào)的角度來(lái)考慮，那么Meta選擇開(kāi)源讓用戶(hù)免費(fèi)試用的目的又是什么呢？

在上一季度的財(cái)報(bào)會(huì)上，扎克伯格對(duì)這件事的回應(yīng)是，Meta開(kāi)源其AI技術(shù)是出于推動(dòng)技術(shù)創(chuàng)新、提升模型質(zhì)量、建立行業(yè)標(biāo)準(zhǔn)、吸引人才、增加透明度和支持長(zhǎng)期戰(zhàn)略的考慮。

具體來(lái)說(shuō)，開(kāi)源帶來(lái)了諸多戰(zhàn)略好處。

首先，開(kāi)源軟件通常會(huì)更安全，更可靠，而且會(huì)由于社區(qū)提供的持續(xù)反饋和審查而變得更高效。這點(diǎn)非常重要，因?yàn)榘踩茿I領(lǐng)域的最關(guān)鍵議題之一。

其次，開(kāi)源軟件會(huì)時(shí)常成為行業(yè)標(biāo)準(zhǔn)。而當(dāng)其他企業(yè)基于Meta的技術(shù)棧建立標(biāo)準(zhǔn)時(shí)，新創(chuàng)新就會(huì)更容易融入Meta的產(chǎn)品中。這種微妙的優(yōu)勢(shì)，就是巨大的競(jìng)爭(zhēng)優(yōu)勢(shì)。

再次，開(kāi)源在開(kāi)發(fā)者中非常受歡迎。因?yàn)榭萍脊ぷ髡邆兛释麉⑴c到廣泛采納的開(kāi)放系統(tǒng)中，這就會(huì)讓Meta吸引更多頂尖人才，從而在新興技術(shù)領(lǐng)域保持領(lǐng)先地位。同時(shí)，由于Meta具有獨(dú)特的數(shù)據(jù)和產(chǎn)品集成，開(kāi)源Llama基礎(chǔ)設(shè)施并不會(huì)削弱Meta的核心競(jìng)爭(zhēng)力。

Meta是大公司中開(kāi)源決心最大的公司，也是收益最大的公司。盡管訓(xùn)練大模型需要耗費(fèi)幾千億美元，但自從2023年把業(yè)務(wù)重心聚焦在開(kāi)源大模型上以來(lái)，Meta的股價(jià)已經(jīng)上漲了大約272%。Meta不僅從開(kāi)源中收獲了名聲，也收獲了巨大的財(cái)務(wù)回報(bào)。

Meta股價(jià)走勢(shì)圖，圖片來(lái)自X

Meta最新發(fā)布的Llama 3也是開(kāi)源模型。除了8B與70B兩個(gè)較小參數(shù)的模型，正在訓(xùn)練中的Llama 3 400B大概率也會(huì)是開(kāi)源模型，而且有望成為第一個(gè)超越GPT-4的開(kāi)源模型。

4.閉源to C，開(kāi)源to B

不論開(kāi)源模型還是閉源模型，都需要找到合適的商業(yè)模式。

今天大模型行業(yè)逐漸形成的一個(gè)趨勢(shì)是，閉源模型更傾向做to C，開(kāi)源模型更傾向于做to B。

月之暗面創(chuàng)始人楊植麟曾表示，要想做to C領(lǐng)域的Super App，就必須用自研（閉源）模型，因?yàn)椤爸挥凶匝心Ｐ筒拍茉谟脩?hù)體驗(yàn)上產(chǎn)生差異化”。

楊植麟認(rèn)為，開(kāi)源模型本質(zhì)上是一種to B的獲客工具，或者是在Super App之外的長(zhǎng)尾應(yīng)用，才可能基于開(kāi)源模型去發(fā)揮數(shù)據(jù)的優(yōu)勢(shì)或場(chǎng)景的優(yōu)勢(shì)。

但開(kāi)源模型無(wú)法構(gòu)建產(chǎn)品壁壘。比如，在海外有幾百個(gè)基于開(kāi)源擴(kuò)散模型Stable Diffusion的應(yīng)用出現(xiàn)，但最后其實(shí)沒(méi)有任何一個(gè)跑出來(lái)。

其次，無(wú)法在開(kāi)源技術(shù)的基礎(chǔ)上通過(guò)數(shù)據(jù)的虹吸效應(yīng)讓模型持續(xù)地優(yōu)化，因?yàn)殚_(kāi)源模型本身是分布式部署，沒(méi)有一個(gè)集中的地方接收數(shù)據(jù)。

相比之下，開(kāi)源模型更加適合在to B領(lǐng)域落地。

零一萬(wàn)物開(kāi)源負(fù)責(zé)人林旅強(qiáng)告訴「甲子光年」，toB是一單一單直接從客戶(hù)身上賺錢(qián)，提供的不是產(chǎn)品，而是服務(wù)和解決方案，而且是一個(gè)定制化的服務(wù)。做服務(wù)是用開(kāi)源還是閉源？To B的客戶(hù)肯定首選開(kāi)源模型，因?yàn)椴粌H能省下授權(quán)費(fèi)用，還有更高的定制空間。

開(kāi)源模型往往被當(dāng)成一種最便宜的獲得銷(xiāo)售線索的手段。廠商可通過(guò)幾十B或以下規(guī)模的開(kāi)源模型擴(kuò)大用戶(hù)群體，以獲取銷(xiāo)售線索、證明技術(shù)實(shí)力。如果客戶(hù)有更多定制化需求，模型廠商也可以提供更多的服務(wù)。

同時(shí)，開(kāi)源與閉源并非一個(gè)單選題，很多公司都采用了開(kāi)源與閉源雙輪驅(qū)動(dòng)的戰(zhàn)略，比如智譜AI、百川智能、零一萬(wàn)物等等。

王小川就認(rèn)為，從to B角度，開(kāi)源閉源其實(shí)都需要。未來(lái)80%的企業(yè)會(huì)用到開(kāi)源的大模型，因?yàn)殚]源沒(méi)有辦法對(duì)產(chǎn)品做更好的適配，或者成本特別高，閉源可以給剩下的20%提供服務(wù)。二者不是競(jìng)爭(zhēng)關(guān)系，而是在不同產(chǎn)品中互補(bǔ)的關(guān)系。”

不論開(kāi)源還是閉源，大模型商業(yè)化面臨的根本問(wèn)題是，如何降低推理成本。只有降低了推理成本，大模型才有可能真正大規(guī)模落地。

今天，開(kāi)源與閉源陣營(yíng)分別有自己的支持者。但如果參考iOS與安卓操作系統(tǒng)的發(fā)展軌跡來(lái)看，彼此之間的良性競(jìng)爭(zhēng)大大促進(jìn)了產(chǎn)品的迭代與用戶(hù)體驗(yàn)的升級(jí)。這才是開(kāi)閉源之爭(zhēng)最終的價(jià)值。