Meta推出最強開源模型Llama 3 要挑戰(zhàn)GPT

Facebook母公司Meta Platforms（META.US）推出了開源AI大模型“Llama”的最新升級版本“Llama 3”，Meta公司這次開源了Llama 3 8B與70B兩款不同規(guī)模的模型，開發(fā)者可以免費使用，而Meta公司還將陸續(xù)推出一系列具備多模態(tài)、多語言對話、更長上下文窗口等能力的新模型。

據(jù)悉Meta用搭載超2.4萬塊H100芯片的計算機集群訓(xùn)練Llama 3。Llama 3最大參數(shù)規(guī)模超4000億，訓(xùn)練token超15萬億，訓(xùn)練數(shù)據(jù)規(guī)模差不多是Llama 2的七倍。而且訓(xùn)練效率比Llama 2高3倍；同時在安全性也有非常明顯的進步。對比GPT-3.5多種人類評估測評勝率超六成。

基于Llama 3模型目前已經(jīng)覆蓋Instagram、WhatsApp、Facebook等Meta公司的應(yīng)用軟件。

OpenAI的核心創(chuàng)始成員之一、特斯拉前AI總監(jiān)Andrej Karpathy認為400B Llama3性能已接近GPT-4 的水平。

Meta首席產(chǎn)品官考克斯表示Llama 3在它參數(shù)模型的許多基準上都處于行業(yè)領(lǐng)先地位。

有業(yè)界分析師認為開源大模型Llama 3期待已久，Meta公司肯定非常希望Llama3能夠超越OpenAI的GPT-4。