英特爾豐富的AI產(chǎn)品——面向數(shù)據(jù)中心的至強處理器，邊緣處理器及AI PC等產(chǎn)品為開發(fā)者提供最新的優(yōu)化，助力其運行Meta新一代大語言模型Meta Llama 3

Meta近日推出其下一代大語言模型（LLM）——Meta Llama 3。在發(fā)布的第一時間，英特爾即優(yōu)化并驗證了80億和700億參數(shù)的Llama 3模型能夠在英特爾至強處理器、英特爾Gaudi加速器、英特爾酷睿Ultra處理器和英特爾銳炫顯卡的AI產(chǎn)品組合上運行。

英特爾一直積極與AI軟件生態(tài)系統(tǒng)的領先企業(yè)展開合作，致力于提供兼具性能與易用性的解決方案。Meta Llama 3是AI大語言模型重要迭代的新一浪潮。作為AI軟硬件產(chǎn)品技術創(chuàng)新的引領者，英特爾很開心能夠與Meta合作，充分挖掘諸如Llama 3等模型的潛力，助力生態(tài)伙伴開發(fā)領先的AI應用。

重要意義：秉承推動AI無處不在的愿景，英特爾持續(xù)深耕軟件和AI生態(tài)，以確保其產(chǎn)品能夠滿足AI領域持續(xù)變化的創(chuàng)新需求。在數(shù)據(jù)中心，集成英特爾高級矩陣擴展加速引擎（IntelAMX）的英特爾至強處理器和英特爾Gaudi能夠為滿足客戶不斷變化、多元化的需求提供更多選擇。

英特爾酷睿Ultra處理器和英特爾銳炫顯卡不僅為開發(fā)者提供了本地開發(fā)工具，也為在數(shù)百萬臺設備上進行部署提供全面的軟件框架和工具支持。其中，包括PyTorch和用于本地研發(fā)的英特爾PyTorch擴展包，以及用于模型開發(fā)和推理的OpenVINO工具包等。

在英特爾產(chǎn)品上運行Llama 3：英特爾初步測試和評估80億和700億參數(shù)的Llama 3模型在自身產(chǎn)品上的性能時，使用了包括PyTorch、DeepSpeed、英特爾Optimum Habana庫和英特爾PyTorch擴展包在內的開源軟件，并提供最新的軟件優(yōu)化。

●英特爾至強處理器能夠運行嚴苛的端到端AI工作負載，同時為了降低延遲，英特爾也通過技術創(chuàng)新來優(yōu)化大語言模型的推理性能。配備性能核的英特爾至強6處理器（代號Granite Rapids）在運行80億參數(shù)的Llama 3模型推理時，延遲比第四代英特爾至強處理器表現(xiàn)出兩倍的提升，并且能夠以低于100毫秒的token延遲運行700億參數(shù)的Llama 3模型推理。

●英特爾Gaudi 2加速器在70億、130億和700億參數(shù)的Llama 2模型上具備優(yōu)化的性能，現(xiàn)在其基于全新的Llama 3模型也有了初步性能測試。隨著英特爾Gaudi軟件的更新，英特爾能夠輕松運行新的Llama 3模型，并為推理和微調生成結果。近期發(fā)布的英特爾Gaudi 3加速器也支持運行Llama 3。

●英特爾酷睿Ultra和英特爾銳炫顯卡在運行Llama 3時亦展現(xiàn)出卓越的性能。在初步測試中，英特爾酷睿Ultra處理器已經(jīng)展現(xiàn)出遠高于人類通常閱讀速度的輸出生成性能。此外，英特爾銳炫A770 顯卡具備Xe內核中的全新矩陣引擎（Xe Matrix eXtensions，XMX）AI加速和16GB顯存，進一步為大語言模型工作負載提供卓越性能。

未來，Meta將增加新的能力、更多模型尺寸以及增強的性能。英特爾也將持續(xù)提升自身AI產(chǎn)品性能，以支持這一全新的大語言模型。

審核編輯：劉清