前言： 人工智能推理的重要性日益凸顯，高效運行端側大模型及AI軟件背后的核心技術正是推理。不久的未來，全球芯片制造商的主要市場將全面轉向人工智能推理領域。

Groq LPU崛起，AI芯片主戰(zhàn)場轉向

與AI訓練相比，AI推理與用戶終端場景需求更為緊密，訓練后的大規(guī)模模型需通過AI推理實際應用到場景中。

然而，目前基于英偉達GPU的AI推理方案成本較高，性能和時延問題影響了用戶體驗。

在Groq LPU亮相之前，大型AI模型的訓練和推理均依賴于英偉達GPU，并采用CUDA軟件技術棧。

然而，Groq LPU的迅速崛起使市場開始猜測AI芯片的主戰(zhàn)場或?qū)挠柧氜D向推理。

Groq LPU推理卡從硬件層面解決了性能和成本問題，使AI推理大規(guī)模部署成為可能，推動更多AI推理類應用落地。

與此同時，AI推理需求的增長將進一步推動云端推理芯片的發(fā)展，尤其是更多可替代英偉達GPU的新一代專用推理芯片將應用于數(shù)據(jù)中心。

在推理階段，AI模型需以極致速度運行，旨在為終端用戶提供更多的Token，從而加快響應用戶指令的速度。

需求帶動，重心從訓練轉向推理

AI推理領域與大規(guī)模消費電子等應用終端需求緊密相關，因此，行業(yè)發(fā)展重心有望從[訓練]全面轉向[推理]。

相較于AI訓練，推理領域在[海量數(shù)據(jù)轟炸]應用背景下的GPU并行化算力需求遠低于訓練領域。

推理進程涉及已訓練模型的決策或識別，擅長處理復雜邏輯任務和控制流任務的以CPU為核心的中央處理器足以高效應對諸多推理場景。

當前，AI市場主要集中在使用大數(shù)據(jù)訓練大語言模型的[訓練]階段，英偉達成為這一領域的主要受益者。

然而，隨著AI大模型變得更精簡、可在設備上運行并專注于推理任務，芯片制造商的市場重心將轉向[推理]，即模型應用。

展望產(chǎn)業(yè)發(fā)展趨勢，AI算力負載有望逐步從訓練向推理端遷移，從而降低AI芯片門檻。

覆蓋可穿戴設備、電動汽車及物聯(lián)網(wǎng)等領域的芯片公司有望全面滲透至AI推理芯片領域。

預計數(shù)據(jù)中心也將對專門用于已訓練模型推理任務的處理器產(chǎn)生興趣，共同推動推理市場規(guī)模超越訓練市場。

預計在一到兩年內(nèi)，AI大模型在訓練端和推理端都將產(chǎn)生巨量的算力/AI芯片需求。

如果未來大模型廣泛商用落地，推理端的算力/AI芯片的需求量將明顯高于訓練端。

經(jīng)過兩到三年的AI訓練用數(shù)據(jù)中心升級周期后，市場將看到更多來自推理芯片供應商的銷量。

AI推理漸多，企業(yè)與資本也向推理轉移

AMD CEO蘇姿豐認為：未來大模型推理市場的規(guī)模將遠遠大于模型訓練市場。

英特爾CEO基辛格表示：當推理發(fā)生時，就不存在CUDA依賴性了，并不是說英特爾不會在訓練領域展開競爭，而是從根本上說，推理市場才是競爭的焦點。

扎克伯格認為：很明顯，下一代服務需要構建全面的通用智能、構建最好的AI助手、為企業(yè)創(chuàng)造者以及更多要在AI各個領域取得進步——從推理到規(guī)劃到編碼到記憶和其他認知能力。

伴隨著企業(yè)AI應用逐步成熟，企業(yè)將把更多算力從模型訓練轉移到AI推理工作中。

在芯片需求方面，訓練芯片注重通用性，而推理芯片則與已訓練完成的大模型具有高度綁定性。

隨著大模型應用的不斷深化，推理需求也逐漸從云端遷移至邊緣/終端，并呈現(xiàn)出定制化的發(fā)展趨勢。

在全球AI芯片市場，先推理后訓練成為主流路徑，例如英特爾收購的AI芯片公司Habana以及我國諸多AI初創(chuàng)公司。

這一選擇背后，是下游市場的催化作用：隨著AI模型訓練逐漸成熟，AI應用逐步落地，云端推理市場已逐漸超過訓練市場。

人工智能計算資源正由訓練大規(guī)模AI模型逐步轉向推理，因此在客戶端、邊緣和云之間需要構建更為均衡的基礎設施。

據(jù)估計，全球已有超過18家致力于AI大模型訓練和推理的芯片設計初創(chuàng)公司，累計獲得超過60億美元融資，整體估值超過250億美元。

這些創(chuàng)業(yè)公司得到了諸如紅杉資本、OpenAI、五源資本、字節(jié)跳動等強大投資方的支持。

同時，微軟、英特爾、AMD等科技巨頭也在加大[造芯]力度，使得英偉達面臨前所未有的競爭壓力。

與英偉達競速，各企業(yè)從細分領域突破

為降低模型訓練與推理成本，業(yè)界持續(xù)探索實現(xiàn)高能效和高性能芯片架構的更多可能性。

觀察諸如Meta、亞馬遜、Alphabet等科技巨頭，它們均在研發(fā)自家的AI芯片。

這些芯片更具專業(yè)性和明確目標，相較之下，英偉達的芯片則具備更高的通用性。

①AMD：最新發(fā)布的MI300包括兩大系列，MI300X系列是一款大型GPU，擁有領先的生成式AI所需的內(nèi)存帶寬和大語言模型所需的訓練和推理性能；

MI300A系列集成CPU+GPU，基于最新的CDNA3架構和Zen4 CPU，可以為HPC和AI工作負載提供突破性能。

去年12月，AMD在推出旗艦MI300X加速卡之外，還宣布Instinct MI300A APU已進入量產(chǎn)階段，預估今年開始交付，上市后有望成為世界上最快的HPC解決方案。

去年7月，英特爾公司在北京發(fā)布了一款針對中國市場、采用7納米工藝的AI芯片Habana Gaudi2，該芯片可運行大語言模型，加速AI訓練及推理。

其運行ResNet-50的每瓦性能約為英偉達A100的2倍，性價比相較于AWS云中基于英偉達的解決方案高出40%。

②英特爾：宣布與Arm公司合作，使其至強產(chǎn)品部署到Arm CPU上，并推出AI推理和部署運行工具套件OpenVINO。

此外，開源模型如LIama2陸續(xù)發(fā)布，促使更多企業(yè)直接使用這些模型，僅需AI推理芯片即可應用，從而減少了對算力訓練芯片的需求。

英特爾去年年底推出了新的計算機芯片，其中包括用于生成人工智能軟件的人工智能芯片Gaudi3。

Gaudi3將于今年推出，將與英偉達和AMD等競爭對手的芯片競爭，為大型且耗電的人工智能模型提供動力。

③Meta：計劃在今年投產(chǎn)自研芯片，降低AI加速卡采購成本，減少對英偉達的依賴。

該芯片功耗僅25瓦，為英偉達相同產(chǎn)品功耗的0.05%，并采用RISC-V開源架構。市場消息透露，該芯片由臺積電7納米工藝生產(chǎn)。

Meta近期宣布已構建自有DLRM推理芯片，并已廣泛部署。

這款ASIC內(nèi)部被稱為[Artemis]，主要性能集中在推理領域，基于去年宣布的第二代內(nèi)部芯片產(chǎn)品線。

扎克伯格在視頻中透露了Meta人工智能計劃的更新路線圖：Meta將圍繞即將推出的Llama3構建全新的Meta AI路線圖，目前正在推進Llama3的AI訓練。

Llama3將與Google最近發(fā)布的Gemini模型、OpenAI的GPT-4，以及即將推出的GPT-5模型競爭。

④英偉達：去年8月，英偉達宣布推出新一代GH200 Grace Hopper超級芯片，新芯片將于今年第二季投產(chǎn)。

GH200和GH200NVL將采用基于Arm的CPU和Hopper解決大型語言模型的訓練和推理問題。

英偉達計劃基于x86架構推出B100替代H200，并基于ARM架構的推理芯片GB200替代GH200。

此外，英偉達還規(guī)劃了B40產(chǎn)品來替代L40S，以提供更好的面向企業(yè)客戶的AI推理解決方案。

根據(jù)英偉達計劃于今年發(fā)布Blackwell架構，采用該架構的B100 GPU芯片預計將大幅提高處理能力。

初步評估數(shù)據(jù)表明，與現(xiàn)有采用Hopper架構的H200系列相比，性能提升超過100%。

⑤亞馬遜：去年初，AWS發(fā)布專為人工智能打造的Inferentia2（Inf2），計算性能提高三倍，加速器總內(nèi)存提高25%，支持分布式推理。

通過芯片之間的直接超高速連接，Inf2支持分布式推理，可以處理多達1750億個參數(shù)，使其成為當今人工智能芯片市場上最強大的內(nèi)部制造商。

單點突破有收獲，國產(chǎn)有望追平

與此同時，我國華為、天數(shù)智芯等AI芯片制造商也在積極布局大模型訓練推理及AI算力產(chǎn)品。

當前，我國廠商如寒武紀、燧原、昆侖芯等的產(chǎn)品已具備與市場主流的Tesla T4正面競爭的實力：其能效比為1.71TOPS/W，與T4的1.86TOPS/W差距微小。

選擇GPGPU的登臨科技、天數(shù)智芯、燧原科技已實現(xiàn)訓練與推理的全面覆蓋，而ASIC類芯片如平頭哥，則需專注于推理或訓練場景。

①億鑄科技：基于CIM框架、RRAM存儲介質(zhì)的研發(fā)的[全數(shù)字存算一體]大算力芯片，通過降低數(shù)據(jù)搬運提高運算能效比，同時借助數(shù)字存算一體方法確保運算精度，適用于云端AI推理和邊緣計算。

②寒武紀：思元370作為寒武紀第三代云端產(chǎn)品，運用7納米制程工藝，成為我國首款采用Chiplet技術的AI芯片，其最大算力可達256TOPS（INT8）。

寒武紀主要采用ASIC架構，雖通用性較差，但在特定應用場景下，其算力可超越GPU。

有測試結果顯示，590性能接近A100的90%性能；590基本支持主流模型，綜合性能接近A100的80%水平。

此外，思元370也是寒武紀首款采用Chiplet技術的AI芯片，集成了390億個晶體管，最大算力高達256TOPS（INT8）。

③平頭哥：去年8月，平頭哥發(fā)布首個自研RISC-V AI平臺，支持運行170余個主流AI模型，推動RISC-V進入高性能AI應用時代。

同時，平頭哥宣布玄鐵處理器C920全新升級，C920執(zhí)行GEMM計算較Vector方案可提速15倍。

④壁仞科技：其BR100系列基于自主原創(chuàng)的芯片架構開發(fā)，采用成熟的7納米工藝制程，集成770億晶體管，16位浮點算力達到1000T以上、8位定點算力達到2000T以上，單芯片峰值算力達到PFLOPS級別。

同時，BR100結合了包括Chiplet等在內(nèi)的多項業(yè)內(nèi)前沿芯片設計、制造與封裝技術，具有高算力、高能效、高通用性等優(yōu)勢。

⑤燧原科技：成立5年多來，已建成云端訓練和云端推理兩條產(chǎn)品線，并開發(fā)出云燧T10、云燧T20/T21訓練產(chǎn)品以及云燧i10、云燧i20等推理產(chǎn)品。

據(jù)媒體報道，燧原科技第三代AI芯片產(chǎn)品將于今年初上市。

⑥華為：昇騰310是面向推理和邊緣計算場景的低功耗芯片，是國內(nèi)面向邊緣計算場景最強算力的AI SoC。

昇騰310芯片可以實現(xiàn)高達16Tops的現(xiàn)場算力，支持同時識別包括車、人、障礙物、交通標志在內(nèi)的200個不同的物體；一秒鐘內(nèi)可處理上千張圖片。

華為昇騰系列AI芯片具備一項獨特優(yōu)勢，即采用了華為自主研發(fā)的統(tǒng)一且可擴展的架構。

這一架構實現(xiàn)了從極低功耗到極高算力場景的全覆蓋，使得一次開發(fā)即可適用于所有場景的部署、遷移及協(xié)同，從而顯著提升了軟件開發(fā)效率。

結尾：

隨著大模型在各類場景中的應用日益廣泛，推理環(huán)節(jié)的重要性日益凸顯。

因此，我們需要關注推理芯片的計算需求和系統(tǒng)配置，以降低成本、提升易用性，進而促進大模型在各個領域的迅速普及。

審核編輯：劉清