生成式AI的變革已悄然降臨。面對生成式AI的多元化用例需求和復雜的計算需求，我們亟待擁有專為AI打造的新型計算架構。為此，需要具備新型神經(jīng)網(wǎng)絡處理器（NPU）和中央處理器 （CPU）/圖形處理器（GPU）等多核處理器的整合能力。通過配備專用的NPU并合理運用各類處理器資源，異構計算可以帶來更出色的性能、更高的能效及持續(xù)耐久的電池壽命。

處理器的選擇就像工具箱里尋找恰當工具，它會極大程度地提升生成式AI體驗。

異構計算的重要性不可忽視。根據(jù)生成式AI的獨特需求和計算負擔，需要配備不同的處理器，如專注于AI工作負載的定制設計的NPU、CPU和GPU。每種處理器都有其獨特的優(yōu)點：CPU擅長有序操作和實時響應；GPU擅長并行數(shù)據(jù)流處理；NPU則專長于標量、向量和張量數(shù)學運算，成為核心AI工作負載的首選。這種異構計算策略有助于實現(xiàn)最佳的應用性能、能效和電池壽命，從而締造出精美的生成式AI用戶體驗。

截至目前，專為NPU精心研制的NPU技術正隨著AI應用場景和模型的演變而不斷升級。

到底什么才是神經(jīng)網(wǎng)絡處理器NPU呢？NPU的使命便是以低功耗的方式加速AI推論，因此其架構亦需隨著新的AI算法、模型和應用選擇而有所升級調整。其主要任務是處理包含了標量、向量和張量數(shù)學在內的神經(jīng)網(wǎng)絡層計算以及非線性激活函數(shù)。一款優(yōu)質的NPU需能精確處理相關AI工作負載，以便在目前的AI產(chǎn)業(yè)趨勢下保持競爭力。

高通公司的第三代人工智能引擎（AI Engine）包含了先進的麻省理工學院授權的Kumu深度學習軟件、Hexagon NPU，以及Vulcan向量處理引擎。

在AI行業(yè)，高通對異構計算的研究與投入堪稱翹楚。其領先的驍龍850移動計算平臺采用了全新的高通Hexagon 690 NPU，匯聚 AI Engine和Adreno 640/630 GPU的強大處理能力，實現(xiàn)了AI性能的大幅躍升。此外，這套AI Engine還囊括了先進的Vulkan向量處理引擎以及更為全面的高通傳感器中樞和內存子系統(tǒng)等芯端部件。這些部件在終端側共同協(xié)作，為用戶提供極速有效的AI應用執(zhí)行環(huán)境。

實踐證明，采用驍龍850移動計算平臺的設備在AI基準測評和實際生成式AI應用方面均表現(xiàn)出色，碩果累累。

為了更好地賦能開發(fā)者，高通推出了自家的AI軟件棧（ Qualcomm AI Stack）。利用這個工具包，開發(fā)者只需要編寫一次代碼，就能任意地點進行應用開發(fā)和適應性擴容。

通過將技術領導力、定制芯片設計、全棧AI優(yōu)化和生態(tài)系統(tǒng)賦能充分結合，高通技術公司在推動終端側生成式AI開發(fā)和應用方面獨樹一幟。高通技術公司正在賦能終端側生成式AI的規(guī)?；瘮U展。