先進(jìn)計(jì)算技術(shù)如今已成為提升生產(chǎn)力和改變?nèi)粘ｓw驗(yàn)的普遍工具。以汽車領(lǐng)域?yàn)槔呒?jí)駕駛輔助系統(tǒng)（ADAS）具備處理大量計(jì)算密集型任務(wù)的能力，從攝像頭數(shù)據(jù)預(yù)處理直到傳感器融合和路徑規(guī)劃，而且這些均不影響車輛的正常行駛里程。

邊緣計(jì)算方面的最新創(chuàng)新包括Wayve的LINGO-2，這是一個(gè)基礎(chǔ)模型，將視覺(jué)、語(yǔ)言和行動(dòng)聯(lián)系起來(lái)，用以解釋和確定駕駛行為。這類解決方案正推動(dòng)汽車行業(yè)走向新的方向，其中車輛中的AI能夠提供諸如直覺(jué)、語(yǔ)言響應(yīng)界面、個(gè)性化駕駛風(fēng)格以及協(xié)同駕駛等功能，從而增強(qiáng)自動(dòng)駕駛體驗(yàn)。

在邊緣計(jì)算的其他領(lǐng)域，AI筆記本電腦提供了諸多優(yōu)勢(shì)，從借助AI賦能的內(nèi)容創(chuàng)作工具以提高生產(chǎn)效率，到能夠在本地運(yùn)行而無(wú)需與云共享用戶數(shù)據(jù)的協(xié)同駕駛。這些筆記本電腦將需要比以往任何移動(dòng)PC更強(qiáng)的AI性能；微軟新推出的Copilot+PC就采用了GPT-4模型和40+TOPS的配置，同時(shí)具備輕薄設(shè)計(jì)和全天候續(xù)航能力。

邊緣基礎(chǔ)模型

AI達(dá)到這一能力水平并非因?yàn)?a target="_blank">程序員最終成功地將人腦轉(zhuǎn)化為代碼，而是研究人員成功地將云中可用的大量加速計(jì)算應(yīng)用于通用模型，正如Rich Sutton在其《苦澀的教訓(xùn)》（The Bitter Lesson）論文中所討論的那樣?；谏鲜鎏岬降腉PT-4等通用基礎(chǔ)模型進(jìn)行微調(diào)的解決方案，正成為普及AI的首選方法。與其創(chuàng)建特定領(lǐng)域的算法，不如使用功能強(qiáng)大、可跨多個(gè)領(lǐng)域應(yīng)用的模型，這些模型利用云資源與大量多模態(tài)數(shù)據(jù)進(jìn)行訓(xùn)練，然后針對(duì)特定應(yīng)用和設(shè)備進(jìn)行微調(diào)。

為了適應(yīng)邊緣環(huán)境，這些經(jīng)過(guò)調(diào)整的模型需要在更小、功能極具受限的設(shè)備上運(yùn)行，這些設(shè)備具有嚴(yán)格的安全標(biāo)準(zhǔn)、有限的電源供應(yīng)和不穩(wěn)定的互聯(lián)網(wǎng)連接。它們不僅要提供基本的推理能力，還要支持設(shè)備上的微調(diào)和終身持續(xù)學(xué)習(xí)。此外，它們還需要與維護(hù)最佳用戶體驗(yàn)的關(guān)鍵日常功能共享系統(tǒng)級(jí)芯片（SoC），如用戶界面、圖像處理和音頻處理。

然而，盡管在可用性能、熱管理技術(shù)甚至是商業(yè)模式方面存在差異，邊緣AI仍可借鑒AI在云計(jì)算中成功的理念：即從加速器硬件到AI框架的所有方面都使用通用方法。隨著晶體管縮放和新封裝技術(shù)的進(jìn)步，計(jì)算量即便大幅增加也可輕松擴(kuò)展。是以，為支持客戶在邊緣AI取得成功，Imagination同時(shí)采用了以下兩種方案策略：

基于開(kāi)放標(biāo)準(zhǔn)開(kāi)發(fā)軟件

• 提升通用計(jì)算加速器的硬件能力

基于開(kāi)放標(biāo)準(zhǔn)開(kāi)發(fā)軟件

Imagination在邊緣AI的交付中采取軟件優(yōu)先的方法，以最大化硬件的可編程性和靈活性。啟用優(yōu)化庫(kù)等軟件和工具包提供了一種機(jī)制，以實(shí)現(xiàn)最高效率和對(duì)調(diào)度及內(nèi)存管理的嚴(yán)格控制。目前已經(jīng)有一個(gè)不斷增長(zhǎng)的框架和庫(kù)生態(tài)系統(tǒng)，它們以O(shè)penCL后端為基礎(chǔ)，加速上市時(shí)間，并提供了作為異構(gòu)計(jì)算系統(tǒng)子集進(jìn)行更高級(jí)優(yōu)化和集成的機(jī)會(huì)。它涵蓋了AI部署環(huán)境以及計(jì)算機(jī)視覺(jué)和其他通用計(jì)算庫(kù)。

合作是成功的關(guān)鍵。去年，Imagination與其他領(lǐng)先科技公司一起，作為創(chuàng)始成員加入了UXL基金會(huì)，這是一個(gè)被稱為與NVIDIA封閉CUDA語(yǔ)言相抗衡的開(kāi)放、跨平臺(tái)、供應(yīng)商中立組織。該基金會(huì)正在開(kāi)發(fā)oneAPI編程模型和DPC++ SYCL實(shí)現(xiàn)。通過(guò)使這一計(jì)劃成為Linux基金會(huì)下真正的開(kāi)源項(xiàng)目，UXL基金會(huì)為像Imagination 這樣的公司提供了催化劑，將已經(jīng)在高性能計(jì)算領(lǐng)域廣泛應(yīng)用的oneAPI標(biāo)準(zhǔn)的優(yōu)勢(shì)，擴(kuò)展到邊緣計(jì)算領(lǐng)域。這將在應(yīng)對(duì)計(jì)算應(yīng)用的程序快速開(kāi)發(fā)和跨平臺(tái)復(fù)用的挑戰(zhàn)中發(fā)揮重要作用。

Imagination正通過(guò)UXL基金會(huì)積極參與并影響oneAPI標(biāo)準(zhǔn)的制定，同時(shí)我們也在為邊緣平臺(tái)開(kāi)發(fā)和推出下一代計(jì)算工具和軟件堆棧。我們與合作伙伴和客戶緊密合作，鼓勵(lì)更廣泛地參與并采用這一標(biāo)準(zhǔn)。我們旨在為開(kāi)發(fā)過(guò)程中的所有利益相關(guān)者，提供易于訪問(wèn)的適用于Imagination平臺(tái)的工具包，這些工具包將提供符合當(dāng)前邊緣計(jì)算應(yīng)用開(kāi)發(fā)周期典型需求的“功能性到高性能再到最優(yōu)”的工作流程，同時(shí)也利用構(gòu)建和運(yùn)行時(shí)目標(biāo)獨(dú)立性的優(yōu)勢(shì)。

提升通用計(jì)算加速器的能力

Imagination幫助客戶在邊緣AI領(lǐng)域取得成功第二個(gè)策略，主要通過(guò)保持硬件靈活性和可編程性的同時(shí)，向邊緣設(shè)備注入更強(qiáng)的計(jì)算性能。目前，邊緣計(jì)算加速通常在以下處理器類型中進(jìn)行：

中央處理器（CPUs）：SoC的傳統(tǒng)控制中心和主要工作組件；CPU越來(lái)越具備AI能力，擁有一定程度的并行性（例如多核）并支持相關(guān)數(shù)據(jù)格式；它們可以根據(jù)需要卸載更專業(yè)的計(jì)算處理器。

數(shù)字信號(hào)處理器（DSPs）：廣泛應(yīng)用于汽車、電信等多個(gè)市場(chǎng)，用于音頻、視頻、攝像頭和連接性處理，最近還通過(guò)矢量處理支持AI應(yīng)用。

圖形處理器（GPUs）：GPU本質(zhì)上是可編程和通用的。雖然它們傳統(tǒng)上僅用于圖形加速，但近年來(lái)其并行性已應(yīng)用于諸如超分辨率、點(diǎn)云處理和非機(jī)器學(xué)習(xí)算法等計(jì)算應(yīng)用中，并且越來(lái)越多地采用低精度算術(shù)功能。

神經(jīng)處理單元（NPUs）：高度優(yōu)化的領(lǐng)域特定加速器，專注于低精度算術(shù)，以有效處理深度學(xué)習(xí)算法訓(xùn)練中常見(jiàn)的密集矩陣乘法代碼。

未來(lái)的問(wèn)題是：這些處理器類型中哪一種為下一代邊緣AI加速器提供了最佳基礎(chǔ)？

這是Imagination擅長(zhǎng)解決的問(wèn)題。我們的工程師通過(guò)創(chuàng)造創(chuàng)新解決方案來(lái)解決技術(shù)難題，使客戶能夠成功。我們?cè)谒膫€(gè)市場(chǎng)中出貨超過(guò)130億顆芯片，產(chǎn)品范圍涵蓋GPU、CPU、AI IP以及軟件。我們的工程團(tuán)隊(duì)在設(shè)計(jì)用于計(jì)算和AI的半導(dǎo)體技術(shù)方面擁有豐富的經(jīng)驗(yàn)，從針對(duì)CNN風(fēng)格工作負(fù)載優(yōu)化的NNA產(chǎn)品線開(kāi)始，目前該產(chǎn)品線已運(yùn)用于多個(gè)汽車和消費(fèi)市場(chǎng)的SoC中，例如玄鐵TH1520 SoC。

盡管客戶在NNA上取得了許多成功，但I(xiàn)magination認(rèn)識(shí)到邊緣AI將需要開(kāi)發(fā)新一代更靈活和可編程的NPU，或是新一代GPU加速器，這些加速器在保持能效的同時(shí)提供更強(qiáng)的計(jì)算性能。這與依賴通用而非過(guò)度定制化方法的原則相一致，正是這一原則使得AI在云端取得了成功，而這一目標(biāo)的實(shí)現(xiàn)將得益于半導(dǎo)體市場(chǎng)上幾個(gè)關(guān)鍵趨勢(shì)的推動(dòng)。

打破定制加速器(ASIC)的桎梏

首先，值得更詳細(xì)地探討為什么通用加速器比高度定制化的硬件更受歡迎。當(dāng)前邊緣AI的處理方式，特別是在注重性能的設(shè)備如汽車和筆記本電腦中，聚焦于NPU：這是一種高度優(yōu)化的處理器，能在較小的面積或功耗預(yù)算內(nèi)實(shí)現(xiàn)高效率。與傳統(tǒng)的GPU張量核心相比，NPU具有更大的矩陣片規(guī)模，具有專門(mén)為神經(jīng)網(wǎng)絡(luò)加速設(shè)計(jì)的固定功能硬件，關(guān)注低精度數(shù)值格式，進(jìn)行g(shù)raph編譯和優(yōu)化以減少數(shù)據(jù)的搬運(yùn)和增強(qiáng)數(shù)據(jù)的本地性。

低精度數(shù)字格式

半導(dǎo)體計(jì)算中關(guān)鍵趨勢(shì)之一是，提升通用加速器（如GPU）計(jì)算性能的是低精度數(shù)字格式的激增。這些格式歷來(lái)是NPU領(lǐng)域的專屬，但現(xiàn)在在GPU等其他加速器中也越來(lái)越常見(jiàn)。像開(kāi)放計(jì)算項(xiàng)目（Open ComputeProject，簡(jiǎn)稱OCP， 這樣的組織正開(kāi)始推動(dòng)從FP32到FP4及微縮比例（MX）兼容格式的標(biāo)準(zhǔn)化工作，這些格式適用于CPU、GPU、NPU等多種處理器。預(yù)期這些數(shù)字格式將從數(shù)據(jù)中心領(lǐng)域擴(kuò)展到整個(gè)軟件生態(tài)系統(tǒng)中。

先進(jìn)工藝節(jié)點(diǎn)帶來(lái)的機(jī)遇與挑戰(zhàn)

此外，多年以來(lái)，半導(dǎo)體行業(yè)一直受益于摩爾定律：在相同硅片面積上每代性能的提升。英特爾、三星和臺(tái)積電等晶圓廠，對(duì)于挖掘這種邏輯電路尺寸縮小帶來(lái)的好處起到了根本性作用。先進(jìn)工藝節(jié)點(diǎn)是通用加速器提升計(jì)算性能至邊緣AI所需水平的關(guān)鍵之一。

然而，SRAM（靜態(tài)隨機(jī)存取存儲(chǔ)器）被證明很難縮小。隨著AI模型對(duì)性能、數(shù)據(jù)本地性和低延遲要求的提高，實(shí)際上任何給定處理器，特別是如NPU這樣的領(lǐng)域特定加速器，對(duì)SRAM的需求反而增加了。未來(lái)的疑問(wèn)是，我們是否真的能承受將如此昂貴的資源專門(mén)分配給僅在其功能需要時(shí)才激活的單一處理器？

與此同時(shí)，隨著晶體管密度的增加，熱管理問(wèn)題比現(xiàn)在變得更加嚴(yán)峻。高度優(yōu)化且能耗大的加速器加劇了這一挑戰(zhàn)，在SoC內(nèi)部形成了工作負(fù)載特定的熱點(diǎn)，難以緩解。

然而，如果像CPU和GPU這樣的通用加速器在保持能效的同時(shí)增加其計(jì)算能力，那么基于少量高效、通用、可擴(kuò)展加速器的邊緣SoC，將是解決先進(jìn)工藝節(jié)點(diǎn)熱管理挑戰(zhàn)的一個(gè)有前景的方案。這種方法最小化了暗硅現(xiàn)象，為系統(tǒng)設(shè)計(jì)師提供了在整個(gè)核心中分布處理而非創(chuàng)建特定應(yīng)用熱點(diǎn)的機(jī)會(huì)，并保證了集成、系統(tǒng)和編程復(fù)雜度的可控性。

邊緣AI的下一代技術(shù)

考慮到這些發(fā)展，基于GPU和RISC-V架構(gòu)的下一代處理器正逐步成為提供高性能、低功耗且適用于通用目的的加速器，這是邊緣AI所必需的。Imagination在邊緣圖形和計(jì)算技術(shù)領(lǐng)域處于世界領(lǐng)先地位。我們的GPU徹底改變了智能手機(jī)市場(chǎng)，并且從未停止開(kāi)拓創(chuàng)新，比如生產(chǎn)出了首款能夠在移動(dòng)設(shè)備上實(shí)現(xiàn)的實(shí)時(shí)光線追蹤的高效架構(gòu)。隨著GPU和RISC-V CPU成為實(shí)現(xiàn)邊緣AI的首選處理器，我們的工程師正在開(kāi)發(fā)客戶及更廣泛技術(shù)生態(tài)系統(tǒng)取得成功所需的技術(shù)解決方案。未來(lái)幾個(gè)月將有確切內(nèi)容發(fā)布。在此期間，如果：

您是一家開(kāi)發(fā)具備AI能力SoC的半導(dǎo)體公司

您是對(duì)即將改變用戶體驗(yàn)的技術(shù)感興趣的原始設(shè)備制造商（OEM）

您是一家開(kāi)發(fā)基于AI應(yīng)用的軟件公司

都可以通過(guò)與我們銷售團(tuán)隊(duì)預(yù)約會(huì)議來(lái)提前了解Imagination的計(jì)算產(chǎn)品路線圖。