高通SoC的AI加速硬件都是基于DSP的，指令方面則是SIMD擴(kuò)展。高通自2013年導(dǎo)入DSP加速，一直沿用至今，硬件架構(gòu)變化不大，可以說是非常優(yōu)秀的設(shè)計(jì)。從高通8150開始，一般高通SoC包含4個(gè)DSP，分別對應(yīng)音頻、傳感器、Modem和計(jì)算，通常高通只把計(jì)算DSP即cDSP單獨(dú)提及，一般說HEXAGON DSP指的就是cDSP。

DSP是通用的加速器，可以對應(yīng)標(biāo)量（Scalar）、向量（Vector）和張量（Tensor）。而我們所說的AI芯片一般只對應(yīng)張量。標(biāo)量運(yùn)算一般對應(yīng)的是CPU，通常是串行數(shù)據(jù)。向量和張量對應(yīng)的并行數(shù)據(jù)計(jì)算，傳統(tǒng)的CPU不太勝任。并行運(yùn)算分指令并行、數(shù)據(jù)并行（SIMD）和線程并行（SIMT，即GPU）三大類。

圖片來源：高通

高通在第六代Hexagon DSP中引入HVX概念，HVX是Hexagon Vector eXtensions的簡稱，HVX是DSP中一個(gè)可選的協(xié)處理器，它為標(biāo)量DSP單元添加了128字節(jié)的矢量處理功能（在HVX編程的時(shí)候很多處理都要128對齊）。標(biāo)量硬件線程通過訪問HVX寄存器文件（也稱為HVX上下文）來使用HVX協(xié)處理器。之后高通又引入HTA（Hexagon Tensor Accelerator），基本上只對應(yīng)定點(diǎn)即整數(shù)運(yùn)算，主要針對CNN模型。之后高通繼續(xù)改進(jìn)HTA，改進(jìn)為HTP （Hexagon Tensor Processor），所謂HTP就是加入了HMX即Hexagon Matrix eXtensions。仍然是基于標(biāo)量DSP而加入的協(xié)處理器。

通常DSP都是哈佛架構(gòu)，采用流水線操作，對數(shù)據(jù)的整齊度要求很高，不能有分支跳轉(zhuǎn)或中斷，DSP采用了哈佛結(jié)構(gòu)，將存儲(chǔ)器空間劃分成兩個(gè)，分別存儲(chǔ)程序和數(shù)據(jù)。它們有兩組總線連接到處理器核，允許同時(shí)對它們進(jìn)行訪問，每個(gè)存儲(chǔ)器獨(dú)立編址，獨(dú)立訪問。這種安排將處理器的數(shù)據(jù)吞吐率加倍，更重要的是同時(shí)為處理器核提供數(shù)據(jù)與指令。在這種布局下，DSP得以實(shí)現(xiàn)單周期的MAC乘積累加指令，而MAC就是AI運(yùn)算的最底層。

DSP芯片廣泛采用2-6級(jí)流水線以減少指令執(zhí)行時(shí)間，從而增強(qiáng)了處理器的處理能力。這可使指令執(zhí)行能完全重疊，每個(gè)指令周期內(nèi)，不同的指令都處于激活狀態(tài)。更像是脈動(dòng)處理器，數(shù)據(jù)一次導(dǎo)入，流轉(zhuǎn)周期很長，效率極高。

圖片來源：高通

高通利用DSP加速早在2006年就開始了，不過早期都是針對modem或音頻的，2013年以后增加了計(jì)算。

圖片來源：高通

高端DSP都采用VLIW（超長指令集），VLIW DSP在硬件上沒有調(diào)度和沖突判決的機(jī)制，其性能的發(fā)揮完全依靠編譯器的優(yōu)化效果。VLIW架構(gòu)中，指令級(jí)并行的發(fā)現(xiàn)與指令執(zhí)行順序的調(diào)度（硬件中最困難的部分）完全交由編譯器完成。這樣，硬件可以盡可能地保持簡單。VLIW硬件不負(fù)責(zé)發(fā)現(xiàn)并發(fā)執(zhí)行多個(gè)操作的工作。VLIW實(shí)現(xiàn)很長的指令，超長指令字已經(jīng)對并發(fā)操作進(jìn)行了編碼，這通常是由編譯器來完成的。與RISC或CISC的高度超標(biāo)量實(shí)現(xiàn)相比，這種顯式編碼極大降低了硬件的復(fù)雜性。硬件簡單化的好處就是只需要簡單地增加計(jì)算單元就可提高算力，難題都交給了軟件，這也是高通DSP生命力如此頑強(qiáng)的原因。

高通DSP的VLIW

圖片來源：高通

第一代帶HVX的高通DSP硬件架構(gòu)

圖片來源：高通

主處理器主要負(fù)責(zé)標(biāo)量運(yùn)算，有4個(gè)（目前新架構(gòu)已調(diào)整至6個(gè)）硬件線程（每個(gè)擁有4路VLIW，共享L1/L2）。向量化運(yùn)算由2個(gè)HVX context組成（目前新架構(gòu)已調(diào)整至4個(gè)），分別會(huì)被多個(gè)標(biāo)量線程控制。主處理器和HVX都是可以有多個(gè)軟件線程，由QURT實(shí)時(shí)操作系統(tǒng)進(jìn)行硬件線程選擇及調(diào)度，開發(fā)者不可控。

圖片來源：高通

高通帶HVX的DSP的內(nèi)存體系，L1只能由標(biāo)量單元訪問（Scalar是標(biāo)量單元），L2是標(biāo)量單元的第二級(jí)內(nèi)存，也是HVX協(xié)處理器的第一級(jí)內(nèi)存。向量單元支持各種加載/存儲(chǔ)指令，包括對未對齊向量和每字節(jié)條件存儲(chǔ)的支持。

HVX離不開SIMD擴(kuò)展指令集，英特爾于1996年率先將多媒體SIMD擴(kuò)展指令集引入通用處理器，在其奔騰處理器上集成了SIMD擴(kuò)展部件MMX。

多媒體應(yīng)用中通常存在大量同質(zhì)、獨(dú)立的訪存和計(jì)算操作，且使用的數(shù)據(jù)類型一般都很窄（如圖形系統(tǒng)使用8位表示三基色的每一種顏色，使用8位表示透明度；音頻采樣位寬通常為8位或16位）。SIMD擴(kuò)展指令集具有獨(dú)立的長位寬向量寄存器（64/128/256/512/1024......），允許將原來需要多次裝載的連續(xù)內(nèi)存地址數(shù)據(jù)一次性裝載到向量寄存器中，并使用分裂模式將長的向量寄存器當(dāng)作多個(gè)獨(dú)立的窄位寬元素，通過一條SIMD擴(kuò)展指令實(shí)現(xiàn)對SIMD向量寄存器中所有數(shù)據(jù)元素的并行處理。這種執(zhí)行方式非常適合于處理計(jì)算密集、數(shù)據(jù)相關(guān)性少的音視頻解碼等多媒體程序。即把64位寄存器拆成８個(gè)８位寄存器就能同時(shí)完成８個(gè)操作，計(jì)算效率提升了８倍。SIMD指令的初衷就是這樣的。

SIMD擴(kuò)展部件僅需要在原來標(biāo)量部件的基礎(chǔ)上復(fù)制幾份同樣的處理單元，不需要增加太多的額外硬件，就能對多媒體等特定應(yīng)用帶來顯著的性能提升，且不增加通信以及Cache和內(nèi)存的開銷，因此即使在多核時(shí)代，SIMD擴(kuò)展部件仍然是程序加速的重要手段之一。

圖片來源：高通

高通DSP是一個(gè)4slot的VLIW的1024比特寬度的處理器，每個(gè)周期可處理4096比特的數(shù)據(jù)，簡單來說，如果數(shù)據(jù)格式是8比特的，那么可以一次執(zhí)行512次計(jì)算，相當(dāng)于一個(gè)512核心的GPU。缺點(diǎn)是無論要處理多少數(shù)據(jù)，DSP都是火力全開，這可能導(dǎo)致功耗較高，因此DSP的工作頻率一般不高于1GHz，而CPU可以輕易超過2GHz。

圖片來源：高通

擁有32個(gè)1024b寄存器R0-R31，4個(gè)判斷寄存器P0-P3，支持8/16/32/64-bits的定點(diǎn)運(yùn)算。VLIW可以提供特殊指令比如CNN的滑窗濾波，直方圖生成等。

最新的HMX，高通沒有公開過其詳細(xì)信息，不過也無需公開。所謂AI運(yùn)算就是矩陣的乘積累加，SIMD指令集中很早就有對應(yīng)乘積累加的指令，最早設(shè)計(jì)這個(gè)指令是對應(yīng)FFT（快速傅里葉變換）和DCT（離散余弦變換）的，它們的計(jì)算過程與今天的AI運(yùn)算高度重合，幾乎完全一致，早在1999年英特爾就推出了SSE，可以實(shí)現(xiàn)一條指令完成乘積累加，效率比傳統(tǒng)計(jì)算單元提高一倍。SSE后來演變?yōu)锳VX。AVX，全稱為：Advanced Vector Extensions（又名，Sandy Bridge New Extensions）,是Intel和AMD微服務(wù)器x86指令集的extension擴(kuò)展。AVX2擴(kuò)充到了支持256bit的整數(shù)運(yùn)算指令，引入了Fused-Multiply-Add(FMA)運(yùn)算。所謂FMA，即可通過單一指令實(shí)現(xiàn)A=A?B+C A=A*B+C A=A?B+C計(jì)算，也就是AI運(yùn)算。英特爾是考慮到了AI訓(xùn)練，因此最高支持到256比特精度，手機(jī)上肯定只做推理，8比特就夠，最早高通的HTA就只支持8比特定點(diǎn)運(yùn)算，后來HTP支持混合精度，也支持定點(diǎn)或浮點(diǎn)的8位或16比特運(yùn)算。高通只需要像HVX那樣增加一個(gè)或幾個(gè)SIMD協(xié)處理器就行，困難都交給編譯器。此外DSP的哈佛架構(gòu)讓數(shù)據(jù)和指令有不同的總線，AI運(yùn)算的效率進(jìn)一步提升，再配合SIMD，效率不遜于ASIC。不過成本還是略高于ASIC。

因?yàn)镾IMD和DSP的特殊性，高通特別做了SNPE（Snapdragon Neural Processing Engine），是高通公司推出的面向移動(dòng)端和物聯(lián)網(wǎng)設(shè)備的深度學(xué)習(xí)推理框架。SNPE提供了一套完整的深度學(xué)習(xí)推理框架，必須將Caffe，Caffe2，ONNXTM和TensorFlowTM模型轉(zhuǎn)換為SNPE深度學(xué)習(xí)容器（DLC）文件才能運(yùn)行，有時(shí)可能無法轉(zhuǎn)換為高通DLC，如ONNX模型使用了SNPE不支持的hardsigmoid激活功能。由于ARM和英特爾的深度學(xué)習(xí)加速也是基于SIMD的，因此SNPE也適用于ARM和英特爾平臺(tái)，也可以基于Linux平臺(tái)調(diào)整網(wǎng)絡(luò)。早期的SNPE DLC只支持8位定點(diǎn)精度，近期可能有提升，支持混合精度。因?yàn)镾NPE的存在，高通芯片的AI算力不單單是HTA或HTP的，還包括了CPU、GPU和DSP，以驍龍888為例，AI算力是包含這4部分的，合計(jì)為26TOPS@INT8，這當(dāng)中HTP可能只貢獻(xiàn)了一半，甚至更低。

圖片來源：高通

SNPE會(huì)對所有運(yùn)算資源進(jìn)行調(diào)度，根據(jù)數(shù)據(jù)類型選擇不同的運(yùn)算資源，比如ARM CPU可以執(zhí)行32比特浮點(diǎn)或8比特定點(diǎn)運(yùn)算，GPU可以執(zhí)行全16比特浮點(diǎn)運(yùn)算，DSP支持8比特定點(diǎn)，HTA或HTP執(zhí)行8比特或16比特定點(diǎn)運(yùn)算。如果在某個(gè)運(yùn)算資源上執(zhí)行效率不高，SNPE可以退出換其他運(yùn)算資源執(zhí)行運(yùn)算。這里可能有一個(gè)缺點(diǎn)，有些運(yùn)算資源為了對應(yīng)退出機(jī)制，可能需要保持待機(jī)狀態(tài)。而SNPE的調(diào)度很難適應(yīng)高通外的硬件，也就是說如果某個(gè)高通芯片的算力不足，必須要增加一個(gè)完全一致的高通芯片來彌補(bǔ)，比如高通座艙8155，之所以出現(xiàn)雙8155的座艙，推測可能就是這個(gè)原因。典型的如億咖通為路特斯高端車型打造的座艙，用了兩片8155，第二片8155只用了GPU資源。

從驍龍8 gen 1開始，高通不再公布具體的TOPS數(shù)據(jù)，因?yàn)镾IMD這種方式，占的die面積比ASIC還是要大，畢竟它是靠寄存器硬件來實(shí)現(xiàn)的。在沒有制造工藝明顯提升情況下，高通對DSP硬件改進(jìn)會(huì)很小，高通精力似乎主要在ISP上，改進(jìn)ISP，減少DSP的負(fù)荷。此外，高通還降低精度，最新的8 gen 2支持4比特精度，未來支持單比特也有可能，這樣數(shù)字上比較好看。

高通第一代座艙與智能駕駛二合一的SA8795P，AI算力高達(dá)60TOPS，成本可能比較高，座艙主流SA8155P的更新?lián)Q代產(chǎn)品SA8255P其AI算力可能與SA8155P差不多，提升主要在CPU領(lǐng)域。

編輯：黃飛

?