前言

做深度學(xué)習(xí)加速器已經(jīng)兩年了，從RTL設(shè)計(jì)到仿真驗(yàn)證，以及相應(yīng)的去了解了Linux驅(qū)動(dòng)，深度學(xué)習(xí)壓縮方法等等。今天來(lái)捋一捋AI加速器都涉及到哪些領(lǐng)域，需要哪些方面的知識(shí)?？梢杂糜贏I加速器的主要有三種不同架構(gòu)的器件種類：CPU，GPU，AI芯片/FPGA。CPU是一個(gè)通用架構(gòu)芯片，其計(jì)算能力和數(shù)據(jù)帶寬相對(duì)受到限制，面對(duì)大計(jì)算量的深度學(xué)習(xí)就顯露出其缺點(diǎn)了。GPU含有大量的計(jì)算陣列，可以適用于大規(guī)模運(yùn)算，而且其生態(tài)較為成熟和完整，所以現(xiàn)在包攬了所有的深度學(xué)習(xí)訓(xùn)練和絕大部分深度學(xué)習(xí)推理。要說(shuō)有沒(méi)有缺陷，經(jīng)常被拿來(lái)比較的就是其功耗較大，而且并不是完全針對(duì)于深度學(xué)習(xí)網(wǎng)絡(luò)的結(jié)構(gòu)，所以還并不能完全利用其計(jì)算和存儲(chǔ)資源。為了更有針對(duì)性的加速深度學(xué)習(xí)網(wǎng)絡(luò)，AI芯片（FPGA）近兩年也出現(xiàn)了。Intel、阿里平頭哥、騰訊、百度等都開始設(shè)計(jì)自己的AI加速芯片，使用FPGA的有賽靈思、曠視科技等。FPGA用于深度學(xué)習(xí)加速和AI芯片的架構(gòu)具有通用性，兩者可以看做相同架構(gòu)，只是用于不同硬件器件。而且通常AI芯片的前期驗(yàn)證也是用FPGA完成的。這篇文章就捋一捋FPGA在做深度學(xué)習(xí)加速時(shí)需要的技能。

1. 一張圖

AI加速是一個(gè)同時(shí)涉及到軟件和硬件的領(lǐng)域，下面一張簡(jiǎn)單的圖羅列了AI加速器所有知識(shí)。

2. RTL

RTL部分設(shè)計(jì)主要考慮到以下幾個(gè)方面：
1） 考察神經(jīng)網(wǎng)絡(luò)每個(gè)部分的計(jì)算量和參數(shù)數(shù)據(jù)，選擇適合在FPGA上進(jìn)行加速的部分。比如對(duì)于CNN網(wǎng)絡(luò)，卷積運(yùn)算占據(jù)整個(gè)網(wǎng)絡(luò)的絕大部分計(jì)算，因此會(huì)占據(jù)FPGA中的絕大部分DSP資源。但是在卷積運(yùn)算之間還存在激活函數(shù)、歸一化等操作，這些雖然計(jì)算量不大，但是會(huì)對(duì)整個(gè)加速形成瓶頸，因此如何能夠與卷積運(yùn)算形成流水對(duì)性能影響也很大；

2） 設(shè)計(jì)加速算法。只要考慮好這兩點(diǎn)就解決了主要問(wèn)題：一個(gè)是計(jì)算資源利用率，另外一個(gè)是miss ratio。計(jì)算資源利用率包括FPGA上空間資源利用率，還包括計(jì)算資源的時(shí)間利用率。空間利用率越高，說(shuō)明算力越高，時(shí)間利用率越高表明有效計(jì)算越高，加速效果越好。Miss ratio反映了片上cache存儲(chǔ)的參數(shù)是否能夠及時(shí)供給計(jì)算使用。如果能及時(shí)供給使用，那么從片外加載數(shù)據(jù)的時(shí)間就可以被壓縮。

3） 架構(gòu)的通用性。基本上架構(gòu)都是基于指令集的，指令集主要依據(jù)加速器的計(jì)算核來(lái)定義的，算是復(fù)雜指令集。一個(gè)指令包含了參數(shù)的存儲(chǔ)位置，需要數(shù)量，計(jì)算方式等等。由于深度網(wǎng)絡(luò)操作數(shù)量比較單一，比如LSTM基本上就包括矩陣乘法、加法、向量乘法、激活等。大概也就有不超過(guò)10個(gè)指令就能涵蓋一個(gè)LSTM網(wǎng)絡(luò)了。為了適配這樣的指令，架構(gòu)大概包含以下結(jié)構(gòu)：

外部總線：主要用于和外部ddr進(jìn)行數(shù)據(jù)交互。

內(nèi)部存儲(chǔ)：儲(chǔ)存要用到的參數(shù)和數(shù)據(jù)，及時(shí)供給計(jì)算核。Cache緩存是為了解決讀取DDR帶寬瓶頸問(wèn)題。

指令解析：獲取指令進(jìn)行解析，發(fā)送給相應(yīng)模塊進(jìn)行處理。

內(nèi)部總線：為每個(gè)計(jì)算核提供數(shù)據(jù)讀寫通路。

計(jì)算核：張量計(jì)算核，用于加速神經(jīng)網(wǎng)絡(luò)計(jì)算。

計(jì)算核互聯(lián)線：實(shí)現(xiàn)不同計(jì)算核之間的直接互聯(lián)，可以實(shí)現(xiàn)不同計(jì)算核的pipeline。

Batch：包含了計(jì)算核、指令解析、計(jì)算核互聯(lián)線等。當(dāng)然如果內(nèi)部cache并不是用的很多，一個(gè)batch也可以包含有內(nèi)部cache。這些batch實(shí)際上可以看做神經(jīng)網(wǎng)絡(luò)運(yùn)行的線程，多個(gè)batch就支持多線程神經(jīng)網(wǎng)絡(luò)計(jì)算。比如一個(gè)LSTM網(wǎng)絡(luò)可以在有batch=2的硬件上同時(shí)進(jìn)行兩個(gè)句子的運(yùn)算。

線程控制：用于控制多batch操作。

3. 驗(yàn)證

驗(yàn)證主要包括兩個(gè)方面，一個(gè)是對(duì)指令集正確性進(jìn)行驗(yàn)證，另外一個(gè)是對(duì)RTL代碼進(jìn)行仿真。指令集的驗(yàn)證需要有一個(gè)CMODEL來(lái)對(duì)編譯器生成指令的正確性進(jìn)行校驗(yàn)，校驗(yàn)準(zhǔn)確才能夠給硬件使用。因?yàn)榉抡姝h(huán)境也需要隨機(jī)化指令來(lái)對(duì)RTL代碼進(jìn)行校驗(yàn)，所以cmodel也會(huì)用于仿真環(huán)境中。我以UVM為例來(lái)說(shuō)明，其基本結(jié)構(gòu)如下：

指令隨機(jī)化：對(duì)指令進(jìn)行約束，生成隨機(jī)指令；

指令驅(qū)動(dòng)：將指令轉(zhuǎn)換成文件，提供給cmodel，以及初始化到ddr文件中；

參數(shù)隨機(jī)化：隨機(jī)化權(quán)重等參數(shù)；

參數(shù)驅(qū)動(dòng)：將參數(shù)初始化為ddr文件；

AXI驅(qū)動(dòng)：這個(gè)包含AXI讀寫ddr文件的驅(qū)動(dòng)，用于和DUT進(jìn)行交互；

Monitor：監(jiān)測(cè)DUT行為，和cmodel的數(shù)據(jù)進(jìn)行對(duì)比；

4. 驅(qū)動(dòng)

驅(qū)動(dòng)主要是完成ddr的初始化，線程控制的配置以及中斷響應(yīng)等。首先將權(quán)重等參數(shù)初始化到ddr中，然后通過(guò)axi總線配置FPGA的寄存器，同時(shí)對(duì)FPGA產(chǎn)生的中斷進(jìn)行響應(yīng)。獲取ddr中結(jié)果數(shù)據(jù)等。一般如zynq等SoC器件，因?yàn)榧闪?a target="_blank">arm核，所以驅(qū)動(dòng)相對(duì)簡(jiǎn)單。如果軟件端在服務(wù)器，那么還需要PCIE等驅(qū)動(dòng)來(lái)支持和服務(wù)器的交互。以SoC器件為例，linux驅(qū)動(dòng)正常工作需要以下步驟：
1. 制作RTL硬件工程，生成bit文件和hardware配置文件；

2. 利用SDK生成fsbl文件，這個(gè)主要完成對(duì)zynq器件的一些基本硬件配置；

3. 制作linux的uboot、kernel、devicetree等文件；

4. 用fsbl、bit、uboot、kernel、devicetree制作boot.bin；

5. 選擇linux文件系統(tǒng)，如linaro等。制作SD卡鏡像，燒寫到SD卡中，啟動(dòng)SoC器件；

5. 編譯器

編譯器主要能夠根據(jù)深度學(xué)習(xí)模型來(lái)生成指令，并優(yōu)化指令。以TVM為例，它基于計(jì)算圖，對(duì)接市場(chǎng)上主流的深度學(xué)習(xí)框架：tensorflow、pytorch等，將這些模型進(jìn)行計(jì)算圖的轉(zhuǎn)化，然后基于這些計(jì)算圖來(lái)進(jìn)行圖的優(yōu)化和指令優(yōu)化。TVM目標(biāo)是通用性，所以其兼容CPU、GPU、TPU，同時(shí)還要對(duì)接更多的深度學(xué)習(xí)框架。所以其很龐大。針對(duì)FPGA自身的AI加速器，可以以這個(gè)為借鑒，開發(fā)自己的compiler。同時(shí)依據(jù)自身硬件特點(diǎn)進(jìn)行指令的優(yōu)化。

計(jì)算圖是基本很多編譯器采用的圖結(jié)構(gòu)，其貫穿了指令優(yōu)化和生成始終。計(jì)算圖中的節(jié)點(diǎn)包含了數(shù)據(jù)信息和相應(yīng)操作。這些節(jié)點(diǎn)相互連接形成了一個(gè)網(wǎng)絡(luò)計(jì)算的依賴關(guān)系。計(jì)算圖是一個(gè)基于tensor操作的圖，它并不像通用CPU編譯器的細(xì)化的標(biāo)量操作。因?yàn)镕PGA加速器中計(jì)算核一般都是張量操作。這是和CPU不同的。而且這樣的計(jì)算圖也相對(duì)簡(jiǎn)潔。

一個(gè)張量操作的實(shí)現(xiàn)有很多可能，因?yàn)橐罁?jù)數(shù)據(jù)之間的依賴關(guān)系和維度大小，可以對(duì)張量運(yùn)算進(jìn)行分解為多步操作。這些分解有很多。因此優(yōu)化一個(gè)計(jì)算圖就會(huì)面臨很多這樣可能的步驟。這被稱為schedule，優(yōu)化就是在這些schedule空間中找出最優(yōu)的那個(gè)順序。TVM中提出了一個(gè)基于機(jī)器學(xué)習(xí)模型的優(yōu)化方法，去搜尋schedule空間，找到最適于硬件的圖。然后生成指令。

6. 模型壓縮

模型壓縮有很多方法，根據(jù)壓縮目標(biāo)主要包括量化和剪枝。量化就是將浮點(diǎn)定點(diǎn)化，剪枝就是去除一些冗余的連接或者數(shù)據(jù)。從一些文獻(xiàn)調(diào)研的結(jié)果有以下一些方式：

1） 二值化網(wǎng)絡(luò)；

2） 向量壓縮方法；

3） 知識(shí)蒸餾；

4） CP分解；

5） 降維分解；

6） 深度壓縮；

7） 自動(dòng)化搜索空間；

7. 軟件部署

因?yàn)镕PGA并不適合加速神經(jīng)網(wǎng)絡(luò)的所有部分或者還沒(méi)有相應(yīng)IP來(lái)加速一些模塊，那么這些操作就會(huì)放在CPU上進(jìn)行，比如對(duì)于LSTM網(wǎng)絡(luò)，前邊的embedding層還有后端的softmax或者類別生成。這些都更適合在CPU上做。因此軟件部署來(lái)調(diào)用FPGA硬核IP，和FPGA進(jìn)行交互。同時(shí)還有一些數(shù)據(jù)準(zhǔn)備、打印等操作，客戶展示。這些都是軟件部署要做的。

總結(jié)

一個(gè)AI加速涉及到了算法、軟件、驅(qū)動(dòng)、硬件方面，因此通常做AI加速的團(tuán)隊(duì)都比較龐大，包含了算法到硬件的各種人才。