EdgeBoard簡(jiǎn)介

EdgeBoard是百度基于FPGA芯片研發(fā)的嵌入式AI解決方案，高性能的加速引擎可提供3.6Tops的強(qiáng)大算力，完整的嵌入式參考設(shè)計(jì)使硬件集成輕松便捷。目前EdgeBoard提供了FPGA軟核和計(jì)算卡模塊兩種形態(tài)供硬件集成，面向項(xiàng)目部署也提供了抓拍機(jī)和計(jì)算盒兩種基礎(chǔ)硬件產(chǎn)品。EdgeBoard深度兼容百度大腦模型資源與工具平臺(tái)（EasyDL/AI Studio），極大降低了開發(fā)驗(yàn)證、產(chǎn)品集成、科研教學(xué)、項(xiàng)目部署門檻，適用于安防監(jiān)控、工業(yè)質(zhì)檢、醫(yī)療診斷、農(nóng)作物生長(zhǎng)監(jiān)控、無人駕駛、無人零售等場(chǎng)景

數(shù)據(jù)格式的邏輯表示與物理表示

深度學(xué)習(xí)中經(jīng)常會(huì)使用NCHW、NHWC和CHWN數(shù)據(jù)格式來表示數(shù)據(jù)，其中N、H、W、C定義如下：

N：一個(gè)batch內(nèi)圖片的數(shù)量，一次處理的圖片數(shù)量

H：垂直高度方向的像素個(gè)數(shù)，圖片的高

W：水平寬度方向的像素個(gè)數(shù)，圖片的寬

C：通道數(shù)。例如灰度圖像為1， 彩色RGB圖像為3

下圖表示N=2，C=16，H=5，W=4的數(shù)據(jù)排列，其中左圖是邏輯表示，右圖是物理表示。

以NCHW為例，其邏輯表示如左上圖，n=0時(shí)，三個(gè)坐標(biāo)分別標(biāo)識(shí)了C、H、W的方向。第一個(gè)元素是000，第二個(gè)元素沿著w方向，即001，隨后是002， 003;然后沿H方向，即004， 005， 006， 007.。.如此反復(fù)到019后;再沿C方向，020，021， 022 。..。.一直到319;再沿N方向，也就是n=1，然后重復(fù)W方向，H方向和C方向。

根據(jù)以上NCHW的劃分，物理地址表示定義如下（如右上圖）：

［a:0］ 表示W(wǎng)方向，在一行內(nèi)從左到右

［a:1］ 表示從H方向，一行一行的從上到下

［a:2］ 表示在C方向，從一個(gè)通道到另外一個(gè)通道

［a:3］ 表示從N方向，從n=0 到n=1

最終NCHW數(shù)據(jù)格式的物理分布（在內(nèi)存中的一維表示）表示為000 001 002 003 004 。.. 018 019 020 。.. 318 319 320 。.. 。.. 637 638 639。可以理解成把一個(gè)通道的所有像素一行一行地排列起來，然后排下一個(gè)通道，即n=0排列完后再排n=1。

同理NHWC表示是先沿C方向，再沿W方向，再沿H方向，最后沿N方向。所以在內(nèi)存的存放順序是，第一個(gè)元素是000，第二個(gè)沿C方向，即020，040， 060 。..一直到300，之后切換到W方向，001 021 041 061.。.301.。到了303后再切換到H方向，即004， 024 。.. 304，最后到了319，再切換到N方向，320，340 。..一直到639。

［b:0］ 表示C方向，第一個(gè)像素從一個(gè)通道到另外一個(gè)通道

［b:1］ 表示從W方向，最后一個(gè)通道第一個(gè)像素回到第一個(gè)通道的第二個(gè)像素

［b:2］ 表示在H方向，最后一個(gè)通道第一行最后一個(gè)像素回到第一個(gè)通道的第二行的第一個(gè)像素

［b:3］ 表示從N方向，從n=0 到n=1

NHWC其物理表示為000 020 。.. 300 001 021 。.. 283 303 004 。.. 319 320 340 。.. 。.. 339 359 。.. 639。可以理解成把一個(gè)batch的一個(gè)像素的所有通道先排列起來，然后排下一個(gè)像素。n=0排列完成后，再排n=1。

同理CHWN其邏輯表示，先沿N方向，再沿W方向，再沿H方向，最后是沿C方向。

［c:0］ 表示從N方向，從n=0的第一個(gè)像素到n=1的第一個(gè)像素

［c:1］ 表示從N方向，從n=1的第一個(gè)像素回到n=0的第二個(gè)像素

［c:2］ 表示在H方向，從n=1的第一行最后一個(gè)像素回到n=0的第二行第一個(gè)像素

［c:3］ 表示從N方向，從n=1的第一個(gè)通道最后一個(gè)像素回到n=0的第二個(gè)通道第一個(gè)像素

CHWN其物理表示為 000 032 001 321 。.. 003 323 004 324 。.. 。.. 019 339 020 。..?？梢岳斫獬上劝岩粋€(gè)batch中N幅圖像的第一個(gè)通道第一個(gè)像素排列起來，然后排第二個(gè)像素;再排第二個(gè)通道，第三個(gè)通道。..

數(shù)據(jù)在內(nèi)存中的偏移地址

深度學(xué)習(xí)中涉及大量的數(shù)據(jù)計(jì)算，計(jì)算需要從內(nèi)存中取出數(shù)據(jù)，因此需要計(jì)算出數(shù)據(jù)的偏移地址以便進(jìn)行取數(shù)。有了上面的邏輯表示和物理表示，可以推導(dǎo)出4維邏輯表示（n，c，h，w）映射到一維內(nèi)存中偏移地址的公式。

定義位置（n，c，h，w）表示第n個(gè)batch的第c通道的第h行的第w列，那么該位置在不同數(shù)據(jù)格式下，在內(nèi)存中的偏移地址計(jì)算公式如下： NCHW： offset_nchw（n， c， h， w） = n * CHW + c * HW + h * W + w NHWC： offset_nhwc（n， c， h， w） = n * HWC + h * WC + w * C + c CHWN： offset_chwn（n， c， h， w） = c * HWN + h * WN + w * N + n 其中N、C、H、W為常量，n、c、h、w為變量

在NCHW中，CHW=C*H*W，表示一個(gè)Batch，可以理解成一個(gè)BGR 3通道的圖片，表達(dá)的是一個(gè)立方體。HW=H*W，表示一個(gè)平面，可以理解成是BGR 3通道圖片的一個(gè)通道（灰度圖就是一個(gè)通道圖片）。W是一行，可以理解成一個(gè)通道上的一行。

以上圖為例，如果想計(jì)算出綠色圈，即341的位置（n=1，c=1， h=0， w=1）。我們需要先跳過n=0的數(shù)據(jù)（CHW），圖中箭頭1指向的藍(lán)色框區(qū)域;再跳過n=1的第一個(gè)通道（HW），圖中箭頭2指向藍(lán)色框區(qū)域;這時(shí)進(jìn)入到了n=1的第二個(gè)通道，跳過h=0行（0*W）;最后跳過w個(gè)數(shù)到達(dá)偏移位置。

EdgeBoard為何使用NHWC

下面來分析EdgeBoard選擇NHWC數(shù)據(jù)格式的原因。

上圖表示卷積的計(jì)算過程。根據(jù)卷積的運(yùn)算特點(diǎn)，相同位置窗口所有通道數(shù)與卷積的參數(shù)相乘后累加，可以有下面兩種計(jì)算方式：

先像素后通道：先把一個(gè)通道滑動(dòng)窗口與卷積參數(shù)相乘后累加，再進(jìn)行下一個(gè)通道，直到所有通道乘累加完成。比如第一次滑窗計(jì)算公式：

可以看出兩種方式計(jì)算的結(jié)果是一樣。

而對(duì)于NHWC格式，即先通道后像素，是把一個(gè)像素的所有通道的數(shù)據(jù)放在一起。這樣對(duì)應(yīng)上圖第一個(gè)像素的3個(gè)通道值，第二個(gè)像素的3個(gè)通道值，第三個(gè)像素的3個(gè)通道值，它們?cè)趦?nèi)存中的地址都是連續(xù)的，也就是說一次就可以把kernel第一行需要計(jì)算的數(shù)取出，3x3的kernel需要3次取數(shù)。

而對(duì)于NCHW格式，即先像素后通道，是把一個(gè)通道的所有像素按順序排列，這樣對(duì)于一個(gè)3*3的卷積核，需要每取3個(gè)數(shù)就需要跳躍n個(gè)數(shù)后，再取3個(gè)數(shù)。一個(gè)通道需要取3次，3個(gè)通道需要取9次。

在實(shí)際網(wǎng)絡(luò)中，通常通道數(shù)會(huì)遠(yuǎn)大于卷積kernel數(shù)（不會(huì)像上圖只有3個(gè)通道，通常是幾十、幾百個(gè)通道）。這樣對(duì)于NHWC格式來說說，取數(shù)的次數(shù)會(huì)比NCHW少很多。對(duì)EdgeBoard來說，為了增加其所支持網(wǎng)絡(luò)的廣泛性，減少對(duì)大輸入尺寸和高存儲(chǔ)量權(quán)重網(wǎng)絡(luò)的限制，采用NHWC的格式可以實(shí)現(xiàn)分批次地把Feature Map和Weight數(shù)據(jù)讀取到FPGA的片上緩存，例如對(duì)于3x3的Kernel，我們可以只讀取三行（3WC）Feature Map的數(shù)據(jù)到FPGA內(nèi)進(jìn)行計(jì)算，即可得到一行輸出數(shù)據(jù)，并傳輸?shù)狡獯笕萘烤彺?a target="_blank">DDR，而不需依賴下一個(gè)3WC的Feature Map輸入數(shù)據(jù)就可完成每一批次的輸入輸出數(shù)據(jù)傳輸。

再例如，我們也可將Weight數(shù)據(jù)根據(jù)FPGA片上緩存的不同大小分割成N份，一份一份發(fā)送到FPGA分別做卷積運(yùn)算后，再傳輸回DDR做相應(yīng)拼接，這等同于做一次大的卷積運(yùn)算，好處在于可以根據(jù)不同容量的FPGA器件做不同匹配，大大提高了代碼的硬件適配性。此外，由于C維度之間數(shù)據(jù)相關(guān)性較弱，采用NHWC格式更能發(fā)揮FPGA高并行度的計(jì)算特點(diǎn)，充分利用FPGA的算力。

下表為EdgeBoard使用NHWC數(shù)據(jù)格式的網(wǎng)絡(luò)性能：

責(zé)任編輯：gt