深度學(xué)習(xí)背景：
今年3月，谷歌AlphaGo橫空出世，并打敗了韓國棋手李世石，使得深度學(xué)習(xí)乃至機(jī)器學(xué)習(xí)等領(lǐng)域不但在學(xué)術(shù)領(lǐng)域火得一塌糊涂，在普通大眾中也掀起了一番熱潮。人工智能可謂是多起多落，而現(xiàn)如今最為火熱的是2006年Geoffrey Hinton提出的深度學(xué)習(xí)，即多層神經(jīng)網(wǎng)絡(luò)。

隨著近年來的發(fā)展，神經(jīng)網(wǎng)絡(luò)層次的劇增對訓(xùn)練速率，功耗提出了極高的要求，因而涌現(xiàn)出一系列神經(jīng)網(wǎng)絡(luò)加速器芯片。在IP/DSP領(lǐng)域，有ChipIntelli、臺積電等公司；在ASIC領(lǐng)域，有Cambricon、地平線科技等公司；在GPU領(lǐng)域，英偉達(dá)依然獨占鰲頭；在CPU領(lǐng)域intel當(dāng)然當(dāng)仁不讓；當(dāng)然還有最適用于深度學(xué)習(xí)等網(wǎng)絡(luò)多變性的FPGA廠商如ALTERA、XILINX等。深度學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)眾多，諸如DBN、CNN、Pooling、LRN、MLP等多種網(wǎng)絡(luò)對加速器的設(shè)置提出了更多要求，因而基于FPGA的多可變性加速器更受到設(shè)計者的青睞，并得到廣泛認(rèn)可。

定點數(shù)據(jù)的應(yīng)用：
上個月末，Xilinx公司發(fā)布了一個基于定點數(shù)據(jù)的深度學(xué)習(xí)白皮書，極大的方便了設(shè)計者進(jìn)行基于FPGA的深度學(xué)習(xí)測試與設(shè)計，以下將分析本白皮書的部分內(nèi)容。

通常來說在AI、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)領(lǐng)域，深度學(xué)習(xí)網(wǎng)絡(luò)中輸入的數(shù)據(jù)精度越高所表現(xiàn)出的結(jié)果準(zhǔn)確率越高。然而本次測設(shè)得到了一個違反常規(guī)的結(jié)論，定點數(shù)據(jù)相比于浮點數(shù)據(jù)同樣獲得了較高的推理精度，大大提高性能并且降低了功耗，從而顯著提高了性能。最新的Xilinx白皮書( https://www.xilinx.com/support/documentation/white_papers/wp486-deep-lea... )《在Xilinx器件上使用INT8優(yōu)化的深度學(xué)習(xí)》詳細(xì)的闡述了相關(guān)的技術(shù)細(xì)節(jié)。

研究表明，在深度學(xué)習(xí)網(wǎng)絡(luò)中，并不只有32位浮點輸入數(shù)據(jù)能獲得最佳精度。對于諸如圖像分類的許多應(yīng)用，INT8（或甚至更低精度）定點計算與浮點結(jié)果相比，能提供相同的精度。下圖是Xilinx白皮書中的表格，呈現(xiàn)了基于定點計算的微調(diào)CNN（卷積神經(jīng)網(wǎng)絡(luò)）的精確度，結(jié)果佐證了此聲明。（括號中的數(shù)字表示未經(jīng)過微調(diào)的準(zhǔn)確率）

?

表格1

由表格1可見：在本次的六個CNN常見的網(wǎng)絡(luò)結(jié)構(gòu)中，精度降低的定點計算和32位浮點計算的準(zhǔn)確性相差無幾。往常具有一定優(yōu)勢的32位浮點數(shù)消耗了更多的功率、更多的資源來實現(xiàn)，尤其是創(chuàng)建大規(guī)模并行CNN時，所面對的情況更加嚴(yán)峻。而與此同時，八位定點數(shù)據(jù)的應(yīng)用卻具有更好性能、更低的功耗以及更好的資源利用率等諸多優(yōu)勢。

前兩個優(yōu)點非常淺顯易懂，而Xilinx白皮書將詳細(xì)描述第三點：更好的資源利用效率。研究表明，基于FPGA的浮點DSP并不匹配包括機(jī)器學(xué)習(xí)在內(nèi)的超大規(guī)模應(yīng)用程序。（同時，其他研究表明在CNN訓(xùn)練優(yōu)化時，使用GPU優(yōu)化比使用基于FPGA的浮點DSP結(jié)構(gòu)所呈現(xiàn)的計算效率要高得多）。

Xilinx的UltraScale和UltraScale + FPGA中使用定點DSP48E2架構(gòu)，針對降低精度的整數(shù)計算進(jìn)行了優(yōu)化，采用27x18位乘法器、48位累加器和其他增強(qiáng)架構(gòu)?？梢悦總€時鐘周期在各個DSP48E2中對兩個INT8操作，友商公司FPGA中DSP塊卻無法實現(xiàn)這項功能。 （同樣，關(guān)于打包整數(shù)操作數(shù)以及將CNN性能加倍的技術(shù)細(xì)節(jié)，參見Xilinx白皮書。）

從下圖可見，使用Xilinx UltraScale和UltraScale + FPGA 整型定點數(shù)據(jù)進(jìn)行CNN網(wǎng)絡(luò)訓(xùn)練，具有極高的性能和效率。

?

圖1

從這個圖中可以看出，使用Xilinx UltraScale和UltraScale + FPGA定點數(shù)據(jù)實現(xiàn)CNN網(wǎng)絡(luò)可以獲得更高的GOPS /瓦特。與上圖所示的intel Arria 10和Stratix 10器件相比，Xilinx器件能使深度學(xué)習(xí)訓(xùn)練效率提升2x至6x(單位：GOPS/瓦)，與32位浮點實現(xiàn)的精度水平基本相同。

有關(guān)更多信息請參考Xilinx Acceleration Zone Web page，該網(wǎng)頁詳細(xì)討論了使用Xilinx FPGA技術(shù)的超大規(guī)模云加速的各種方面，也包括基于Xilinx Kintex UltraScale KU115 FPGA的全新Xilinx深度學(xué)習(xí)加速開發(fā)套件。

總結(jié)：
深度學(xué)習(xí)已經(jīng)成為機(jī)器學(xué)習(xí)領(lǐng)域的突破窗口，關(guān)于深度學(xué)習(xí)的研究和應(yīng)用已經(jīng)在學(xué)術(shù)界和公眾界得到廣大的關(guān)注。因而為設(shè)計人員提供便捷、適合的加速器件變得尤為重要。本次Xilinx開發(fā)了基于FPGA的深度學(xué)習(xí)套件，極大的推動了深度學(xué)習(xí)訓(xùn)練的效率與準(zhǔn)確度。相信在Xilinx等公司的持續(xù)推動下，人工智能的落地將會越來越快，越來越穩(wěn)，為現(xiàn)如今的物聯(lián)網(wǎng)、智能化時代做出卓越的貢獻(xiàn)。