在深度神經(jīng)網(wǎng)絡(luò)(DNN)發(fā)展的簡短歷史中，業(yè)界不斷嘗試各種可提升性能的硬件架構(gòu)。通用CPU最容易編程，但每瓦特性能的效率最低。GPU針對平行浮點(diǎn)運(yùn)算進(jìn)行了優(yōu)化，性能也比CPU更高幾倍。因此，當(dāng)GPU供貨商有了一大批新客戶，他們開始增強(qiáng)設(shè)計，以進(jìn)一步提高DNN效率。例如，Nvidia新的Volta架構(gòu)增加專用矩陣乘法單元，加速了常見的DNN運(yùn)算。

即使是增強(qiáng)型的GPU，仍然受其圖形專用邏輯的拖累。此外，盡管大多數(shù)的訓(xùn)練仍然使用浮點(diǎn)運(yùn)算，但近來的趨勢是使用整數(shù)運(yùn)算進(jìn)行DNN推論。例如Nvidia Volta的整數(shù)性能，但仍然建議使用浮點(diǎn)運(yùn)算進(jìn)行推論。芯片設(shè)計人員很清楚，整數(shù)單元比浮點(diǎn)單元更小且功效更高得多；當(dāng)使用8位(或更小)整數(shù)而非16位或32位浮點(diǎn)數(shù)時，其優(yōu)勢更加明顯。

相較于GPU，DSP則是針對整數(shù)數(shù)學(xué)而設(shè)計的，特別適用于卷積神經(jīng)網(wǎng)絡(luò)(CNN)中的卷積函數(shù)。向量DSP使用寬SIMD單元進(jìn)一步加速推論計算，例如，Cadence的C5 DSP核心包括四個2048位寬度的SIMD單元；因此，核心在每個周期內(nèi)可以完成1,024個8位整數(shù)乘法累加(MAC)作業(yè)。在16nm設(shè)計中，它能每秒處理超過1兆個MAC運(yùn)算。聯(lián)發(fā)科技(MediaTek)即取得了Cadence的DSP IP授權(quán)，用于其最新智能手機(jī)處理器的DNN加速器。

新架構(gòu)的機(jī)會

最有效率的架構(gòu)是從頭開始設(shè)計DNN，消除其它應(yīng)用的特性，并針對DNN需要的特定計算進(jìn)行優(yōu)化。這些架構(gòu)能建置于專用ASIC或銷售至系統(tǒng)制造商的芯片(這些芯片稱為專用標(biāo)準(zhǔn)產(chǎn)品或ASSP)中。最顯著的DNN ASIC是Google的TPU，它為推論任務(wù)進(jìn)行了優(yōu)化，主要包括65,536個MAC單元的脈動數(shù)組和28MB內(nèi)存，以容納DNN權(quán)重和累加器。TPU使用一個簡單的四階流水線，而且只執(zhí)行少數(shù)指令。

多家新創(chuàng)公司也在為DNN開發(fā)客制架構(gòu)。英特爾(Intel)去年收購了其中的一家(Nervana)，并計劃在今年年底前出樣其第一款A(yù)SSP；但該公司尚未透露該架構(gòu)的任何細(xì)節(jié)。Wave Computing為DNN開發(fā)了數(shù)據(jù)流處理器。其它為此獲得眾多資金的新創(chuàng)公司包括Cerebras、Graphcore和Groq。我們預(yù)計這些公司至少有幾家會在2018年投產(chǎn)組件。

另一種建置優(yōu)化架構(gòu)的方法是利用FPGA。微軟(Microsoft)廣泛采用FPGA作為其Catapult和Brainwave計劃的一部份；百度(Baidu)、Facebook以及其它云端服務(wù)器供貨商(CSP)也使用FPGA加速DNN。這種方法避免了數(shù)百萬美元的ASIC和ASSP投片費(fèi)用，并提供了更快的產(chǎn)品驗證時程；只要設(shè)計改動，F(xiàn)PGA就能在幾分鐘內(nèi)重新編程和設(shè)計。但它們作業(yè)于較低的時鐘速率，并且比ASIC所能容納的邏輯塊更少得多。圖1總結(jié)了我們對這些解決方案之間相對效率的看法。

圖1：根據(jù)不同的硬件設(shè)計，各種深度學(xué)習(xí)加速器之間的性能/功耗比至少存在兩個數(shù)量級的差異

有些公司藉由客制程度更高的加速器來強(qiáng)化現(xiàn)有設(shè)計，從而提供了一定的空間與彈性，例如，Nvidia專為自動駕駛車設(shè)計的Xavier芯片增加了一個整數(shù)數(shù)學(xué)模塊以加速DNN推論。Ceva和新思科技(Synopsys)設(shè)計了類似的單元，以便增強(qiáng)其SIMD DSP核心。這些模塊只包含大量的整數(shù)MAC單元，從而提高了數(shù)學(xué)運(yùn)算效率。然而，由于他們并未置換底層的GPU或DSP架構(gòu)，所以也不像從頭設(shè)計那么有效率。

客制設(shè)計的挑戰(zhàn)之一在于深度學(xué)習(xí)算法持續(xù)迅速發(fā)展中。時下最流行的DNN開發(fā)工具TensorFlow兩年前才出現(xiàn)，數(shù)據(jù)科學(xué)家們已經(jīng)在評估新的DNN結(jié)構(gòu)、卷積函數(shù)和數(shù)據(jù)格式了。對于兩年后的DNN來說，如今為現(xiàn)有工作負(fù)載客制的設(shè)計可能不再是理想的選擇，或甚至無法發(fā)揮作用。為了解決這個問題，大多數(shù)的ASIC和ASSP設(shè)計都是可編程且靈活的，但是FPGA提供了最大靈活度。例如，微軟已經(jīng)將專有的9位浮點(diǎn)格式定義為其Brainwave深度學(xué)習(xí)平臺的一部份。

融會貫通各種選擇

縱觀深度學(xué)習(xí)發(fā)展史，半導(dǎo)體產(chǎn)業(yè)通常首先在通用CPU中實現(xiàn)新應(yīng)用。如果應(yīng)用適用于現(xiàn)有的專用芯片，如GPU和DSP，那么接下來可能會轉(zhuǎn)移到這兩者。隨著時間的推移，如果新應(yīng)用發(fā)展成一個規(guī)模市場，業(yè)界公司就會開始開發(fā)ASIC和ASSP，雖然這些組件可能保留一定的可編程性。只有當(dāng)算法變得極其穩(wěn)定時(例如MPEG)，才能真的看到以固定功能邏輯的應(yīng)用建置。

深度學(xué)習(xí)目前也正按這一發(fā)展路線展開。GPU和DSP顯然是適用的，而且因需求夠高，所以ASIC開始出現(xiàn)。幾家新創(chuàng)公司和其它公司正在開發(fā)即將在2018年及其后出貨的ASSP。至于少量或利基應(yīng)用，F(xiàn)PGA通常更受歡迎；深度學(xué)習(xí)已經(jīng)顯示出足以為ASIC投片帶來的前景了。

然而，哪一種DNN架構(gòu)將會勝出？如今看來還不夠明朗。盡管深度學(xué)習(xí)市場正迅速成長，但仍遠(yuǎn)低于PC、智能手機(jī)和汽車市場。因此，ASIC和ASSP的商業(yè)案例看起來還微不足道。相形之下，像英特爾和Nvidia這樣的公司可以采用來自其它市場的高性能處理器，并增強(qiáng)其深度學(xué)習(xí)，透過大量的軟件支持和持續(xù)的更新以提供具競爭力的產(chǎn)品。未來幾年，我們將會看到許多不同的硬件架構(gòu)在深度學(xué)習(xí)市場中共存。