機器學(xué)習(xí)是使用算法解析數(shù)據(jù)，從中學(xué)習(xí)，然后做出決策或預(yù)測的過程。機器不是準(zhǔn)備程序代碼來完成任務(wù)，而是使用大量數(shù)據(jù)和算法“訓(xùn)練”以自行執(zhí)行任務(wù)。

機器學(xué)習(xí)正在使用神經(jīng)網(wǎng)絡(luò) （NN） 算法發(fā)生革命性變化，神經(jīng)網(wǎng)絡(luò)算法是我們大腦中發(fā)現(xiàn)的生物神經(jīng)元的數(shù)字模型。這些模型包含像大腦神經(jīng)元一樣連接的層。許多應(yīng)用程序都受益于機器學(xué)習(xí)，包括圖像分類/識別、大數(shù)據(jù)模式檢測、ADAS、欺詐檢測、食品質(zhì)量保證和財務(wù)預(yù)測。

作為機器學(xué)習(xí)的算法，神經(jīng)網(wǎng)絡(luò)包括由多個層組成的廣泛的拓撲結(jié)構(gòu)和大??；第一層（“輸入層”）、中間層（“隱藏層”）和最后一層（“輸出層”）。隱藏層對輸入執(zhí)行各種專用任務(wù)并將其傳遞到下一層，直到在輸出層生成預(yù)測。

一些神經(jīng)網(wǎng)絡(luò)相對簡單，只有兩層或三層神經(jīng)元，而所謂的深度神經(jīng)網(wǎng)絡(luò) （DNN） 可能包含多達 1000 層。為特定任務(wù)確定正確的 NN 拓撲和大小需要與類似網(wǎng)絡(luò)進行實驗和比較。

設(shè)計高性能機器學(xué)習(xí)應(yīng)用程序需要網(wǎng)絡(luò)優(yōu)化，這通常使用修剪和量化技術(shù)完成，以及計算加速，使用 ASIC 或 FPGA 執(zhí)行。

在本文中，我們將討論 DNN 的工作原理、為什么 FPGA 在 DNN 推理中越來越受歡迎，并考慮使用 FPGA 開始設(shè)計和實現(xiàn)基于深度學(xué)習(xí)的應(yīng)用程序所需的工具。

開發(fā) DNN 應(yīng)用程序的設(shè)計流程

設(shè)計 DNN 應(yīng)用程序是一個三步過程。這些步驟是選擇正確的網(wǎng)絡(luò)，訓(xùn)練網(wǎng)絡(luò)，然后將新數(shù)據(jù)應(yīng)用于訓(xùn)練模型進行預(yù)測（推理）。

如前所述，DNN 模型中有多個層，每一層都有特定的任務(wù)。在深度學(xué)習(xí)中，每一層都旨在提取不同層次的特征。例如，在邊緣檢測神經(jīng)網(wǎng)絡(luò)中，第一個中間層檢測邊緣和曲線等特征。然后將第一個中間層的輸出饋送到第二層，第二層負責(zé)檢測更高級別的特征，例如半圓或正方形。第三個中間層組裝其他層的輸出以創(chuàng)建熟悉的對象，最后一層檢測對象。

在另一個示例中，如果我們開始識別停車標(biāo)志，則經(jīng)過訓(xùn)練的系統(tǒng)將包括用于檢測八邊形形狀、顏色以及其中的字母“S”、“T”、“O”和“P”的層秩序和孤立。輸出層將負責(zé)確定它是否是停車標(biāo)志。

DNN 學(xué)習(xí)模型

有四種主要的學(xué)習(xí)模型：

監(jiān)督：在這個模型中，所有的訓(xùn)練數(shù)據(jù)都被標(biāo)記了。NN 將輸入數(shù)據(jù)分類為從訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)的不同標(biāo)簽。

無監(jiān)督：在無監(jiān)督學(xué)習(xí)中，深度學(xué)習(xí)模型被交給一個數(shù)據(jù)集，而沒有明確說明如何處理它。訓(xùn)練數(shù)據(jù)集是沒有特定期望結(jié)果或正確答案的示例集合。然后，NN 會嘗試通過提取有用的特征并分析其結(jié)構(gòu)來自動找到數(shù)據(jù)中的結(jié)構(gòu)。

半監(jiān)督：這包括帶有標(biāo)記和未標(biāo)記數(shù)據(jù)的訓(xùn)練數(shù)據(jù)集。這種方法在難以從數(shù)據(jù)中提取相關(guān)特征時特別有用，并且標(biāo)記示例對于專家來說是一項耗時的任務(wù)。

強化：這是獎勵網(wǎng)絡(luò)以獲得結(jié)果并提高性能的行為。這是一個迭代過程：反饋的輪次越多，網(wǎng)絡(luò)就越好。這種技術(shù)對于訓(xùn)練機器人特別有用，機器人會在諸如駕駛自動駕駛汽車或管理倉庫庫存等任務(wù)中做出一系列決策。

訓(xùn)練與推理

在訓(xùn)練中，未經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型從現(xiàn)有數(shù)據(jù)中學(xué)習(xí)新的能力。一旦訓(xùn)練好的模型準(zhǔn)備好，它就會被輸入新數(shù)據(jù)并測量系統(tǒng)的性能。正確檢測圖像的比率稱為推理。

在圖 1 給出的示例中（識別貓），在輸入訓(xùn)練數(shù)據(jù)集后，DNN 開始調(diào)整權(quán)重以尋找貓；其中權(quán)重是每個神經(jīng)元之間連接強度的度量。

如果結(jié)果錯誤，錯誤將被傳播回網(wǎng)絡(luò)層以修改權(quán)重。這個過程一次又一次地發(fā)生，直到它得到正確的權(quán)重，這導(dǎo)致每次都得到正確的答案。

如何實現(xiàn)高性能 DNN 應(yīng)用

使用 DNN 進行分類需要大數(shù)據(jù)集，從而提高準(zhǔn)確性。然而，一個缺點是它為模型產(chǎn)生了許多參數(shù)，這增加了計算成本并且需要高內(nèi)存帶寬。

優(yōu)化 DNN 應(yīng)用程序有兩種主要方法。首先是通過修剪冗余連接和量化權(quán)重并融合神經(jīng)網(wǎng)絡(luò)來縮小網(wǎng)絡(luò)規(guī)模的網(wǎng)絡(luò)優(yōu)化。

修剪： 這是 DNN 壓縮的一種形式。它減少了與其他神經(jīng)元的突觸連接數(shù)，從而減少了數(shù)據(jù)總量。通常，接近零的權(quán)重會被移除。對于分類 ［2］ 等任務(wù)，這有助于消除冗余連接，但精度會略有下降。

量化： 這樣做是為了使神經(jīng)網(wǎng)絡(luò)達到合理的大小，同時實現(xiàn)高性能的準(zhǔn)確性。這對于內(nèi)存大小和計算數(shù)量必然受到限制的邊緣應(yīng)用程序尤其重要。在此類應(yīng)用中，為了獲得更好的性能，模型參數(shù)保存在本地內(nèi)存中，以避免使用 PCIe 或其他互連接口進行耗時的傳輸。在該方法中，執(zhí)行通過低位寬數(shù)的神經(jīng)網(wǎng)絡(luò)（INT8）來逼近使用浮點數(shù)的神經(jīng)網(wǎng)絡(luò)（FTP32）的過程。這極大地降低了使用神經(jīng)網(wǎng)絡(luò)的內(nèi)存需求和計算成本。通過量化模型，我們稍微損失了精度和準(zhǔn)確度。但是，對于大多數(shù)應(yīng)用程序來說，不需要 32 位浮點。

優(yōu)化 DNN 的第二種方法是通過計算加速，使用 ASIC 或 FPGA。其中，后一種選擇對機器學(xué)習(xí)應(yīng)用程序有很多好處。這些包括：

電源效率： FPGA 提供了一種靈活且可定制的架構(gòu)，它只允許使用我們需要的計算資源。在 ADAS 等許多應(yīng)用中，為 DNN 配備低功耗系統(tǒng)至關(guān)重要。

可重構(gòu)性： 與 ASIC 相比，F(xiàn)PGA 被認為是原始可編程硬件。此功能使它們易于使用，并顯著縮短了上市時間。為了趕上每天發(fā)展的機器學(xué)習(xí)算法，擁有對系統(tǒng)重新編程的能力是非常有益的，而不是等待 SoC 和 ASIC 的長時間制造。

低延遲： 與最快的片外存儲器相比，F(xiàn)PGA 內(nèi)部的 Block RAM 提供的數(shù)據(jù)傳輸速度至少快 50 倍。這是機器學(xué)習(xí)應(yīng)用程序的游戲規(guī)則改變者，低延遲是必不可少的。

性能可移植性： 您無需任何代碼修改或回歸測試即可獲得下一代 FPGA 設(shè)備的所有優(yōu)勢。

靈活性： FPGA 是原始硬件，可以針對任何架構(gòu)進行配置。沒有固定的架構(gòu)或數(shù)據(jù)路徑可以束縛您。這種靈活性使 FPGA 能夠進行大規(guī)模并行處理，因為數(shù)據(jù)路徑可以隨時重新配置。靈活性還帶來了任意對任意 I/O 連接能力。這使 FPGA 無需主機 CPU 即可連接到任何設(shè)備、網(wǎng)絡(luò)或存儲設(shè)備。

功能安全：： FPGA 用戶可以在硬件中實現(xiàn)任何安全功能。根據(jù)應(yīng)用程序，可以高效地進行編碼。FPGA 廣泛用于航空電子設(shè)備、自動化和安全領(lǐng)域，這證明了這些設(shè)備的功能安全性，機器學(xué)習(xí)算法可以從中受益。

成本效率： FPGA 是可重新配置的，應(yīng)用程序的上市時間非常短。ASIC 非常昂貴，如果沒有出現(xiàn)錯誤，制造時間需要 6 到 12 個月。這是機器學(xué)習(xí)應(yīng)用程序的一個優(yōu)勢，因為成本非常重要，而且 NN 算法每天都在發(fā)展。

現(xiàn)代 FPGA 通常在其架構(gòu)中提供一組豐富的 DSP 和 BRAM 資源，可用于 NN 處理。但是，與 DNN 的深度和層大小相比，這些資源已不足以進行完整和直接的映射；當(dāng)然不會像前幾代神經(jīng)網(wǎng)絡(luò)加速器中經(jīng)常使用的那樣。即使使用像 Zynq MPSoC 這樣的設(shè)備（即使是最大的設(shè)備也僅限于 2k DSP 片和總 BRAM 大小小于 10 MB），將所有神經(jīng)元和權(quán)重直接映射到 FPGA 上也是不可能的。

那么，我們?nèi)绾卫?FPGA 的功率效率、可重編程性、低延遲等特性進行深度學(xué)習(xí)呢？

需要新的 NN 算法和架構(gòu)修改才能在 FPGA 等內(nèi)存資源有限的平臺上進行 DNN 推理。

現(xiàn)代 DNN 將應(yīng)用程序分成更小的塊，由 FPGA 處理。由于 FPGA 中的片上存儲器不足以存儲網(wǎng)絡(luò)所需的所有權(quán)重，我們只需要存儲當(dāng)前階段的權(quán)重和參數(shù)，它們是從外部存儲器（可能是 DDR 存儲器）加載的。

然而，在 FPGA 和內(nèi)存之間來回傳輸數(shù)據(jù)將使延遲增加多達 50 倍。首先想到的是減少內(nèi)存數(shù)據(jù)。除了上面討論的網(wǎng)絡(luò)優(yōu)化（剪枝和量化）之外，還有：

權(quán)重編碼：在FPGA中，編碼格式可以隨意選擇?？赡軙幸恍?zhǔn)確性損失，但是與數(shù)據(jù)傳輸引起的延遲及其處理的復(fù)雜性相比，這可以忽略不計。權(quán)重編碼創(chuàng)建了二元神經(jīng)網(wǎng)絡(luò) （BNN），其中權(quán)重減少到只有一位。這種方法減少了傳輸和存儲的數(shù)據(jù)量，以及計算復(fù)雜度。然而，這種方法只會導(dǎo)致具有固定輸入寬度的硬件乘法器的小幅減少。

批處理：在這種方法中，我們使用流水線方法將芯片上已有的權(quán)重用于多個輸入。它還減少了從片外存儲器傳輸?shù)?FPGA ［5］ 的數(shù)據(jù)量。

在 FPGA 上設(shè)計和實現(xiàn) DNN 應(yīng)用

讓我們深入研究在 FPGA 上實現(xiàn) DNN。在此過程中，我們將利用最合適的商用解決方案來快速跟蹤應(yīng)用程序的開發(fā)。

例如，Aldec 有一個名為TySOM-3A-ZU19EG的嵌入式開發(fā)板。除了廣泛的外設(shè)，它還搭載 Xilinx Zynq UltraScale+ MPSoC 系列中最大的 FPGA，該器件具有超過一百萬個邏輯單元，并包括一個運行頻率高達 1.5GHz 的四核 Arm Cortex-A53 處理器。

重要的是，就我們的目的而言，這款龐大的 MPSoC 還支持賽靈思為機器學(xué)習(xí)開發(fā)人員創(chuàng)建的深度學(xué)習(xí)處理單元 （DPU）。

DPU 是專用于卷積神經(jīng)網(wǎng)絡(luò) （CNN） 處理的可編程引擎。它旨在加速計算機視覺應(yīng)用中使用的 DNN 算法的計算工作量，例如圖像/視頻分類和對象跟蹤/檢測。

DPU 有一個特定的指令集，使其能夠有效地與許多 CNN 一起工作。與常規(guī)處理器一樣，DPU 獲取、解碼和執(zhí)行存儲在 DDR 內(nèi)存中的指令。該單元支持多種 CNN，如 VGG、ResNet、GoogLeNet、YOLO、SSD、MobileNet、FPN 等 ［3］。

DPU IP 可以作為一個塊集成到所選 Zynq?-7000 SoC 和 Zynq UltraScale?+ MPSoC 器件的可編程邏輯 （PL） 中，并直接連接到處理系統(tǒng) （PS）。

為了創(chuàng)建 DPU 的說明，Xilinx 提供了深度神經(jīng)網(wǎng)絡(luò)開發(fā)套件 （DNNDK） 工具包。賽靈思聲明：

DNNDK 被設(shè)計為一個集成框架，旨在簡化和加速深度學(xué)習(xí)處理器單元 （DPU） 上的深度學(xué)習(xí)應(yīng)用程序開發(fā)和部署。DNNDK是一個優(yōu)化推理引擎，它使DPU的計算能力變得容易獲得。它為開發(fā)深度學(xué)習(xí)應(yīng)用程序提供了最佳的簡單性和生產(chǎn)力，涵蓋了神經(jīng)網(wǎng)絡(luò)模型壓縮、編程、編譯和運行時啟用 ［4］ 的各個階段。

DNNDK 框架包括以下單元：

DECENT： 執(zhí)行剪枝和量化以滿足低延遲和高吞吐量

DNNC： 將神經(jīng)網(wǎng)絡(luò)算法映射到 DPU 指令

DNNAS：將 DPU 指令組裝成 ELF 二進制代碼

N 2 Cube：充當(dāng) DNNDK 應(yīng)用程序的加載器，處理資源分配和 DPU 調(diào)度。其核心組件包括 DPU 驅(qū)動程序、DPU 加載程序、跟蹤器和用于應(yīng)用程序開發(fā)的編程 API。

Profiler：由 DPU 跟蹤器和 DSight 組成。D 跟蹤器在 DPU 上運行 NN 時收集原始分析數(shù)據(jù)。DSight 使用此數(shù)據(jù)生成可視化圖表以進行性能分析。

Dexplorer：為 DPU 提供運行模式配置、狀態(tài)檢查和代碼簽名檢查。

DDump：轉(zhuǎn)儲 DPU ELF、混合可執(zhí)行文件或 DPU 共享庫中的信息。它加速了用戶的調(diào)試和分析。

這些符合圖 2 所示的流程。

圖 2.上述深度神經(jīng)網(wǎng)絡(luò)開發(fā)套件 （DNNK） 框架使基于 FPGA 的機器學(xué)習(xí)項目的設(shè)計過程對開發(fā)人員來說更加容易。

使用 DNNDK 可以讓開發(fā)人員更輕松地設(shè)計基于 FPGA 的機器學(xué)習(xí)項目；此外，Aldec 的 TySOM-3A-ZU19EG 板等平臺也可提供寶貴的啟動功能。例如，Aldec 準(zhǔn)備了一些針對板的示例——包括手勢檢測、行人檢測、分割和交通檢測——這意味著開發(fā)人員不是從一張白紙開始的。

讓我們考慮一下今年早些時候在 Arm TechCon 上展示的一個演示。這是使用 TySOM-3A-ZU19EG 和 FMC-ADAS 子卡構(gòu)建的交通檢測演示，該子卡為 5 倍高速數(shù)據(jù) （HSD） 攝像頭、雷達、激光雷達和超聲波傳感器提供接口和外圍設(shè)備——大多數(shù)人的感官輸入ADAS 應(yīng)用程序。

圖 3 顯示了演示的架構(gòu)。FPGA 中實現(xiàn)了兩個 DPU，它們通過 AXI HP 端口連接到處理單元，以執(zhí)行深度學(xué)習(xí)推理任務(wù)，例如圖像分類、對象檢測和語義分割。DPU 需要指令來實現(xiàn)由 DNNC 和 DNNAS 工具準(zhǔn)備的神經(jīng)網(wǎng)絡(luò)。他們還需要訪問輸入視頻和輸出數(shù)據(jù)的內(nèi)存位置。

圖 3. 流量檢測演示具有 5 個視頻輸入管道，用于數(shù)據(jù)打包、AXI4 到 AXI 流數(shù)據(jù)傳輸、色彩空間轉(zhuǎn)換 （YUV2RGB） 以及將視頻發(fā)送到內(nèi)存。

應(yīng)用程序在應(yīng)用程序處理單元 （APU） 上運行，以通過管理中斷和執(zhí)行單元之間的數(shù)據(jù)傳輸來控制系統(tǒng)。DPU 和用戶應(yīng)用程序之間的連接是通過 DPU API 和 Linux 驅(qū)動程序?qū)崿F(xiàn)的。有一些功能可以將新圖像/視頻讀取到 DPU、運行處理并將輸出發(fā)送回用戶應(yīng)用程序。

開發(fā)和訓(xùn)練模型是使用 FPGA 之外的 Caffe 完成的，而優(yōu)化和編譯是使用作為 DNNDK 工具包的一部分提供的 DECENT 和 DNNC 單元完成的（圖 2）。在本設(shè)計中，SSD 對象檢測 CNN 用于背景、行人和車輛檢測。

在性能方面，使用四個輸入通道實現(xiàn)了 45 fps，展示了使用 TySOM-3A-ZU19EG 和 DNNDK 工具包的高性能深度學(xué)習(xí)應(yīng)用程序。

審核編輯：郭婷