隨著攝像頭和其他設(shè)備產(chǎn)生的數(shù)據(jù)在快速增長(zhǎng)，促使人們運(yùn)用機(jī)器學(xué)習(xí)從汽車(chē)、安防和其他應(yīng)用產(chǎn)生的影像中提取更多有用的信息。專(zhuān)用器件有望在嵌入式視覺(jué)應(yīng)用中實(shí)現(xiàn)高性能機(jī)器學(xué)習(xí) (ML) 推理。但是此類(lèi)器件大都處于早期開(kāi)發(fā)階段，因?yàn)樵O(shè)計(jì)人員正在努力尋找最有效的算法，甚至人工智能 (AI) 研究人員也在迅速推演新方法。

目前，開(kāi)發(fā)人員一般使用針對(duì) ML 的可用 FPGA 平臺(tái)來(lái)構(gòu)建嵌入式視覺(jué)系統(tǒng)，以期滿足更高的性能要求。與此同時(shí)，他們可以保持所需的靈活性，以跟上機(jī)器學(xué)習(xí)發(fā)展的步伐。

本文將介紹 ML 處理的要求，以及為何 FPGA 能解決許多性能問(wèn)題。然后，將介紹一個(gè)合適的基于 FPGA 的 ML 平臺(tái)及其使用方法。

機(jī)器學(xué)習(xí)算法和推理引擎

在 ML 算法中，卷積神經(jīng)網(wǎng)絡(luò) (CNN) 已成為圖像分類(lèi)的首選解決方案。其圖像識(shí)別的準(zhǔn)確率非常高，因而得以廣泛應(yīng)用于多種應(yīng)用，跨越不同的平臺(tái)，例如智能手機(jī)、安防系統(tǒng)和汽車(chē)駕駛員輔助系統(tǒng)。作為一種深度神經(jīng)網(wǎng)絡(luò) (DNN)，CNN 使用的神經(jīng)網(wǎng)絡(luò)架構(gòu)由專(zhuān)用層構(gòu)成。在對(duì)標(biāo)注圖像進(jìn)行訓(xùn)練期間，它會(huì)從圖像中提取特征，并使用這些特征給圖像分類(lèi)（參見(jiàn)“利用現(xiàn)成的軟硬件啟動(dòng)機(jī)器學(xué)習(xí)”）。

CNN 開(kāi)發(fā)人員通常在高性能系統(tǒng)或云平臺(tái)上進(jìn)行訓(xùn)練，使用圖形處理單元 (GPU) 加速在標(biāo)注圖像數(shù)據(jù)集（通常數(shù)以百萬(wàn)計(jì)）上訓(xùn)練模型所需的巨量矩陣計(jì)算。訓(xùn)練完成之后，訓(xùn)練好的模型用在推理應(yīng)用中，對(duì)視頻流中的新圖像或幀進(jìn)行分類(lèi)。推理部署完成后，訓(xùn)練好的模型仍然需要執(zhí)行同樣的矩陣計(jì)算，但由于輸入量要少很多，開(kāi)發(fā)人員可以將 CNN 用于在通用硬件上運(yùn)行的普通機(jī)器學(xué)習(xí)應(yīng)用（參見(jiàn)“利用 Raspberry Pi 構(gòu)建機(jī)器學(xué)習(xí)應(yīng)用”）。

然而，對(duì)于許多應(yīng)用而言，通用平臺(tái)缺乏在 CNN 推理中同時(shí)實(shí)現(xiàn)高準(zhǔn)確率和高性能所需的性能。優(yōu)化技術(shù)和替代 CNN 架構(gòu)（如 MobileNet 或 SqueezeNet）有助于降低平臺(tái)要求，但通常會(huì)犧牲準(zhǔn)確率并增加推理延時(shí)，而這可能與應(yīng)用要求相沖突。

與此同時(shí)，快速發(fā)展的算法使得機(jī)器學(xué)習(xí) IC 的設(shè)計(jì)工作變得復(fù)雜，因?yàn)樾枰獧C(jī)器學(xué)習(xí) IC 既要足夠?qū)ｉT(mén)化以加速推理，又要足夠通用化以支持新算法。FPGA 多年來(lái)一直扮演著這一特定角色，提供加速關(guān)鍵算法所需的性能和靈活性，解決了通用處理器性能不足或沒(méi)有專(zhuān)用器件可用的問(wèn)題。

FPGA 作為機(jī)器學(xué)習(xí)平臺(tái)

對(duì)于機(jī)器學(xué)習(xí)而言，GPU 仍然是標(biāo)桿——這是早期的 FPGA 根本無(wú)法企及的。最近出現(xiàn)的一些器件，如 Intel Arria 10 GX FPGA 和 Lattice Semiconductor ECP5 FPGA，大大縮小了先進(jìn) FPGA 和 GPU 之間的差距。對(duì)于某些使用緊湊的整數(shù)數(shù)據(jù)類(lèi)型的 DNN 架構(gòu)來(lái)說(shuō)，此類(lèi) FPGA 的性能/功耗比甚至高于主流 GPU。

高級(jí) FPGA 組合了嵌入式存儲(chǔ)器和數(shù)字信號(hào)處理 (DSP) 資源，對(duì)于一般矩陣乘法 (GEMM) 運(yùn)算能夠?qū)崿F(xiàn)很高的性能。其嵌入式存儲(chǔ)器靠近計(jì)算引擎，從而緩解了 CPU 存儲(chǔ)器瓶頸，而這種瓶頸通常會(huì)限制通用處理器上機(jī)器學(xué)習(xí)算法的性能。反之，相比于典型 DSP 器件（圖 1），F(xiàn)PGA 上的嵌入式 DSP 計(jì)算引擎提供了更多的并行乘法器資源。FPGA 廠商在交付專(zhuān)門(mén)用于機(jī)器學(xué)習(xí)的 FPGA 開(kāi)發(fā)平臺(tái)時(shí)充分利用了這些特性。

例如，Intel 最近推出的支持 FPGA 的 OPENVINO? 擴(kuò)展了該平臺(tái)將推理模型部署到不同類(lèi)型設(shè)備（包括 GPU、CPU 和 FPGA）的能力。在該平臺(tái)上，開(kāi)發(fā)人員可使用 Intel 的深度學(xué)習(xí)推理引擎工作流程，其中整合了 Intel 深度學(xué)習(xí)部署工具包和在 Intel OPENVINO 工具包中提供的 Intel 計(jì)算機(jī)視覺(jué)軟件開(kāi)發(fā)套件 (SDK)。開(kāi)發(fā)人員使用 SDK 的應(yīng)用編程接口 (API) 構(gòu)建模型，并且可利用 Intel 的運(yùn)行模型優(yōu)化器針對(duì)不同硬件平臺(tái)進(jìn)行優(yōu)化。

深度學(xué)習(xí)部署工具包旨在與 Intel DK-DEV-10AX115S-A Arria 10 GX FPGA 開(kāi)發(fā)套件配合使用，讓開(kāi)發(fā)人員能從領(lǐng)先的 ML 框架（包括 Caffe 和 TensorFlow）導(dǎo)入訓(xùn)練好的模型（圖 2）。在諸如 Arria 10 GX FPGA 開(kāi)發(fā)套件之類(lèi)目標(biāo)平臺(tái)或使用 Arria 10 GX FPGA 器件的定制設(shè)計(jì)上，工具包中的模型優(yōu)化器和推理引擎分別處理模型轉(zhuǎn)換和部署。

為了遷移預(yù)訓(xùn)練模型，開(kāi)發(fā)人員使用基于 Python 的模型優(yōu)化器生成了一個(gè)中間表示 (IR)，該表示包含在一個(gè)提供網(wǎng)絡(luò)拓?fù)涞?xml 文件和一個(gè)以二進(jìn)制值提供模型參數(shù)的 bin 文件中。除了生成 IR 之外，模型優(yōu)化器還會(huì)執(zhí)行一項(xiàng)關(guān)鍵功能——移除模型中用于訓(xùn)練但對(duì)推理毫無(wú)作用的層。此外，該工具會(huì)在可能的情況下將每個(gè)提供獨(dú)立數(shù)學(xué)運(yùn)算的層合并到一個(gè)組合層中。

通過(guò)這種網(wǎng)絡(luò)修剪和合并，模型變得更緊湊，進(jìn)而加快推理時(shí)間并減少對(duì)目標(biāo)平臺(tái)的存儲(chǔ)器需求。

Intel 推理引擎是一個(gè) C++ 庫(kù)，其中包含一組 C++ 類(lèi)。這些類(lèi)對(duì)于受支持的目標(biāo)硬件平臺(tái)來(lái)說(shuō)是通用的，因此可以在各個(gè)平臺(tái)上實(shí)現(xiàn)推理。對(duì)于推理應(yīng)用而言，開(kāi)發(fā)人員使用像 CNNNetReader 這樣的類(lèi)來(lái)讀取 xml 文件 (ReadNetwork) 中包含的 CNN 拓?fù)湟约?bin 文件 (ReadWeights) 中包含的模型參數(shù)。模型加載完成后，調(diào)用類(lèi)方法 Infer() 執(zhí)行阻塞推理，同時(shí)調(diào)用類(lèi)方法 StartAsync() 執(zhí)行異步推理，當(dāng)推理完成時(shí)使用等待或完成例程處理結(jié)果。

Intel 在 OPENVINO 環(huán)境提供的多個(gè)示例應(yīng)用程序中演示了完整的工作流程和詳細(xì)的推理引擎 API 調(diào)用。例如，安全屏障攝像機(jī)示例應(yīng)用程序展示了使用推理模型流水線，以首先確定車(chē)輛邊界框（圖 3）。流水線中的下一個(gè)模型檢查了邊界框中的內(nèi)容，識(shí)別車(chē)輛類(lèi)別、顏色和車(chē)牌位置等車(chē)輛屬性。

流水線中的最后一個(gè)模型使用這些車(chē)輛屬性從車(chē)牌中提取字符。