現(xiàn)場可編程門陣列 (FPGA) 以加速人工智能/機器學習應(yīng)用而聞名，但它是如何在 FPGA 中實現(xiàn)的，有哪些不同的方法？讓我們探索工程師的設(shè)計空間。

人工智能 (AI) 是云和邊緣應(yīng)用程序中的熱門話題。在許多情況下，人工智能可以實現(xiàn)更安全、更高效和安全的系統(tǒng)。人工智能已經(jīng)存在很長時間了，它于 1956 年由約翰·麥卡錫 (John McCarthy) 在第一次人工智能會議召開時首次使用。雖然幾十年來進行了大量研究，但僅在最近 5 到 10 年，人工智能系統(tǒng)才從實驗室和研究轉(zhuǎn)移到產(chǎn)品路線圖和產(chǎn)品中。

在云和邊緣環(huán)境中，部署最廣泛的 AI 形式之一是機器學習 (ML)。機器學習是對計算機算法的研究，它允許計算機程序通過經(jīng)驗自動改進。這方面的一個例子是為 ML 網(wǎng)絡(luò)提供帶有標簽的圖像數(shù)據(jù)集。機器學習算法識別圖像的特征和元素，以便在輸入新的未標記的、以前未見過的圖像時，ML 算法確定圖像包含任何已學習特征和元素的可能性?？梢杂柧毚祟?ML 算法來檢測圖像中的對象、處理語音中的關(guān)鍵字以及分析傳感器數(shù)據(jù)的異常情況。典型應(yīng)用包括視覺引導(dǎo)機器人、車輛自主操作以及工業(yè)和安全關(guān)鍵系統(tǒng)的預(yù)測。

因此，ML 學習算法分為兩個要素，第一個是針對訓練數(shù)據(jù)集對網(wǎng)絡(luò)進行訓練。第二個是訓練網(wǎng)絡(luò)領(lǐng)域的部署，這些元素分別稱為訓練和推理。訓練準確的模型需要一個帶標簽的大型數(shù)據(jù)集，并且通常在基于云的 GPU 上執(zhí)行以加速訓練過程。設(shè)計工程師可以跨從 MCU 到 GPU 和 FPGA 的一系列技術(shù)部署訓練有素的網(wǎng)絡(luò)。

在 FPGA 中嵌入 AI

幾個非常流行的框架——Caffe、TensorFlow。和 Pytorch——幫助訓練和部署 AI/ML 系統(tǒng)。這些框架用于網(wǎng)絡(luò)定義、訓練和推理。

許多基于邊緣的人工智能系統(tǒng)的關(guān)鍵要素之一是能夠在確定的時間范圍內(nèi)執(zhí)行推理。例如，自動駕駛汽車必須快速檢測車輛、障礙物和行人以防止碰撞。這需要一個既響應(yīng)又確定的解決方案，響應(yīng)是因為傳感器數(shù)據(jù)必須以最小延遲快速處理，確定是因為每個輸入的響應(yīng)時間必須相同并且不依賴于系統(tǒng)操作條件或資源使用，例如，使用共享 DDR 內(nèi)存會減慢響應(yīng)時間。

由于響應(yīng)性和確定性的要求，基于邊緣的解決方案的開發(fā)人員通常以 FPGA 或基于異構(gòu) SoC 的解決方案為目標。這些為開發(fā)人員提供了可編程邏輯，是實現(xiàn)機器學習網(wǎng)絡(luò)的理想選擇，因為它的并行特性支持響應(yīng)式應(yīng)用程序和非常確定的解決方案。

在可編程邏輯中實現(xiàn) ML 推理時，可以采用兩種方法。在使用浮點數(shù)學開發(fā)和訓練神經(jīng)網(wǎng)絡(luò)時，無論采用哪種方法，F(xiàn)PGA 或異構(gòu) SoC 中的實現(xiàn)通常都使用定點實現(xiàn)。從浮點數(shù)到定點數(shù)的轉(zhuǎn)換過程稱為量化，推理精度會略有下降；然而，對于大多數(shù)應(yīng)用程序，可以使用量化的權(quán)重和激活來執(zhí)行額外的訓練以恢復(fù)準確性。

第一種方法直接在可編程邏輯中實現(xiàn)神經(jīng)網(wǎng)絡(luò)。為推理訓練的權(quán)重被加載到網(wǎng)絡(luò)中。這可以在運行時或在設(shè)計的編譯/綜合期間實現(xiàn)。

這些神經(jīng)網(wǎng)絡(luò)的一個例子是 AMD-Xilinx FINN 網(wǎng)絡(luò)，它可用于在 FPGA 中實現(xiàn)量化神經(jīng)網(wǎng)絡(luò)。這些量化神經(jīng)網(wǎng)絡(luò)被實現(xiàn)為具有二進制權(quán)重和兩位激活的量化神經(jīng)網(wǎng)絡(luò)。

有了量化神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)可以在 FPGA 中實現(xiàn)，資源更少，因為不需要外部 DDR 或 SoC 支持。使該方法成為空間、組件和成本非常寶貴的受限開發(fā)的理想選擇。雖然它需要更多的專業(yè)知識才能集成到整體解決方案中，但它可能非常有效。可能使用此類方法的典型示例可能是工業(yè)機械的預(yù)測，例如軸承磨損或振動等。

在 FPGA 邏輯中使用神經(jīng)網(wǎng)絡(luò)直接實現(xiàn)的替代方法是使用高度專業(yè)化的神經(jīng)網(wǎng)絡(luò)加速器。神經(jīng)網(wǎng)絡(luò)加速器在可編程邏輯中實現(xiàn)，并與具有高帶寬鏈路的 DDR 存儲器以及異構(gòu) SoC 中的專用處理器緊密耦合。

在使用神經(jīng)網(wǎng)絡(luò)加速器的應(yīng)用程序中，它們由軟件應(yīng)用程序提供網(wǎng)絡(luò)和權(quán)重/激活和偏差。因此，這使得 ML 推理更容易集成到整個應(yīng)用程序中。神經(jīng)網(wǎng)絡(luò)加速器的一個例子是 AMD-Xilinx 深度學習單元，它可以與 Pytorch、Caffe 和 TensorFlow 中定義的網(wǎng)絡(luò)一起工作，并為應(yīng)用程序執(zhí)行所有量化、再訓練和程序生成。這樣可以更輕松地集成到正在開發(fā)的應(yīng)用程序中。這種方法的典型應(yīng)用是基于視覺的高性能應(yīng)用，例如視覺引導(dǎo)機器人、智能城市解決方案，當然還有提高汽車 SAE 自主水平。

最高的準確性和性能來自于使用專門的神經(jīng)網(wǎng)絡(luò)加速器，并且易于集成通常提供更好的整體解決方案。因此，這種方法被多家供應(yīng)商用于他們的 AI 解決方案。這種方法更容易與更高級別的軟件框架和抽象堆棧集成，這是利用整體性能的關(guān)鍵，因為 AI 通常只是整體解決方案的一小部分（但很重要）。

最后的想法

很多時候，選擇哪種解決方案取決于最終應(yīng)用，即使 AI 可能是主要的營銷元素。在現(xiàn)實世界中，人工智能通常只是整個解決方案的一小部分，因為傳感器接口、預(yù)處理、執(zhí)行器驅(qū)動和構(gòu)成解決方案的其他元素也會有自己的限制和要求。

可編程邏輯使開發(fā)人員能夠構(gòu)建具有響應(yīng)性和確定性的 AI/ML 解決方案。通過將這些解決方案與行業(yè)標準框架相結(jié)合，開發(fā)人員可以使云和邊緣 AI/ML 應(yīng)用程序更安全、更高效、更安全。

審核編輯黃昊宇