不斷發(fā)展的機器學(xué)習(xí)領(lǐng)域為部署設(shè)備和應(yīng)用程序創(chuàng)造了新的機會，這些設(shè)備和應(yīng)用程序利用神經(jīng)網(wǎng)絡(luò)推理，具有前所未有的基于視覺的功能和準(zhǔn)確性。但是，快速發(fā)展的領(lǐng)域已經(jīng)讓位于處理器、加速器和庫的混亂格局。本文討論了開放式互操作性標(biāo)準(zhǔn)及其在降低成本和在實際產(chǎn)品中使用推理和視覺加速的障礙方面的作用。

每個行業(yè)都需要開放標(biāo)準(zhǔn)，通過提高生態(tài)系統(tǒng)元素之間的互操作性來降低成本并縮短上市時間。開放標(biāo)準(zhǔn)和專有技術(shù)具有復(fù)雜且相互依存的關(guān)系。專有API和接口通常是達(dá)爾文式的試驗場，可以在聰明的市場領(lǐng)導(dǎo)者手中保持主導(dǎo)地位，這是應(yīng)該的。強大的開放標(biāo)準(zhǔn)源于行業(yè)對成熟技術(shù)的更廣泛需求，并且可以提供健康、激勵性的競爭。從長遠(yuǎn)來看，隨著技術(shù)、平臺和市場地位的旋轉(zhuǎn)和發(fā)展，不受任何一家公司控制或依賴的開放標(biāo)準(zhǔn)通常可以成為行業(yè)進步的連續(xù)性線索。

創(chuàng)建嵌入式機器學(xué)習(xí)應(yīng)用程序

許多互操作部分需要協(xié)同工作來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并將其成功部署在嵌入式加速推理平臺上，如圖 1 所示。有效的神經(jīng)網(wǎng)絡(luò)訓(xùn)練通常需要大型數(shù)據(jù)集，使用浮點精度，并在功能強大的 GPU 加速桌面機器或云中運行。訓(xùn)練完成后，經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò)將被攝取到針對快速張量操作進行優(yōu)化的推理運行時引擎中，或者將神經(jīng)網(wǎng)絡(luò)描述轉(zhuǎn)換為可執(zhí)行代碼的機器學(xué)習(xí)編譯器中。無論使用引擎還是編譯器，最后一步都是在從 GPU 到專用張量處理器的各種加速器架構(gòu)之一上加速推理代碼。

圖1.訓(xùn)練神經(jīng)網(wǎng)絡(luò)并將其部署在加速推理平臺上的步驟

那么，行業(yè)開放標(biāo)準(zhǔn)如何幫助簡化這一過程呢？圖2.說明了在視野和推理加速度中使用的 Khronos 標(biāo)準(zhǔn)。總的來說，隨著處理器頻率縮放讓位于并行編程，人們對所有這些標(biāo)準(zhǔn)越來越感興趣，并行編程是以可接受的成本和功耗水平提供所需性能的最有效方法。

圖2.用于加速視覺和推理應(yīng)用和引擎的 Khronos 標(biāo)準(zhǔn)

從廣義上講，這些標(biāo)準(zhǔn)可以分為兩組：高級和低級。高級 API 側(cè)重于易于編程，并跨多個硬件架構(gòu)提供有效的性能可移植性。相比之下，低級 API 提供對硬件資源的直接、顯式訪問，以實現(xiàn)最大的靈活性和控制力。每個項目都必須了解哪個級別的 API 最適合他們的開發(fā)需求。此外，高級 API 通常會在其實現(xiàn)中使用較低級別的 API。

讓我們更詳細(xì)地看一下其中一些Khronos標(biāo)準(zhǔn)。

SYCL - C++ 單源異構(gòu)編程

SYCL（發(fā)音為“鐮刀”）使用C++模板庫來調(diào)度標(biāo)準(zhǔn) ISO C++應(yīng)用程序的選定部分以卸載處理器。SYCL 使復(fù)雜的C++機器學(xué)習(xí)框架和庫能夠直接編譯和加速到在許多情況下優(yōu)于手動調(diào)優(yōu)代碼的性能水平。如圖 3 所示，默認(rèn)情況下，SYCL 是通過較低級別的 OpenCL 標(biāo)準(zhǔn) API 實現(xiàn)的：將用于加速的代碼饋送到 OpenCL 中，其余主機代碼通過系統(tǒng)的默認(rèn) CPU 編譯器輸入。

圖3.SYCL 將標(biāo)準(zhǔn)C++應(yīng)用程序拆分為 CPU 和 OpenCL 加速代碼

有越來越多的SYCL實現(xiàn)，其中一些使用專有后端，例如NVIDIA的CUDA用于加速代碼。值得注意的是，英特爾新的oneAPI計劃包含一個名為DPC++的并行C++編譯器，它是OpenCL上的SYCL實現(xiàn)。

NNEF – 神經(jīng)網(wǎng)絡(luò)交換格式

目前有數(shù)十種神經(jīng)網(wǎng)絡(luò)訓(xùn)練框架在使用，包括Torch，Caffe，TensorFlow，Theano，Chainer，Caffe2，PyTorch和MXNet等等，并且都使用專有格式來描述其訓(xùn)練的網(wǎng)絡(luò)。市場上還有數(shù)十種，甚至數(shù)百種嵌入式推理處理器。迫使許多硬件供應(yīng)商理解和導(dǎo)入如此多的格式是一個經(jīng)典的碎片化問題，可以通過開放標(biāo)準(zhǔn)解決，如圖 4 所示。

圖4.NNEF 神經(jīng)網(wǎng)絡(luò)交換格式可通過推理加速器簡化對訓(xùn)練網(wǎng)絡(luò)的攝取

NNEF 文件格式旨在為網(wǎng)絡(luò)訓(xùn)練和推理芯片世界提供有效的橋梁——Khronos 經(jīng)過驗證的多公司治理模型為硬件社區(qū)提供了強有力的聲音，說明該格式如何以滿足開發(fā)處理器工具鏈和框架的公司的需求的方式發(fā)展，通常在安全關(guān)鍵市場中。

NNEF不是業(yè)界唯一的神經(jīng)網(wǎng)絡(luò)交換格式，ONNX是由Facebook和微軟創(chuàng)立的開源項目，是一種廣泛采用的格式，主要關(guān)注訓(xùn)練框架之間的網(wǎng)絡(luò)交換。NNEF 和 ONNX 是互補的，因為 ONNX 跟蹤訓(xùn)練創(chuàng)新和機器學(xué)習(xí)研究社區(qū)的快速變化，而 NNEF 針對的是需要具有更深思熟慮的路線圖演變格式的嵌入式推理硬件供應(yīng)商。Khronos圍繞NNEF啟動了一個不斷發(fā)展的開源工具生態(tài)系統(tǒng)，包括來自關(guān)鍵框架的導(dǎo)入商和導(dǎo)出商以及一個模型動物園，以使硬件開發(fā)人員能夠測試他們的推理解決方案。

OpenVX – 便攜式加速視覺處理

OpenVX（VX代表“視覺加速”）通過提供圖形級抽象來簡化視覺和推理軟件的開發(fā)，使程序員能夠通過連接一組函數(shù)或“節(jié)點”來構(gòu)建所需的功能。這種高級抽象使芯片供應(yīng)商能夠非常有效地優(yōu)化其OpenVX驅(qū)動程序，以便在幾乎任何處理器架構(gòu)上高效執(zhí)行。隨著時間的推移，OpenVX 在原始視覺節(jié)點之外添加了推理功能 - 神經(jīng)網(wǎng)絡(luò)畢竟只是另一個圖！通過將NNEF訓(xùn)練的網(wǎng)絡(luò)直接導(dǎo)入OpenVX圖，OpenVX和NNEF之間的協(xié)同作用越來越大，如圖5所示。

圖5.OpenVX 圖可以描述視覺節(jié)點和從 NNEF 文件導(dǎo)入的推理操作的任意組合

OpenVX 1.3 于 2019 年 10 月發(fā)布，支持針對垂直細(xì)分市場（如推理）的精心挑選的規(guī)范子集作為正式標(biāo)準(zhǔn)實施和測試。OpenVX 還與 OpenCL 進行了深度集成，使程序員能夠添加自己的自定義加速節(jié)點以在 OpenVX 圖形中使用，從而提供簡單可編程性和可定制性的獨特組合。

OpenCL – 異構(gòu)并行編程

OpenCL 是一種低級標(biāo)準(zhǔn)，用于對 PC、服務(wù)器、移動設(shè)備和嵌入式設(shè)備中的各種異構(gòu)處理器進行跨平臺并行編程。OpenCL 提供基于 C 和 C++ 的語言，用于構(gòu)建內(nèi)核程序，這些內(nèi)核程序可以在具有 OpenCL 編譯器的系統(tǒng)中的任何處理器上并行編譯和執(zhí)行，從而明確控制程序員在哪些處理器上執(zhí)行哪些內(nèi)核。OpenCL 運行時協(xié)調(diào)加速器設(shè)備的發(fā)現(xiàn)，編譯選定設(shè)備的內(nèi)核，以復(fù)雜的同步級別執(zhí)行內(nèi)核，并收集結(jié)果，如圖 6 所示。

圖6.OpenCL 使 C 或 C++ 內(nèi)核程序能夠在異構(gòu)處理器的任意組合中并行編譯和執(zhí)行

OpenCL 在整個行業(yè)中廣泛使用，為計算、視覺和機器學(xué)習(xí)庫、引擎和編譯器提供最低的“接近金屬”執(zhí)行層。

OpenCL最初是為在高端PC和超級計算機硬件上執(zhí)行而設(shè)計的，但在與OpenVX類似的演變中，需要OpenCL的處理器變得越來越小，精度越來越低，因為它們的目標(biāo)是邊緣視覺和推理。OpenCL 工作組正在努力定義為嵌入式處理器量身定制的功能，并使供應(yīng)商能夠完全一致地針對關(guān)鍵功耗和成本敏感用例提供選定的功能。

審核編輯：郭婷