增加諸如人臉識別這樣基于人工智能的界面來進行機器的訪問授權(quán)——這乍一看似乎是一個巨大的飛躍，但它并不像您想象得那么困難。有大量的網(wǎng)絡(luò)平臺可用，有很多訓練選項，甚至還有開源應(yīng)用程序，比如前面提到的人臉識別的例子。您可以用能在您的個人電腦上運行的原型程序來快速地進行測試。

限制因素

在您的嵌入式應(yīng)用程序中放入一個經(jīng)過訓練的網(wǎng)絡(luò)似乎是另一個巨大的困難。個人電腦（或云）訓練的網(wǎng)絡(luò)不會在存儲容量或功耗方面優(yōu)化太多。它們可能使用浮點或雙字來進行網(wǎng)絡(luò)計算，并且在處理圖像上的滑動窗口時，它們將大幅依賴于片外存儲器訪問。這對高性能個人電腦上運行的原型來說不成問題，但您需要在終端應(yīng)用程序中省著點用，以確保不影響性能。

優(yōu)化要領(lǐng)

優(yōu)化中的一個關(guān)鍵步驟叫做量化。將權(quán)重從浮點切換到定點，并減小定點的大小，例如從32位浮點減到8位整數(shù)，不僅影響權(quán)重的大小，而且影響中間計算值的大小。僅此一項就可以顯著減少內(nèi)存占用，并且在大多數(shù)情況下對識別質(zhì)量的影響很小。

第二項操作是利用權(quán)重中的稀疏性，同時盡可能地減小對精確度的影響。這種做法將利用那些接近于零的權(quán)重，并將它們舍入到零，同時密切跟蹤這對精確度的影響。權(quán)重用于乘以部分和，如果其中有因數(shù)為零，就將變成無用功，因此也就沒有必要執(zhí)行該操作了。

在實際的實現(xiàn)過程中，圖像被增量處理，因此當計算窗口在圖像上移動時，必須更新權(quán)重。這會帶來大量的更新以及大量的數(shù)據(jù)流量。通過將大部分權(quán)重值強制設(shè)為零，就可以壓縮權(quán)重數(shù)組，從而使數(shù)組的全部或大部分存儲在片內(nèi)SRAM中，以便按需解壓縮。因此，最大限度地減少了對主存的需求，從而提高了性能并降低了功耗。在加載權(quán)重時，它還附帶地減少了片內(nèi)通信量。更少的流量占用則意味著更高的吞吐量。

此外還要考慮一個因素。像大多數(shù)復雜的應(yīng)用一樣，神經(jīng)網(wǎng)絡(luò)依賴于精密的數(shù)據(jù)庫。您需要使用專為微控制器環(huán)境設(shè)計的數(shù)據(jù)庫，和您所選擇的平臺的編譯器。選擇TensorFlow Lite等開源庫便是一個不錯的著手點，但是為了充分利用微控制器，還需要專門的定制解決方案。

當然，想要弄清自己必須要干什么并不容易。而您現(xiàn)在要做的，就是找到平臺來簡化這些操作并提供經(jīng)過硬件優(yōu)化的數(shù)據(jù)庫。

我如何使這個流程變得簡單易用？

您需要的是一個可以在特定平臺（例如TensorFlow）上承載訓練過的網(wǎng)絡(luò)，并且將該網(wǎng)絡(luò)直接編譯到您的嵌入式解決方案中的流程。除了加入一些基本要求之外，無需額外干預。當然，您也希望能夠進一步手動優(yōu)化該選項，可以是在不同的平面上設(shè)置不同的量化級別，也可以是在權(quán)重閾值與片內(nèi)存儲器容量方面多加嘗試。此外，您還希望根據(jù)硬件優(yōu)化數(shù)據(jù)庫，以及根據(jù)數(shù)據(jù)庫優(yōu)化硬件。

原文標題：掌握嵌入式人工智能：根據(jù)您的設(shè)備進行優(yōu)化

文章出處：【微信公眾號：CEVA】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責任編輯：haq