這是來自Sunya OS創(chuàng)始人Nikhil Bhaskaran在物聯(lián)網(wǎng)2019的一篇演講，Sunya OS是一個優(yōu)化了嵌入式系統(tǒng)的AI庫的操作系統(tǒng)，使開發(fā)人員能夠以非常低的成本非?？焖俚貥?gòu)建AI邊緣解決方案。在接下來的五年里，人工智能將滲透到一切事物之中；而邊緣分析將成為人工智能的下一件大事。

目前人工智能領(lǐng)域的工作更多的是從應(yīng)用的角度來解決工業(yè)問題。人們希望盡快將解決方案推向市場。為此，大多數(shù)人工智能庫都內(nèi)置在云中。在這種情況下，有一個很大的堆棧，第一個挑戰(zhàn)從數(shù)據(jù)開始。

你需要訓(xùn)練一個模型，最大的挑戰(zhàn)不是創(chuàng)建一個模型，而是找到數(shù)據(jù)并以一種有效地訓(xùn)練模型的方式安排數(shù)據(jù)。因此，獲取正確的數(shù)據(jù)有很大的市場。

第二部分是模型的建立。有許多應(yīng)用程序不需要創(chuàng)建像人臉識別和目標(biāo)檢測這樣的模型。因為這些常見的應(yīng)用程序已經(jīng)有現(xiàn)成的模型，所以只需要為應(yīng)用程序選擇合適的模型。之后，您需要進(jìn)一步訓(xùn)練您的模型，因為大多數(shù)模型通常針對不同的數(shù)據(jù)集進(jìn)行訓(xùn)練，而這些數(shù)據(jù)集不能提供良好的輸出。

由于每個庫都擅長某一方面，因此需要仔細(xì)選擇適合應(yīng)用程序的正確庫。

在有了工作模式之后，必須有目的地使用它來產(chǎn)生足夠的資金。一些賺錢的人應(yīng)該關(guān)注的問題是：它（模型）應(yīng)該用于什么？市場在尋找什么？

除此之外，還有一個主要的競爭，因為人工智能中的每個人都直接在云上進(jìn)行模型訓(xùn)練和數(shù)據(jù)工作。然而，人工智能同樣可以在嵌入式計算機上運行良好。這通常是人們不知道的。

所有的人工智能都會在邊緣發(fā)生

在云端運行模型時，通常使用googleengineapi或Amazon的對象識別模型，并為此支付一定的費用。一旦解決方案建立起來，在一段時間內(nèi)你必須支付大量的錢。

相反，同樣的模型可以被編碼到硬件上。在嵌入式系統(tǒng)上，您可以獲得云的性能，而無需長期付費。所有的分析都在嵌入式設(shè)備上進(jìn)行，它只向云端發(fā)送有限的數(shù)據(jù)。

邊緣分析將是人工智能的下一個大事件。AI庫發(fā)送的所有數(shù)據(jù)都將由處理器進(jìn)行計算并給出結(jié)果。例如，在過去，當(dāng)在玩游戲時，所有的數(shù)學(xué)計算都是在GPU中完成的。現(xiàn)在，芯片上有向量處理單元，可以快速處理來自云端的向量（數(shù)據(jù)）。

GPU也擅長浮點運算。

人們不知道很多人工智能應(yīng)用程序可以構(gòu)建在公司可以優(yōu)化的芯片上。

今天可用于人工智能的庫的數(shù)量約為800多個，這聽起來可能令人難以置信，但當(dāng)電腦問世時，人們從來沒有想到它竟然這么大。漸漸地，它成為我們生活中的必需品。人工智能將比這個大得多。在接下來的五年里，人工智能將滲透到一切事物之中。很多產(chǎn)品都會內(nèi)置人工智能。

目前，有二十多家公司從事人工智能技術(shù)。其中最受歡迎的有騰訊、Caffe、Chainer、ONNX和PyTorch。

嵌入式系統(tǒng)面臨的挑戰(zhàn)

在人工智能領(lǐng)域工作的人經(jīng)常面臨諸如模型大小、選擇合適的模型和框架等挑戰(zhàn)。系統(tǒng)方面的挑戰(zhàn)是大多數(shù)人沒有意識到的。其中包括：

平臺

在云中，代碼是預(yù)先安裝的。但是對于嵌入式，您需要獲取源代碼并將其編譯到機器中。

吸引力

找到正確的來源也是一個挑戰(zhàn)。人們需要做大量的研究來找到正確的源代碼、正確的補丁并配置它們。

體系結(jié)構(gòu)支持

通常使用ARM，它可以是ARM7或ARM8。在ARM8中霓虹燈支持的幫助下，硬件fpu（浮點單元）提供5倍的性能。這是非常有利的，但也具有挑戰(zhàn)性。

匯編

交叉編譯無法提供所需的性能。因此，要獲得性能并使庫在硬件上以最佳方式工作，您需要執(zhí)行本機編譯。這需要很長的編碼時間，并且消耗大量的時間。

安裝

編譯后可能會遇到幾個錯誤消息。需要注意正確安裝庫，尤其是對于新機器。

不僅僅是這些，所有庫通常都有一些依賴關(guān)系。每個工具/框架/庫平均有4-5個依賴項。

這些包也需要編譯，以便從安裝在嵌入式系統(tǒng)上的AI庫中獲得最佳性能。稱為Docker的軟件是運行包的最快方法，但它在運行時并沒有得到優(yōu)化，必須小心使用。

業(yè)界有這樣一種看法，要想在邊緣運行人工智能，你需要大量的計算，或者需要有更好的計算能力，這樣才能獲得足夠的性能。然而，這是不正確的。當(dāng)這個解決方案被出售時，你的成本會更高。所以，重點應(yīng)該放在更好的工程上，這樣可以降低價格。這應(yīng)該在不損害最新技術(shù)進(jìn)步的情況下實現(xiàn)。

OpenGL和OpenCL庫

在一個嵌入式系統(tǒng)中，當(dāng)CPU明顯存在時，GPU和NPU是可選的。如果你有GPU，那么它將有OpenGL或OpenCL庫。OpenGL是一個圖形庫，它將接收到的圖形計算傳遞給GPU。OpenCL是一個計算庫，它檢查硬件上的計算能力；它得到的任何計算請求都在系統(tǒng)中分布。通過添加OpenCL，您的性能會非常高。它是一個額外的層，處理請求比操作系統(tǒng)好得多。

在應(yīng)用程序方面還有很多工作要做。在云中編寫代碼之后，當(dāng)您運行它時，分析過程就開始了。在此過程中，代碼生成未知數(shù)量的威脅，如果系統(tǒng)無法處理這些威脅，這些威脅可能會導(dǎo)致硬件故障。但在嵌入式系統(tǒng)中，它是定制的。

在這里，邊緣計算扮演了一個主要角色，它直接在硬件上執(zhí)行計算操作，而不是將數(shù)據(jù)發(fā)送到云端進(jìn)行計算。

隨著嵌入式人工智能領(lǐng)域的發(fā)展，有一些框架只是為這方面而構(gòu)建的。目前，TVM在這方面做得最好。
責(zé)任編輯：tzh