邊緣計算是一個難題，它為IT架構(gòu)師和嵌入式開發(fā)人員提供了多種選擇。最終，它可以創(chuàng)建邊緣AI，從而實現(xiàn)更快、更豐富的決策。

基于AI的機器學習技術(shù)已經(jīng)超越了基于云的數(shù)據(jù)中心，因為重要的IoT傳感器數(shù)據(jù)的處理越來越接近數(shù)據(jù)最初所在的位置。

此舉將由配備了新的人工智能（AI）的芯片實現(xiàn)。這些產(chǎn)品包括嵌入式微控制器，其存儲器和功耗要求比GPU（圖形處理單元）、FPGA（現(xiàn)場可編程門陣列）更小，以及其他專門的IC類型首先用于在Amazon Web Services，Microsoft和Google的云數(shù)據(jù)中心解決數(shù)據(jù)科學家們的問題。

正是在這些云服務，機器學習和相關的神經(jīng)網(wǎng)絡才得以爆發(fā)。但是物聯(lián)網(wǎng)的興起造成了數(shù)據(jù)沖擊，這也需要基于邊緣的機器學習。

現(xiàn)在，云提供商、物聯(lián)網(wǎng)（IoT）平臺制造商以及其他企業(yè)看到了在將數(shù)據(jù)移交給云端進行分析之前在邊緣處理數(shù)據(jù)的好處。

在邊緣做出AI決策可以減少延遲，并使對傳感器數(shù)據(jù)的實時響應更加可行和適用。盡管如此，人們稱之為“邊緣AI”的形式仍然很多種。以及如何利用下一代物聯(lián)網(wǎng)為其提供支持，在呈現(xiàn)高質(zhì)量的可行數(shù)據(jù)方面提出了挑戰(zhàn)。

邊緣計算工作量增長

基于邊緣的機器學習可能會推動IoT市場中AI的顯著增長，據(jù)Mordor Intelligence估計，到2026年，CAGR將增長27.3％。

Eclipse Foundation IoT Group在2020年的研究支持了這一點，IoT開發(fā)人員中最常引用的邊緣計算工作負載中，AI將占30％。

對于許多應用而言，復制在云上啟用并行機器學習的無休止的服務器機架是不可行的。受益于本地處理的IoT邊緣案例很多，并且通過各種操作監(jiān)控案例來突出說明。例如，處理器可以監(jiān)視由石油鉆井平臺上的壓力表變化觸發(fā)的事件，在遙遠的電源線上檢測到異常情況或在工廠捕獲到的視頻錄像。

最后一種情況是最廣泛使用的一種。在邊緣分析圖像數(shù)據(jù)的AI的應用已證明是一塊肥沃的土地。但是，使用物聯(lián)網(wǎng)設備收集的數(shù)據(jù)進行事件處理有許多復雜的處理需求。

邊緣計算的價值

Hyperion Research高級顧問史蒂夫·康威（Steve Conway）表示，基于云的物聯(lián)網(wǎng)分析仍將持續(xù)下去。但是，距離數(shù)據(jù)必須行進會帶來處理延遲。將數(shù)據(jù)移入和移出云自然會產(chǎn)生滯后，往返需要時間。

“有一種叫做光速的東西，”康韋打趣道。 “而且你不能超過它?！币虼?，處理的層次結(jié)構(gòu)正在邊緣發(fā)展。

除了設備和板級實施之外，此層次結(jié)構(gòu)還包括制造中的IoT網(wǎng)關和數(shù)據(jù)中心，這些擴展了可用于下一代IoT系統(tǒng)開發(fā)的架構(gòu)選項。

SAS物聯(lián)網(wǎng)和Edge部門產(chǎn)品營銷高級經(jīng)理Saurabh Mishra表示，從長遠來看，邊緣AI架構(gòu)是數(shù)據(jù)處理重點的又一代轉(zhuǎn)變，但這是關鍵。

“這里有進步，這個想法是集中您的數(shù)據(jù)。您可以為某些行業(yè)和某些用例（在數(shù)據(jù)中心等環(huán)境中已創(chuàng)建數(shù)據(jù)的那些用例）執(zhí)行此操作。”他說。

Mishra說，SAS已經(jīng)創(chuàng)建了經(jīng)過驗證的邊緣物聯(lián)網(wǎng)參考架構(gòu)，客戶可以在此基礎上構(gòu)建AI和分析應用，這實際上是不可能高效且經(jīng)濟地將其移至云中進行分析的。在云和邊緣AI之間取得平衡將是一項基本要求。

Eclipse基金會物聯(lián)網(wǎng)和邊緣計算項目經(jīng)理FrédéricDesbiens表示，要找到平衡，首先要考慮運行機器學習模型所需的數(shù)據(jù)量。這就是新的智能處理器的發(fā)揮作用的地方。

“邊緣的AI加速器可以在將數(shù)據(jù)發(fā)送到其他地方之前進行本地處理。但是，這需要您考慮功能要求，包括所需的軟件堆棧和存儲，” Desbiens說。

AI 邊緣芯片豐富

基于云的機器學習的興起受到高內(nèi)存帶寬GPU（通常以NVIDIA半導體形式）的興起的影響。這項成功引起了其他芯片制造商的關注。

內(nèi)部AI專用處理器緊隨其后的是超大規(guī)模云服務玩家Google、AWS和Microsoft。

AI芯片之戰(zhàn)使得AMD、Intel、Qualcomm和ARM Technology（去年被NVIDIA收購）等領先企業(yè)并駕齊驅(qū)。

反過來，Maxim Integrated、NXP Semiconductors、Silicon Labs、STM Microelectronics等嵌入式微處理器和片上系統(tǒng)的主流開始致力于將AI功能添加到邊緣。

如今，物聯(lián)網(wǎng)和邊緣處理需求吸引了包括EdgeQ、Graphcore、Hailo、Mythic等在內(nèi)的AI芯片初創(chuàng)公司。目前，邊緣處理還受到限制。Hyperion的Steve Conway強調(diào)說，障礙包括可用內(nèi)存、能耗和成本。

Conway說：“嵌入式處理器非常重要，因為能耗非常重要。GPU和CPU并不是小小的模具，特別是GPU消耗大量能源?！?/p>

軟硬件的配合

Maxim Integrated公司的微控制器和軟件算法業(yè)務執(zhí)行董事克里斯·阿迪斯（Kris Ardis）建議，數(shù)據(jù)移動是邊緣能耗的一個因素。最近，該公司發(fā)布了MAX78000，該器件將低功耗控制器與神經(jīng)網(wǎng)絡處理器配對，可在電池供電的IoT設備上運行。

“如果您可以在最邊緣進行計算，則可以節(jié)省帶寬和通信能力。挑戰(zhàn)在于采用神經(jīng)網(wǎng)絡并使其適合相應的配件。” Ardis說。

他指出，基于該芯片的單個物聯(lián)網(wǎng)設備可以為物聯(lián)網(wǎng)網(wǎng)關提供支持，物聯(lián)網(wǎng)網(wǎng)關也可以發(fā)揮重要作用，將來自設備的數(shù)據(jù)匯總起來，并進一步過濾可能流向云的數(shù)據(jù)，以分析整體操作。

其他半導體設備制造商也正在適應一種趨勢，即計算越來越接近數(shù)據(jù)所在的位置。它們是擴展開發(fā)人員功能的工作的一部分，即使他們的硬件選擇不斷增長。

英特爾物聯(lián)網(wǎng)部門副總裁比爾·皮爾森（Bill Pearson）承認，曾經(jīng)有一段時間“ CPU是所有問題的答案”。像邊緣AI這樣的趨勢現(xiàn)在掩蓋了這一點。

他使用術(shù)語“ XPU”來表示支持不同用途的各種芯片類型。但是，他補充說，應該通過單個軟件應用程序編程接口（API）來支持這種多樣性。

為了幫助軟件開發(fā)人員，英特爾最近發(fā)布了OpenVINO工具包的2021.2版本，用于在邊緣系統(tǒng)上進行推理。它為包括CPU、GPU和Movidius視覺處理單元在內(nèi)的Intel組件提供了通用的開發(fā)環(huán)境。皮爾森表示，英特爾還為邊緣軟件提供了DevCloud，以預測不同英特爾硬件上神經(jīng)網(wǎng)絡推理的性能。

NVIDIA企業(yè)與邊緣計算部門副總裁兼總經(jīng)理Justin Boitano表示：“該行業(yè)必須使非AI專家的工作變得更加輕松?！?/p>

這可能采用NVIDIA Jetson的形式，其中包括一個低功耗ARM處理器。 Jetson以60年代的科幻動畫片系列而得名，旨在為移動嵌入式系統(tǒng)提供GPU加速的并行處理。

最近，為簡化視覺系統(tǒng)的開發(fā)，NVIDIA推出了Jetson JetPack 4.5，其中包括其視覺編程接口（VPI）的首個生產(chǎn)版本。

Boitano說，隨著時間的推移，邊緣的AI開發(fā)瑣事將更多地由IT部門來處理，而由對機器學習有深入了解的AI研究人員將減少處理。

Tiny ML的興起

在終端和邊緣側(cè)的微處理器上實現(xiàn)的機器學習過程就叫做tiny Machine Learning（即tinyML）。

將機器學習方法從廣闊的云遷移到受約束的邊緣設備所需的技能并不容易獲得。但是正在應用新的軟件技術(shù)來實現(xiàn)緊湊的邊緣AI，同時減輕了開發(fā)人員的工作量。

實際上，行業(yè)已經(jīng)經(jīng)歷了“Tiny ML”方法的興起。這些功能以更低的功耗完成工作并使用有限的內(nèi)存，同時實現(xiàn)了每秒的推理能力。

已經(jīng)出現(xiàn)了各種降低邊緣處理要求的機器學習工具，包括Apache MXNet， Edge Impulse’s EON， Facebook’s Glow， Foghorn Lightning Edge ML， Google TensorFlow Lite， Microsoft ELL， OctoML’s Octomizer等。

縮小神經(jīng)網(wǎng)絡處理的大小是這里的主要目標，并且這些技術(shù)有很多種。Foghorn的首席技術(shù)官Sastry Malladi表示，其中包括量化、二值化和修正，F(xiàn)oghorn是支持多種邊緣和內(nèi)部部署實施的軟件平臺的制造商。

神經(jīng)網(wǎng)絡處理的量化側(cè)重于使用低位寬數(shù)學。反過來，二值化用于減少計算的復雜性。并且，修正用于減少必須處理的神經(jīng)節(jié)點的數(shù)量。

Malladi承認，對于大多數(shù)開發(fā)人員而言，這是一項艱巨的任務，特別是在一系列硬件上。他說，F(xiàn)oghorn的Lightning平臺背后的努力旨在抽象化邊緣機器學習的復雜性。

例如，目標是允許生產(chǎn)線操作員和可靠性工程師使用拖放式界面，而不是應用程序編程界面和軟件開發(fā)套件，因為它們不那么直觀，并且需要更多的編碼知識。

簡化嵌入式機器學習開發(fā)平臺制造商Edge Impulse的重點還在于簡化開發(fā)并在多種類型的Edge AI硬件上運行的軟件。

Edge Impulse首席執(zhí)行官Zach Shelby表示，最終，機器學習的成熟意味著模型的小型化。

“研究的方向是越來越復雜的越來越大的模型，”謝爾比說。 “但是，隨著機器學習達到黃金時段，人們開始再次關注效率?！睆亩肓薚iny ML。

他說，必須有能夠在現(xiàn)有物聯(lián)網(wǎng)基礎設施上運行的軟件，同時支持通往新硬件品種的道路。 Shelby繼續(xù)說，Edge Impulse工具允許對可用硬件上的算法和事件進行基于云的建模，以便用戶在進行選擇之前可以嘗試不同的選項。

關注未來

邊緣化方面，計算機視覺已成為AI的重要用例，尤其是深度學習的形式，它采用多層神經(jīng)網(wǎng)絡和無監(jiān)督技術(shù)來實現(xiàn)圖像模式識別的結(jié)果。

根據(jù)Forrester Research的首席分析師Kjell Carlsson的說法，當今的視覺系統(tǒng)架構(gòu)正在發(fā)生變化，因為最邊緣的相機通過嵌入式硬件為深度學習增加了處理能力。但是找到最佳的應用目標可能是一個挑戰(zhàn)。

他說：“人工智能的問題在于，您最終會更多地關注‘新的’用例?！?/p>

Carlsson說，開發(fā)這些未開發(fā)的解決方案存在固有的風險，因此，一種有用的策略是，著眼于具有高成本效益比的用例，即使模式識別的準確性可能落后于成熟的現(xiàn)有系統(tǒng)。

總體而言，Carlsson表示，邊緣AI可以幫助實現(xiàn)IoT的最初承諾，而隨著實施者對各種潛在用例進行分類時，邊緣AI有時會滯后。

“物聯(lián)網(wǎng)本身有一些局限性?，F(xiàn)在，借助AI，機器學習和深度學習，使物聯(lián)網(wǎng)更加適用-并具有很高的價值，”他說。
編輯：lyn