如果說傳統(tǒng)物聯(lián)網(wǎng)更多體現(xiàn)的是線性思維，即物體產(chǎn)生數(shù)據(jù)，通過互聯(lián)網(wǎng)傳到云端，然后分析產(chǎn)生價值。那么今天的物聯(lián)網(wǎng)則完全是立體三維概念，需要同時解決實時應用、成本、分析預測、精準性、人工智能、信息安全等多重問題。如何讓這些元素之間產(chǎn)生和諧的動力，將計算濃度和計算分布變成“邊云協(xié)同”的分布式架構，是當前業(yè)界最為關注的話題。

物聯(lián)網(wǎng)正從邊緣側趨向負載整合

人工智能的發(fā)展離不開數(shù)據(jù)，因為它需要大量的數(shù)據(jù)進行訓練。在當前這樣一個萬物智能互聯(lián)的時代，數(shù)據(jù)量的產(chǎn)生速度超出了一般人的想象。以智能攝像頭為例，隨著攝像頭的分辨率從1080P轉向4K，其一天所采集到的數(shù)據(jù)量將達到200GB。面臨同樣問題的還包括智能醫(yī)院、自動駕駛和智能工廠，它們一天所產(chǎn)生的數(shù)據(jù)將分別超過3TB、4TB和1PB。有人做過這樣的預測，到2020年，一個互聯(lián)網(wǎng)用戶平均每天將產(chǎn)生的數(shù)據(jù)量大概是1.5GB。

然而物聯(lián)網(wǎng)行業(yè)體量巨大，碎片化程度嚴重，將人工智能推向邊緣側其實并不是一件簡單的事情。況且在2012年以前，人工智能在做圖像識別時的準確度是低于人類的。下圖中，虛線代表人類識別水平，實線代表機器識別錯誤率?？梢钥吹?，2012年以前機器識別的錯誤率還是高于人類的，但呈逐漸下降趨勢，2012年之后，隨著AlexNet等神經(jīng)網(wǎng)絡的出現(xiàn)，人工智能水平才出現(xiàn)了質(zhì)的飛躍。

因此，在一個邊緣協(xié)同的端到端系統(tǒng)中，由于不同網(wǎng)源的功耗、計算性能和所能承擔的成本各不相同，在選取硬件架構時往往會有特定要求。英特爾副總裁兼物聯(lián)網(wǎng)事業(yè)部中國區(qū)總經(jīng)理陳偉博士對《電子工程專輯》表示，英特爾的做法是根據(jù)用戶需求提供不同架構的解決方案，涵蓋至強處理器、至強融核處理器、Movidius/Nervana神經(jīng)網(wǎng)絡處理器和FPGA、網(wǎng)絡、存儲技術等硬件平臺，以及多種軟件工具及函數(shù)庫，優(yōu)化開源框架，來讓他們進行自主選擇。

英特爾中國區(qū)物聯(lián)網(wǎng)事業(yè)部首席技術官兼首席工程師張宇博士則強調(diào)了在邊緣側趨向負載整合是物聯(lián)網(wǎng)演進的一個必然趨勢。也就是說，原來在不同設備上分立的負載會越來越多地通過虛擬化等技術，整合到一個單一的高性能的計算平臺上，來實現(xiàn)一個綜合的復雜的功能，各個功能子系統(tǒng)既能分享設備提供的計算、存儲、網(wǎng)絡等資源，還能具有一定的獨立性，避免彼此的相互影響，從而可以簡化系統(tǒng)架構，降低系統(tǒng)總體。

同時，負載整合實際上也為邊緣計算的實現(xiàn)以及為實施人工智能的應用提供了條件。整合后的設備既是邊緣數(shù)據(jù)的匯聚節(jié)點，同時也是邊緣控制的中心，這為邊緣智能提供了處理所需的數(shù)據(jù)，同時也提供了控制的入口。因此英特爾認為人工智能和負載整合的結合，會在今后的邊緣計算的系統(tǒng)里發(fā)生。

視頻是終極物聯(lián)網(wǎng)傳感器

來自《戰(zhàn)略師的物聯(lián)網(wǎng)指南》 的數(shù)據(jù)顯示，到2021年，邊緣到云行業(yè)支出預計將達到110億美元。在這一涵蓋智能制造、智慧城市等領域的巨大物聯(lián)網(wǎng)機遇中，智能設備、傳感器和互聯(lián)事物捕捉的視頻將會占據(jù)60億美元的份額。

為此，英特爾日前面向軟件開發(fā)人員以及開發(fā)、監(jiān)控、零售、醫(yī)療、辦公自動化、自動駕駛等領域的數(shù)據(jù)科學家，最新推出了OpenVINO(Open Visual Inference & Neural Network Optimization, 開放視覺推理及神經(jīng)網(wǎng)絡優(yōu)化)軟件平臺。這是一個快速開發(fā)高性能計算機視覺和深度學習視覺應用的工具包，包括英特爾深度學習部署工具包，具有模型優(yōu)化器、推理引擎、超過20個預先訓練的模型，以及面向OpenCV和OpenVx的優(yōu)化計算機視覺庫。OpenVINO工具包可通過CPU、GPU、FPGA、Movidius VPU等硬件進行部署，增強視覺系統(tǒng)功能和性能，輕松實現(xiàn)邊緣到云的異構執(zhí)行。

測試結果顯示，在英特爾酷睿i7 7800X處理器上運行Google Nex網(wǎng)絡，相應的性價比是目前市場上主流解決方案的兩倍以上；如果選用FPGA，其性能、功耗、成本比值的綜合考量性能大概能達到1.4倍以上；而使用Movidius的話，性能可進一步提升至5倍以上。

作為一家平臺化的公司，英特爾鎖定高性能計算機視覺和深度學習視覺兩大熱點領域，并提供包括CPU、核顯(Integrated GPU)和深度學習加速器(FPGA、Movidius VPU)在內(nèi)的完整硬件解決方案都不令人意外。但在陳偉看來，實際應用中，不但指望產(chǎn)生一個一勞永逸方案的想法是不切實際的，即便在如何深度挖掘這些硬件的計算潛力方面，也仍然存在很多壁壘。

計算機視覺和深度學習開發(fā)工具OpenVINO

從人工智能的演進過程中可以看到，早期的人工智能計算，無論是訓練還是推理都發(fā)生在數(shù)據(jù)中心，因為只有數(shù)據(jù)中心才能夠提供如此驚人的計算力和電力的消耗。然而近年來，隨著網(wǎng)絡壓縮算法的廣泛使用，以及人工智能專用芯片的出現(xiàn)，使得一些深度學習運算可以從云端推送到邊緣，使得智能攝像機、智能網(wǎng)絡視頻存儲器、NVR等產(chǎn)品逐步面世。

在整個端到端的網(wǎng)絡中，不同的網(wǎng)源所能提供的計算量是不一樣的，能夠支持的操作系統(tǒng)也各不相同，因此有各自適用的芯片架構。比如在攝像機里，一個攝像機的功耗大概15瓦，從15瓦里能夠提供給做智能運算的能量有2-3瓦，對于這樣的使用場景，類似于ASIC這樣的架構是最適宜的；然而在數(shù)據(jù)中心中，通用處理器又是最適宜的，這就給開發(fā)者帶來了一定的困擾。簡單而言，就是說為某一種芯片所開發(fā)的軟件在面對一個新架構時，很可能是不適用的，這樣無形中就增加了開發(fā)的門檻。

張宇說自己跟很多從事人工智能應用開發(fā)的開發(fā)者交流過，發(fā)現(xiàn)最大的困擾來自以下兩個方面：一是網(wǎng)絡模型已經(jīng)訓練完畢，但由于推理平臺能力有限，只能下載網(wǎng)絡模型的一部分而不是全部；另外一個則是將訓練好的模型推送到推理平臺之后，不是性能達不到設計要求，就是模型框架得不到英特爾Movidius或是FPGA架構的支持。

在視覺領域，傳統(tǒng)的計算機視覺和深度學習方法都在被廣泛使用中。深度學習方法在物體檢測、目標識別方面已經(jīng)開始替代傳統(tǒng)的計算機視覺，但在光流計算或是圖像增強領域，計算機視覺仍然有自己的用武之地。

OpenVINO對這兩類方法都有很好的支持，從而幫助開發(fā)者將已經(jīng)訓練好的網(wǎng)絡模型部署到目標平臺之上進行推理操作?？紤]到目前比較流行的深度學習框架包括Caffe、Tensor Flow、MxNet三種，模型優(yōu)化器和推理引擎可以把開發(fā)者基于開放的深度學習框架所開發(fā)的網(wǎng)絡模型，針對所選用的目標平臺進行優(yōu)化，然后將這些優(yōu)化的結果轉換成包含網(wǎng)絡拓撲結構、模型參數(shù)和模型變量的中間表述文件(IR文件)供推理引擎讀取，再利用相應的硬件插件將IR文件下載到目標平臺上進行執(zhí)行，開發(fā)者可以通過測試程序或應用來驗證結果的正確性。

傳統(tǒng)計算機視覺工具庫則是經(jīng)過預編譯的，支持OpenCV3.3版本。此外，OpenVINO還包含了對OpenVX以及OpenVX在神經(jīng)網(wǎng)絡擴展的支持，同時在媒體、視頻、圖像處理領域還包含了已經(jīng)非常成熟的英特爾媒體軟件開發(fā)套件(Media SDK)，可以幫助開發(fā)者非常方便的利用英特爾CPU里面集成顯卡的資源來實現(xiàn)多種視頻格式(H.264、H.265)的編碼、解碼以及轉碼的操作。這樣，一個工具庫同時支持多種操作系統(tǒng)，用戶可以非常方便的調(diào)用英特爾硬件資源，實現(xiàn)性能的提升，達到事半功倍的效果。

讓我們一起看看集成了高級軟硬件的英特爾視覺解決方案是如何在邊緣節(jié)點(包括攝像頭和本地服務器)處促進強大的深度學習推理功能在各行各業(yè)中的應用：

交通監(jiān)控。采用英特爾FPGA和Movidius? VPU的攝像頭可捕捉數(shù)據(jù)，并自動將其發(fā)送至下游十字路口系統(tǒng)，幫助交通部門優(yōu)化交通和做好規(guī)劃。這些信息可通過車載系統(tǒng)或應用直接傳達給司機，幫助他們規(guī)劃路線。

公共安全。借助使用OpenVINO?工具包開發(fā)的Myriad VPU和算法，經(jīng)過訓練的深度神經(jīng)網(wǎng)絡現(xiàn)在可利用推理功能通用面部識別分析并識別失蹤兒童。采用了這一技術的城市執(zhí)法機構可在經(jīng)過訓練的數(shù)據(jù)集匹配到人群中已報告失蹤兒童的臉部時，即時收到相關通知。

工業(yè)自動化。英特爾視覺解決方案可幫助智能工廠融合OT和IT，重塑工業(yè)業(yè)務模式和增長戰(zhàn)略。生產(chǎn)控制將可自動、流暢運轉，縮短上市時間。

機器視覺。借助人工智能增強工業(yè)機器視覺，支持更精準的工廠自動化應用。解決方案組合攝像頭、電腦和算法，以分析圖像和視頻，在邊緣提供可以用于指導行動的重要信息。

響應式零售。在邊緣使用英特爾計算機視覺解決方案的零售商，可以快速識別特定客戶或客戶行為模式，從而提供個性化的精準營銷服務。

運營管理。通過使用基于英特爾架構的計算機視覺解決方案，零售商可簡化運營、管理庫存、優(yōu)化供應鏈和增強推銷能力，并幫助他們發(fā)掘數(shù)據(jù)的更高價值。

OpenVINO中的關鍵先生

既能夠?qū)崿F(xiàn)Caffe、Tensor Flow、MxNet框架之上所開發(fā)的模型導入，還能夠進行模型優(yōu)化，采用Python語言進行編寫的模型優(yōu)化器居功至偉。一個簡單的使用場景就是在通用處理器上所產(chǎn)生的訓練結果，由于受到數(shù)據(jù)精度、內(nèi)存、操作系統(tǒng)等多方面的限制，在部署到前端的嵌入式推理平臺上時會受到各種限制，而在模型優(yōu)化器的幫助下，就可以自動實現(xiàn)。

張宇列舉了兩個優(yōu)化的案例。第一，在做訓練的時候，有可能會存在一個Dropout層，它的主要作用是在訓練過程中讓一定比例的神經(jīng)元失效，從而避免在訓練過程中讓模型參數(shù)陷入局部極小值，導致失去最優(yōu)效果。但Dropout層在做推理的時候是沒有必要的，因此OpenVINO中的模型優(yōu)化器可以自動檢測當前的網(wǎng)絡模型，如果發(fā)現(xiàn)有Dropout層存在，就會自動將其剔除掉。第二，將神經(jīng)網(wǎng)絡模型里包含的卷積層、全鄰接層、激活函數(shù)層的網(wǎng)絡優(yōu)化工作交給模型優(yōu)化器進項實現(xiàn)，目前英特爾已經(jīng)驗證超過了150個在Caffe、MxNet和Tensor Flow上所設計的模型。

推理引擎也是深度學習部署套件的一個重要組成部分，由一套C++函數(shù)庫組成。它可經(jīng)過簡單、統(tǒng)一的API接口來支持英特爾的所有架構，實現(xiàn)深度學習推理所需要的操作，例如對數(shù)據(jù)的讀取，對輸入輸出數(shù)據(jù)格式的定義、以及調(diào)用相應的硬件插件等。

目前，用戶可以把中間文件下載到英特爾Arria10 FPGA板卡之上，調(diào)用DLA庫，實現(xiàn)在FPGA上的網(wǎng)絡推理操作；或者通過MKLDN插件，把中間文件下載到英特爾凌動、酷睿和至強處理器上，在這些通用CPU之上實現(xiàn)深度學習的運行；再或者，通過CLDNN和OpenCL的接口將神經(jīng)網(wǎng)絡運行在英特爾的集成顯卡之上，以及利用Movidius插件把神經(jīng)網(wǎng)絡運行在基于Myriad2/Myriad X深度學習計算棒上。今后，如果有一個新的硬件架構需要支持，就可以設計一個相應的插件來實現(xiàn)功能的擴展，而不需要改變插件之上的軟件，從而能夠保護開發(fā)者的開發(fā)成本。

OpenVINO工具套件的另一個優(yōu)勢在于它的訪問實際上是分層的，不同的開發(fā)者可以根據(jù)自己的使用要求和開發(fā)能力去選擇不同的API接口進行調(diào)用。對于新手來說，OpenVINO里包含了很多應用的示例，比如物體檢測、人臉識別等；對于能力更強的用戶，OpenVINO可提供網(wǎng)絡的實現(xiàn)，也被稱作Model Zoo，他們可以在此基礎之上實現(xiàn)相應的應用開發(fā)。如果要設計一些新的網(wǎng)絡模型，或是直接調(diào)用硬件底層接口實現(xiàn)對硬件的直接訪問，則可以利用模型優(yōu)化器和推理引擎將網(wǎng)絡模型轉換成硬件可識別的語言后，再下載到硬件平臺上進行執(zhí)行。