Intel DevCloud開(kāi)發(fā)者工具是一個(gè)免費(fèi)的云端的開(kāi)發(fā)平臺(tái)，它已預(yù)裝了OpenVINO Toolkit (Open Visual Inference and Neural network Optimization)方便開(kāi)發(fā)AI應(yīng)用程序。它是一個(gè)云端的JupyterLab服務(wù)，旗下三個(gè)產(chǎn)品DevCloudfor the Edge、DevCloud for oneAPI、DevCloud for FPGA，分別著重讓開(kāi)發(fā)者可以在云端的虛擬機(jī)上評(píng)估模型推論、神經(jīng)網(wǎng)絡(luò)訓(xùn)練研究以及客制化FPGA加速芯片應(yīng)用。

特別值得一提的是，這些服務(wù)目前完全不需要花費(fèi)任何一毛錢(qián)，即可盡情享用到高效能的運(yùn)算能力。開(kāi)發(fā)者們大可好好運(yùn)用這些資源來(lái)學(xué)習(xí)并應(yīng)用AI，本篇文章將使用DevCloud for the Edge，在簡(jiǎn)單的四個(gè)步驟之中，完成一個(gè)Object Detection對(duì)象偵測(cè)的DEMO操作。

一、準(zhǔn)備動(dòng)作

Tutorials與Sample Applications非常推薦入門(mén)者學(xué)習(xí)

在注冊(cè)完成登入DevCloud for the Edge之后，選擇Get Started進(jìn)入，即可看到五個(gè)頁(yè)簽，分別為Home、Learn、Build、Optimize以及Launch，分別在AI應(yīng)用的四個(gè)階段：學(xué)習(xí)、建立模型、優(yōu)化模型以應(yīng)用上，提供相當(dāng)實(shí)用的文件與素材，入門(mén)者建議可以試著運(yùn)行Learn頁(yè)簽里面的Tutorials與Sample Applications，里面有三十余的非常豐富的教學(xué)內(nèi)容。

我們這次的主要目的則是在DevCloud上運(yùn)行open model zoo的范例，首先我們要點(diǎn)選build頁(yè)簽當(dāng)中的Connect and Create來(lái)啟動(dòng)服務(wù)器，等待約三十秒的時(shí)間之后即會(huì)轉(zhuǎn)跳到DevCloud的后臺(tái)界面。

DevCloud的后臺(tái)接口，點(diǎn)選右上方New來(lái)新增檔案或開(kāi)啟終端機(jī)

進(jìn)入到DevCloud后臺(tái)接口可以看到目前顯示在files頁(yè)簽，是類(lèi)似文件管理器以階層的方式看到自己在服務(wù)器上的所有檔案，預(yù)設(shè)服務(wù)器在建立之后即會(huì)產(chǎn)生一個(gè)Reference-samples的文件夾，里面存放許多上面所提到的Sample Applications等項(xiàng)目文件。

DevCloud提供每個(gè)賬戶50GB的儲(chǔ)存空間，可以自由運(yùn)用儲(chǔ)存程序與模型數(shù)據(jù)等。接著點(diǎn)選右上方New按鈕，并從下拉式選單中點(diǎn)選Terminal開(kāi)啟終端機(jī)。在黑色的終端機(jī)背景中輸入以下指令來(lái)取得我們要使用的ipython notebooks檔案，同時(shí)這個(gè)檔案也存放在github上

https://github.com/FelixLinSY/DevCloud_Hands_On

供有需要的開(kāi)發(fā)者自行取用參考。

wgethttps://github.com/FelixLinSY/DevCloud_Hands_On/raw/main/DevCloud_HandsOn.ipynb

二、四步驟完成預(yù)訓(xùn)練模型范例

執(zhí)行完成回到檔案管理接口，就會(huì)看到多出一個(gè)剛下載的DevCloud_HandsOn.ipynb檔案，點(diǎn)選該檔案來(lái)啟動(dòng)ipython notebook。

運(yùn)行于DevCloud的教學(xué)指引：DevCloud_HandsOn.ipynb

開(kāi)啟DevCloud_HandsOn.ipynb之后可以看到左側(cè)是目錄概要，可以看到列出了四個(gè)步驟即可完成open model zoo上的范例：

STEP1: 下載open model zoo程序代碼

STEP2: 下載與轉(zhuǎn)換模型

STEP3: 進(jìn)行對(duì)象偵測(cè)推論

STEP4: 在各種邊緣裝置進(jìn)行推論

本教學(xué)文的目錄概要

右側(cè)比較大的字段則是程序代碼編輯區(qū)，這部分是由程序代碼與批注文字兩種Cell組合而成的區(qū)域，能以Cell為單位自由編輯并且執(zhí)行。筆者已經(jīng)預(yù)先在這個(gè)ipython notebook中加入批注說(shuō)明文字，希望能幫助到初學(xué)者理解各個(gè)步驟與指令的用意所在。

STEP 1: 下載open model zoo程序代碼

STEP1僅有三行指令，依序執(zhí)行即可建立工作目錄并且從github下載open model zoo的程序代碼。

STEP 2: 下載與轉(zhuǎn)換模型

STEP2則接續(xù)要下載預(yù)訓(xùn)練的對(duì)象偵測(cè)模型，這邊有兩個(gè)做法：2.1是一次下載所有支持的對(duì)象偵測(cè)模型；2.2則是僅下載指定模型。由于對(duì)象偵測(cè)支持的預(yù)訓(xùn)練模型實(shí)在是非常多，一次下載將花費(fèi)非常多的時(shí)間，強(qiáng)烈建議先跳過(guò)2.1執(zhí)行2.2下載特定模型即可，待日后想要嘗試置換其他模型時(shí)，再下載全部模型較為妥適。

取得要使用的模型文件之后就是要進(jìn)行模型轉(zhuǎn)換（converter）來(lái)取得推論引擎（Inference Engine），加載時(shí)需要使用的IR（Intermediate Representation）檔，以利后續(xù)使用CPU、GPU、VPU等各種硬件進(jìn)行推論。由于模型轉(zhuǎn)換需要花費(fèi)一些時(shí)間，如果你是一次下載所有模型并且進(jìn)行轉(zhuǎn)換的話（前述2.1的部分）這邊也會(huì)花上好一段時(shí)間。

使用ssd_mobilenet_v2_coco進(jìn)行圖片推論的結(jié)果

STEP 3: 進(jìn)行對(duì)象偵測(cè)推論

STEP3就是進(jìn)行推論的重頭戲了，這邊會(huì)使用openmodel zoo中的object_detection_demo.py范例程序分別執(zhí)行單張圖片的推論以及影片的推論兩種。為求方便起見(jiàn)圖片與影片筆者分別從pixabay與Pexels合法取得照片與影片來(lái)進(jìn)行推論使用，各位也可以將自己的照片或影片手動(dòng)上傳到DevCloud上作為推論數(shù)據(jù)使用。

在執(zhí)行范例程序需要代入相應(yīng)的參數(shù)包含IR文件路徑、輸入數(shù)據(jù)、輸出數(shù)據(jù)、模型架構(gòu)與卷標(biāo)文件等等，若參數(shù)錯(cuò)誤可能會(huì)造成辨識(shí)不準(zhǔn)確甚至?xí)o(wú)法執(zhí)行，請(qǐng)務(wù)必稍加留意。若需要更換模型文件除了IR路徑修改外，模型架構(gòu)與卷標(biāo)文件也可能需要更換，詳細(xì)請(qǐng)參考預(yù)訓(xùn)練模型文件的說(shuō)明。

此外在執(zhí)行影片推論前，筆者有使用sed指令去修改范例程序中輸出影像的格式，為的是能夠輸出成正確的圖像文件案并且在DevCloud上播放。其余的部分則和圖片推論是大同小異。在推論結(jié)果的部分，不管是圖片或是影片的對(duì)象偵測(cè)，可以觀察到輸出結(jié)果相當(dāng)不錯(cuò)，即使是小對(duì)象偵測(cè)的正確率還不差。

在Intel DevCloud for the Edge執(zhí)行的影片推論結(jié)果

STEP 4: 硬件測(cè)試仿真

最后的第四步驟，我們要使用DevCloud最為強(qiáng)大的功能之一，將這個(gè)AI模型放到不同的邊緣運(yùn)算裝置進(jìn)行推論。于此之前先建立工作腳本檔（4.1），基本上跟我們前面第三步驟的內(nèi)容差不多，只不過(guò)把一些我們想要?jiǎng)討B(tài)改變的參數(shù)改為從外部引入。

接著使用qsub指令派送工作到指定的邊緣裝置(4.2)，所有支持的邊緣裝置可以參考Intel DevCloud for the Edge裝置列表。由于工作會(huì)以方同步的方式在不同裝置上運(yùn)作，我們可以透過(guò)liveQstate()指令來(lái)檢視任務(wù)的執(zhí)行狀態(tài)，這邊務(wù)必要留意一下如果任務(wù)尚未完成而直接執(zhí)行后續(xù)的cell程序段，將可能會(huì)造成錯(cuò)誤或是數(shù)據(jù)讀取不正確。

當(dāng)所有任務(wù)都完成后，同樣地開(kāi)啟輸出影片來(lái)觀察Intel Core Gen 11th使用CPU與GPU之間的推論差異。

你可在Intel DevCloud for the Edge裝置列表中進(jìn)行選擇，模擬體驗(yàn)一下所選模型在實(shí)際運(yùn)作時(shí)的效益如何

三、快速延伸你的創(chuàng)意

本篇文章帶各位輕松快速得完成一個(gè)open model zoo上的AI推論范例，各位是否覺(jué)得意猶未盡呢？在open model zoo與DevCloud上還有許多寶庫(kù)值得去探究以及發(fā)掘，建議各位后續(xù)可以從 open model zoo 內(nèi)各種有趣的范例和預(yù)訓(xùn)練的模型當(dāng)中做探索，或是執(zhí)行 DevCloud 上不同應(yīng)用展示，都是不錯(cuò)的學(xué)習(xí)路徑喔！每個(gè)范例也可以彈性去套用不同的模型進(jìn)行演算，對(duì)于AI模型能夠發(fā)展的應(yīng)用，可以提供更多想象空間喔！

人工智能的技術(shù)在未來(lái)幾年間將持續(xù)蓬勃發(fā)展，而配套的軟件工具也將會(huì)越來(lái)越廣泛且容易上手，有幸身處在這個(gè)AI應(yīng)用即將爆發(fā)的時(shí)代，勢(shì)必也要跟風(fēng)參與一下這波撼動(dòng)世界的技術(shù)浪潮。

審核編輯 ：李倩