在 AI 邊緣計算領(lǐng)域，校企合作具有重要的意義。首先，AI 邊緣計算需要依托于硬件技術(shù)和軟件技術(shù)的雙重優(yōu)勢，而高校和企業(yè)都擁有豐富的資源和技術(shù)實力，可以共同研發(fā)出更加先進(jìn)的邊緣計算平臺和算法模型；其次，AI 邊緣計算涉及到大量的數(shù)據(jù)采集和處理，需要依托高性能計算和大數(shù)據(jù)技術(shù)，通過校企合作，雙方可以共同探索數(shù)據(jù)處理和分析的新方法，提高邊緣計算的效率和精度；最后，AI 邊緣計算需要依托于大量的專業(yè)人才，高?？梢酝ㄟ^與企業(yè)合作，讓學(xué)生更好地了解企業(yè)的實際需求和行業(yè)發(fā)展趨勢，從而更好地指導(dǎo)學(xué)生的學(xué)習(xí)和研究方向。

在此背景下，天津科技大學(xué)電子信息與自動化學(xué)院郭肖勇老師和其指導(dǎo)的研究生，進(jìn)行了很多積極且有意義的探索工作。他們目前正專注于工業(yè)場景下的 AI 邊緣計算應(yīng)用。“在多數(shù)工業(yè)場景中，如建筑工地或者地鐵煤礦作業(yè)面，需要安裝大量的視頻監(jiān)控設(shè)備，保證施工人員的安全和操作的規(guī)范?！惫び吕蠋熣f，“對于這些應(yīng)用場景，在 GPU 服務(wù)器上部署模型存在成本高、網(wǎng)絡(luò)流量消耗大以及能耗較大的問題。因此，如何在邊緣系統(tǒng)中實現(xiàn)模型的部署，將各種傳感器采集的數(shù)據(jù)消化在邊緣，而只把有價值的分析結(jié)果發(fā)送回中心服務(wù)器，是一個有實際意義的研究方向?！?/p>

采用 Jetson Nano 開發(fā)施工安全監(jiān)控系統(tǒng)

在工業(yè)場景中，目標(biāo)檢測的意義主要在于實現(xiàn)自動化和提高生產(chǎn)效率，而深度學(xué)習(xí)已經(jīng)成為目標(biāo)檢測領(lǐng)域的主流算法。因為基于深度學(xué)習(xí)的算法能夠從單幀視頻畫面中識別出多個種類、不同距離的多個目標(biāo)。并且，這種算法的準(zhǔn)確度和魯棒性均大幅地高于傳統(tǒng)的計算機(jī)視覺算法。

“深度學(xué)習(xí)模型的前向推理需要有一定算力的硬件來支持。傳統(tǒng)的單片機(jī)或者工控機(jī)，由于計算資源十分有限難以滿足需求。這也是長久以來很多深度學(xué)習(xí)領(lǐng)域內(nèi)的科研成果無法落地、轉(zhuǎn)化為生產(chǎn)力的一個主要原因?！惫び吕蠋熃榻B，“NVIDIA 推出的面向嵌入式領(lǐng)域的Jetson 平臺，正好解決了這一難題。與其它的嵌入式系統(tǒng)相比，Jetson 平臺上搭載的通用GPU（GPGPU）不僅可以實現(xiàn)深度學(xué)習(xí)模型的部署，也可以實現(xiàn)其它各種算法或程序所需的高性能并行計算。更重要的是，NVIDIA 為 Jetson 平臺的開發(fā)提供了全套的 SDK 和開發(fā)者社區(qū)以及完整的生態(tài)系統(tǒng)，這樣不僅幫助開發(fā)者有效地避坑避雷，也極大地節(jié)約了學(xué)習(xí)的時間成本?！?/p>

基于 Jetson 平臺，郭老師團(tuán)隊開發(fā)了 Thrust Nano 5G 施工安全監(jiān)控系統(tǒng)。該系統(tǒng)采用Jetson Nano模塊作為計算核心?？紤]到生產(chǎn)過程中環(huán)境復(fù)雜，為了保護(hù)脆弱的計算芯片，產(chǎn)品內(nèi)使用了穩(wěn)壓電源、銅制導(dǎo)熱板、全沖壓金屬外殼等手段。而為了與外部設(shè)備連接以構(gòu)成計算網(wǎng)絡(luò)，又引入了以太網(wǎng)接口和 4G/5G 物聯(lián)網(wǎng)卡。同樣，為了適用于更多的應(yīng)用場景，系統(tǒng)還增加一對內(nèi)置的音量大小可調(diào)節(jié)的音箱。在軟件方面，程序全部使用 Python 開發(fā)，并對關(guān)鍵部分的代碼用 Numba 進(jìn)行加速，以提高程序的性能。內(nèi)置的深度學(xué)習(xí)模型全部基于NVIDIA TensorRT SDK和DeepStream SDK進(jìn)行優(yōu)化和部署，這使得模型推理速度遠(yuǎn)遠(yuǎn)大于基于 PyTorch 或者 TensorFlow 的同類產(chǎn)品。此外，系統(tǒng)也支持方便靈活的二次開發(fā)，支持快速模型迭代。

應(yīng)對復(fù)雜作業(yè)場景

“大部分的工業(yè)場景都很復(fù)雜，比如食品倉儲、建筑工地和港口堆場，通常有大量的人員、車輛和貨物等?！惫蠋熃忉屨f，“在這些場景中通常有大量的潛在目標(biāo)，對模型的要求很高，因此部署的模型必須盡量減少誤識別或者漏識別的情況。過多的誤識別會導(dǎo)致過多的誤報警，這樣會擾亂用戶正常的操作。另一方面過多的漏識別則會讓產(chǎn)品失去了應(yīng)用的價值?！?/p>

基于 Jetson Nano 模塊開發(fā)的 Thrust Nano 5G 施工安全監(jiān)控系統(tǒng)可以部署各種主流的深度目標(biāo)檢測模型，例如：YOLO v3-v5 系列模型以及 SSD_Mobilenet 系列模型。

另一方面，在某些場景中目標(biāo)移動速度較快，對模型的推理速度有很高的要求。為了應(yīng)對推理速度的要求，在模型的部署和優(yōu)化方面，郭老師首先使用自適應(yīng)剪枝算法，對訓(xùn)練好的模型進(jìn)行剪枝，然后再利用 TensorRT 對模型進(jìn)行層融合和量化。最后，利用 DeepStream SDK 進(jìn)行部署，從而實現(xiàn)視頻流解碼——多流混合——模型推理——視頻流推流等各個環(huán)節(jié)的CUDA優(yōu)化和 GPU 加速。與使用 OpenCV+TensorFlow 或 PyTroch 等框架的部署方案相比，基于 TensorRT 和 DeepStream 的部署方案模型推理速度可提升 10-20 倍。

目前郭老師團(tuán)隊基于這套方案，成功開發(fā)了盾構(gòu)隧道電瓶車引導(dǎo)及預(yù)警系統(tǒng)、堆場作業(yè)車輛安全系統(tǒng)、拉絲機(jī)工作狀態(tài)檢測、集裝箱開關(guān)門狀態(tài)檢測、空盤車狀態(tài)檢測、超遠(yuǎn)距離目標(biāo)檢測及電子圍欄等應(yīng)用。

“某一項技術(shù)如果沒法走出實驗室，那終究也將是紙上談兵曇花一現(xiàn)。Jetson 平臺及其開發(fā)工具提供了一種高效的模型部署方案，讓論文中的代碼和模型可以更好地走進(jìn)生產(chǎn)和生活中?！惫蠋煴硎?。

郭老師最后說道：“作為 NVIDIA Jetson 開發(fā)者，我建議您不僅要熟練掌握 Jetson 平臺的技術(shù)和開發(fā)工具，還應(yīng)該了解實際的工業(yè)場景需求，并積極參與業(yè)界的合作。隨著人工智能技術(shù)的快速發(fā)展，越來越多的企業(yè)和組織開始將其應(yīng)用于實際的工業(yè)場景中，如自動駕駛、智能制造、智能家居等領(lǐng)域。因此，了解這些領(lǐng)域的需求和挑戰(zhàn)，可以幫助您更好地開發(fā)出適合實際應(yīng)用的人工智能解決方案。”

審核編輯：湯梓紅