IEEE LPIRC 挑戰(zhàn)賽

低功耗圖像識別挑戰(zhàn)賽 (LPIRC)是一年一度的競賽，主要從準確度、執(zhí)行時間和能量消耗方面評估計算機視覺技術(shù)。今年的競賽由 Google 和 Facebook 贊助，共分為三個賽道，其中賽道 1 的挑戰(zhàn)目標是使用由Qualcomm Snapdragon 835 移動平臺支持的 Pixel 2 智能手機，在 10 分鐘的時間限制內(nèi)處理 20000 張圖像，同時最大程度地保證圖像分類的準確度。此次競賽使用大型數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)，其中包含大約 120 萬張 JPEG 圖像，涵蓋 1000 個不同類別，同時使用 Holdout 圖像集作為測試數(shù)據(jù)。

現(xiàn)實世界需要能夠在移動設(shè)備上實時運行且可準確進行圖像分類的神經(jīng)網(wǎng)絡(luò)模型，此項公開競賽正是為此目的而舉行。除準確度以外，計算效率對電池供電設(shè)備也至關(guān)重要。在競賽中，我們團隊將易于量化的 MobileNet V2 架構(gòu)與先進的量化后方案結(jié)合使用，并因絕佳速度和準確度拔得頭籌。我們使用每層計算好的最小和最大值插入 FakeQuantization 節(jié)點，以修改 TensorFlow 中的圖表，并使用 TensorFlow Lite 將圖表轉(zhuǎn)化為用于硬件部署的.tflite 文件。

Qualcomm Canada Inc 的團隊成員：Parker Zhang、Liang Shen、Chen Feng、Terry Sheng、Jay Zhuo 和 Zhiyu Liang

我們的模型在單個 ARM CPU 上的每次推理中以 28 毫秒識別 20000 張圖像時，實現(xiàn)了最高的準確度。

Qualcomm Technologies, Inc. 工程部副總裁 Mickey Aleksic 說：“此次挑戰(zhàn)與我們的 AI 戰(zhàn)略完美契合，而贏得這次競賽對于確立 Qualcomm Technologies 在機器學(xué)習(xí)中的重要地位以及推廣設(shè)備中的 AI 大有幫助?！?/p>

實現(xiàn)設(shè)備上的極速圖像識別

在邊緣設(shè)備上準確快速地識別圖像需要執(zhí)行以下步驟：

創(chuàng)建和訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)模型，從而以浮點運算對圖像進行識別和分類。

將浮點模型轉(zhuǎn)化為定點模型，后者可以在邊緣設(shè)備上高效運行，而不會出現(xiàn)延遲和準確度問題。

我們團隊的模型基于MobileNet v2構(gòu)建，但以 “易于量化” 的方式進行了修改。雖然 Google 的 MobileNet 模型通過使用可分離卷積結(jié)構(gòu)成功縮小了參數(shù)大小和計算延時，但直接量化預(yù)訓(xùn)練的 MobileNet v2 模型可能會造成準確度下降。我們的團隊分析并找出了在此類可分離卷積網(wǎng)絡(luò)中因量化而降低準確度的根本原因，并在不使用量化感知重新訓(xùn)練的情況下解決了此問題。通過量化感知訓(xùn)練，模型可獲得良好的準確度，而我們的方法是一種替代方案，能夠修改網(wǎng)絡(luò)架構(gòu)以解決量化問題，而無需重新訓(xùn)練。另一種更為端到端的方法是使用 Google 的 ML 框架Learn2Compress，通過優(yōu)化多個網(wǎng)絡(luò)架構(gòu)和同時使用量化及其他技術(shù)（如提煉、剪枝和聯(lián)合訓(xùn)練），直接從頭開始訓(xùn)練高效的設(shè)備上模型或現(xiàn)有的 TensorFlow 模型。

模型架構(gòu)

在可分離卷積結(jié)構(gòu)中，我們將深度卷積分別應(yīng)用于每個通道。但是，用于權(quán)重量化的最小和最大值是從所有通道中整體獲取的。由于數(shù)據(jù)范圍的擴大，某個通道中的異常值可能會導(dǎo)致整個模型的量化損失。如果未在不同通道中進行數(shù)據(jù)計算，深度卷積結(jié)構(gòu)可能會在某個通道內(nèi)產(chǎn)生全零值的權(quán)重，而這在 MobileNet v1 和 v2 模型中都很常見。某個通道中的全零值意味著偏差很小。在完成深度卷積后，直接應(yīng)用批量歸一化轉(zhuǎn)換時，預(yù)計該特定通道的"縮放"值會較大。這會損害整個模型的表示能力。

我們的團隊提出一種易于量化的高效可分離卷積架構(gòu)作為解決方案，將深度和逐點卷積層之間的非線性操作（批量歸一化和 ReLU6）全部移除，讓網(wǎng)絡(luò)學(xué)習(xí)合適的權(quán)重來直接處理批量歸一化轉(zhuǎn)換。此外，我們還將所有逐點卷積層中的 ReLU6 替換為 ReLU。在使用 MobileNet v1 和 v2 模型進行的多項試驗中，此架構(gòu)在 8 位量化通道中展示出顯著的準確度提升。

量化后技術(shù)

定義模型結(jié)構(gòu)后，您便可在數(shù)據(jù)集上訓(xùn)練浮點模型。在量化后步驟中，我們使用各種不同的輸入內(nèi)容并針對訓(xùn)練數(shù)據(jù)中各個類別的單張圖像運行模型，以收集最小和最大值以及每層輸出的數(shù)據(jù)直方圖分布。我們選取最佳 “步長” 和 “偏移” 值（用 ? 表示）以用于線性量化，這可以在貪婪搜索期間最大限度地減小量化損失和飽和損失的總量。根據(jù)計算出的最小和最大值范圍，TensorFlow Lite 提供了將圖表模型轉(zhuǎn)化為.tflite 模型的路徑，以便在邊緣設(shè)備上部署模型。

Qualcomm Technologies, Inc 的 Ning Bi（上圖右側(cè)中間）代表團隊領(lǐng)獎

結(jié)論

將計算移至 8 位并保留較高的準確度是在邊緣設(shè)備上快速高效地運行模型的關(guān)鍵步驟。我們的團隊發(fā)現(xiàn)了此量化問題，分析并找出其根本原因，然后解決了此問題。之后，我們將這些發(fā)現(xiàn)應(yīng)用于圖像分類挑戰(zhàn)賽，并看到我們的理論成果變?yōu)榱爽F(xiàn)實。