自馭勢科技AI男子天團出道以來，大家都在求“不是博士的小伙伴韋濤的心理陰影面積”。

正確答案是，他的內(nèi)心沒有陰影！他忙著給大家解讀一篇有意思的論文呢！

韋濤，畢業(yè)于北京大學(xué)軟件與微電子學(xué)院，處女座……

他用“樂觀，踏實，好奇心重”三個詞來形容自己。作為馭勢科技AI天團成員，除了顔值，還需要會寫代碼，會搞算法，會調(diào)板子，會調(diào)車子。如果問他，怎么給好基友介紹馭勢科技？韋濤說，這里是一個仰望星空，腳踏實地的地方。而青春，就意味著努力工作。

對于那些對AI感興趣的朋友，韋濤特別推薦《深度學(xué)習(xí)》“大花書”給大家。

能不能看懂，就看你的IQ了~

該論文主要通過利用Batchnorm Layer中的Scale參數(shù)來對模型中通道重要程度進(jìn)行建模，并引入了L1正則項來對該通道權(quán)值進(jìn)行稀疏化訓(xùn)練，使得最終得到的模型可以更有效的實現(xiàn)通道剪枝，達(dá)到網(wǎng)絡(luò)稀疏化的目標(biāo)。該論文的通道稀疏化的實現(xiàn)方式非常巧妙。

近些年來，CNN由于其出色的表現(xiàn)，漸漸成為了圖像領(lǐng)域中主流的算法框架。

在自動駕駛領(lǐng)域中，許多任務(wù)同樣可被抽象為圖像分類、圖像分割、目標(biāo)檢測三個基礎(chǔ)問題，因此，CNN在自動駕駛領(lǐng)域中的應(yīng)用也越來越廣泛。

CNN的表現(xiàn)如此突出主要是因為CNN模型有大量的可學(xué)習(xí)參數(shù)，使得CNN模型具備很強的學(xué)習(xí)能力和表達(dá)能力，然而，也正因為這些大量的參數(shù)使得在硬件平臺上部署CNN模型時有較大困難，尤其是在一些計算資源非常受限的平臺上，如移動設(shè)備、嵌入式設(shè)備等。

在自動駕駛場景中，視覺系統(tǒng)在整個車輛系統(tǒng)中一直扮演著一個十分重要的角色，在視覺算法實際投入應(yīng)用時，不僅需要算法精度達(dá)到極高的指標(biāo)，也對算法的實時性提出了較高的要求，與此同時，由于場景的特殊性，在自動駕駛場景中算法往往會被部署在一些計算能力較弱的嵌入式開發(fā)平臺上，因此，如何讓CNN模型在計算資源受限的應(yīng)用場景中跑的更快成為了一個越來越重要的課題。

目前對CNN模型進(jìn)行加速的方法很多，例如，從快速網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計的角度出發(fā)設(shè)計設(shè)計一些小而精的模型(squeezenet、mobilenet、enet等)，從網(wǎng)絡(luò)壓縮角度出發(fā)對訓(xùn)練好的網(wǎng)絡(luò)在保證精度不變或小幅下降的前提下進(jìn)行壓縮剪枝(deep compression、channel-pruning等)等。

摘要

一直以來，由于受限于CNN模型的計算量，在各種實際應(yīng)用場景中部署CNN模型一直都是個問題。本文提出了一種新型的網(wǎng)絡(luò)學(xué)習(xí)方法以達(dá)到如下的三個目標(biāo)：（1）減少模型大?。?）減小運行時內(nèi)存 （3）減少計算量。

為了實現(xiàn)上述目標(biāo)，本文主要通過強制增加channel-level的參數(shù)并對該參數(shù)進(jìn)行稀疏化訓(xùn)練來實現(xiàn)。與其他的方法不同的是，本文的算法直接應(yīng)用于訓(xùn)練的環(huán)節(jié)中，以增加少量計算開銷的前提下實現(xiàn)了網(wǎng)絡(luò)的稀疏化訓(xùn)練。

本文將該算法稱作network slimming，該算法的輸入是一個“寬大”的網(wǎng)絡(luò)，在訓(xùn)練過程中，那些不重要的通道會隨著訓(xùn)練權(quán)值逐漸降低，并通過后處理算法進(jìn)行通道裁剪，最終得到一個沒有精度損失的“瘦小”的網(wǎng)絡(luò)。

本文在主流的CNN網(wǎng)絡(luò)結(jié)構(gòu)上驗證了該方法，包括VGGNet， ResNet，DenseNet等，并在多個數(shù)據(jù)集上進(jìn)行了驗證。對于VGGNet， 在經(jīng)過多次network slimming以后，該模型達(dá)到了20倍的模型尺寸壓縮比以及5倍的模型計算量壓縮比。

引言

近些年來，CNN在多種視覺任務(wù)中已經(jīng)變成了一種主流的方法，比如圖像分類，目標(biāo)檢測以及圖像分割任務(wù)等。隨著大規(guī)模數(shù)據(jù)集、高端gpu以及新型網(wǎng)絡(luò)結(jié)構(gòu)的出現(xiàn)，使得一些大模型的部署成為了可能。比如，imagenet比賽中的冠軍模型從AlexNet、VGGNet以及GoogLeNet再到ResNet，模型規(guī)模逐漸從8層演變成100層以上。

雖然這些大模型具備較強的表達(dá)能力，但是這些模型對計算資源的需求也更苛刻。例如像ResNet-152這樣的模型，由于需要大量的計算量，因此很難被部署在移動設(shè)備以及其他的IOT設(shè)備上。

上述提及的部署困難主要受限于如下的三個因素：

1.模型尺寸。CNN模型的強表達(dá)能力主要來源于他具有大量可學(xué)習(xí)的參數(shù)，而這些參數(shù)將和網(wǎng)絡(luò)的結(jié)構(gòu)信息一起被保存在存儲介質(zhì)上，當(dāng)需要使用模型做inference時，再從硬盤上進(jìn)行讀取。舉例來說，存儲一個典型的在 ImageNet上訓(xùn)練好的模型需要大約300MB的空間，這對于嵌入式設(shè)備來說是一個非常大的開銷。

2.運行時內(nèi)存的消耗。在inference過程中，即使batchsize =1,中間層的計算需要消耗遠(yuǎn)大于模型參數(shù)量的內(nèi)存空間。這對于一些高端的GPU可能不是什么問題，但是對于一些計算資源比較緊張的設(shè)備而言，這是一個比較大的部署問題。

3.計算量的大小。當(dāng)把一款大型CNN模型部署于移動設(shè)備上時，由于計算量大同時移動設(shè)備計算性能弱，因此可能會消耗數(shù)分鐘去處理一張圖片，這對于一款模型被部署于真實應(yīng)用中是一個比較大的問題。

當(dāng)然，現(xiàn)在有很多工作提出可以通過壓縮CNN模型來使得模型具備更快的inference性能，這些方法主要包括低秩分解、模型量化、模型二值化、參數(shù)剪枝等。然而上述所說的方法都只能解決之前所提到的三個主要問題中的一個或兩個，同時，部分方法還需要軟件或硬件的支持才能實現(xiàn)真正的加速。

另一個減少CNN計算資源消耗的方法就是網(wǎng)絡(luò)稀疏化。稀疏化可被應(yīng)用于不同的層級。本文提出了一種network slimming的網(wǎng)絡(luò)稀疏化方法，該方法解決了在資源有限的場景下上述所提到的問題。

本文的方法中，主要通過對BatchNorm layer中的scale參數(shù)應(yīng)用了L1正則項，從而非常方便的在當(dāng)前的框架下實現(xiàn)了通道稀疏化。在該方法中，L1正則項將會使得不重要的通道的BatchNorm Layer中的scale參數(shù)推向0附近，通過這樣的方法，算法篩選出了不重要的通道，為后續(xù)的通道剪枝帶來了很多的便利。

與此同時，在該算法中引入的L1正則項并沒有帶來精度的損失，相反，在一些案例中，反而得到了更高的精度。在做通道剪枝的過程中，裁剪掉一些不重要的通道（即低權(quán)值的通道）可能會帶來一些精度的損失，但是這些損失的精度可以通過后續(xù)的fine-tuning操作補償回來。剪枝得到的壓縮版網(wǎng)絡(luò)在模型尺寸、運行時內(nèi)存占用以及計算量方面與初始的網(wǎng)絡(luò)相比更具競爭力。上述所說的過程可以被重復(fù)數(shù)次，在進(jìn)行多道裁剪工序后將會得到壓縮比越來越高的網(wǎng)絡(luò)模型。

根據(jù)本文在多個數(shù)據(jù)集上的實驗結(jié)果可以驗證本文的網(wǎng)絡(luò)在經(jīng)過slimming操作后，實現(xiàn)了20倍的模型尺寸壓縮以及5倍的模型計算量壓縮，而在精度方面沒有損失，甚至反而比原始模型更高。此外，由于本文的算法并沒有對網(wǎng)絡(luò)進(jìn)行參數(shù)存儲方式對修改，因此該方法可適用于在常規(guī)的硬件平臺以及軟件包上實現(xiàn)網(wǎng)絡(luò)壓縮以及inference加速。

Network Slimming

本文的目標(biāo)是提供一個簡單的策略在CNN上實現(xiàn)通道稀疏。在本章節(jié)將對channel-level稀疏的優(yōu)勢以及難點做一些分析，并且介紹了本文如何通過BatchNormLayer的scale參數(shù)來實現(xiàn)通道稀疏化。

（1）channel-level 稀疏化的優(yōu)勢

網(wǎng)絡(luò)稀疏化可以被應(yīng)用于不同的層級中，主要可分為weigh-level、kernel-level、channel-level或者layer-level。weight-level的稀疏化通常具備高度的靈活性以及通用性，并帶來了較大的壓縮比，但是該方案通常需要特殊的軟硬件加速的支持才能實現(xiàn)最終的加速。

與此相反，layer-level的方案不需要特殊軟硬件加速的支持即可實現(xiàn)最終的加速，但是這種方案相比weight-level不夠靈活，部分層需要被整個裁剪掉，同時，該方案只會在網(wǎng)絡(luò)層數(shù)特別深的前提下才會顯得比較有效。因此，根據(jù)上述的對比，channel-level的稀疏化在靈活性以及實現(xiàn)難度方面達(dá)到了一個較好的平衡，該方案可被用于各種典型的CNN模型中，為每一個原始模型生成一個“瘦身”版的網(wǎng)絡(luò)模型，該模型可以在各個常規(guī)的CNN平臺上高效的運行。

（2）channel-level稀疏化的挑戰(zhàn)

要實現(xiàn)channel-level的稀疏化需要裁剪掉所有與被裁剪通道相關(guān)的輸入通道以及輸出通道。直接用算法根據(jù)通道權(quán)值去裁剪一個預(yù)訓(xùn)練模型的通道會比較低效，因為不是所有的通道權(quán)值都會分布在0附近。如論文［23］所闡述的，直接在預(yù)訓(xùn)練好的ResNet中裁剪時，在精度不損失的前提下，只能裁剪掉～10％的通道。論文［35］通過引入了強制的稀疏正則項來實現(xiàn)通道權(quán)值的稀疏化，令通道的權(quán)值分布在0附近。本文提出了一種新方法來解決上述問題。

本文的方法就是為每一個通道引入一個scale 因子，該因子將對該通道的輸出做乘積運算，從而實現(xiàn)對通道重要程度的建模，本文對模型參數(shù)以及scale因子進(jìn)行聯(lián)合訓(xùn)練,最后把那些scale因子小的通道裁剪掉并fine-tune整個網(wǎng)絡(luò)。在引入了正則項以后，優(yōu)化的目標(biāo)函數(shù)如下式所示：

上式中，(x,y)表示訓(xùn)練的輸入項與目標(biāo)項，W表示可訓(xùn)練的參數(shù)，第一項表示CNN常規(guī)的訓(xùn)練損失, g(.)是一個引入在scale因子γ上的懲罰項，入表示第一項與第二項之間的權(quán)重比。在本文在實現(xiàn)中采用了g(s)=|s|,即L1正則項，被廣泛應(yīng)用于實現(xiàn)網(wǎng)絡(luò)稀疏化，同時采用了subgradient descent的優(yōu)化方法來優(yōu)化L1正則項。

如上圖Figure 1所示，當(dāng)需要裁剪一個通道時僅需要移除該通道的輸入與輸出的連接即可得到一個壓縮后的模型而不需要做其他的一些特殊操作。同時，由于在訓(xùn)練過程中，scale因子實現(xiàn)了對通道的重要程度的建模，因此，當(dāng)后續(xù)做剪枝時，僅需要直接移除那些不重要的通道即可而不會影響模型整體的泛化能力。

（1）利用BatchNorm Layer進(jìn)行channel-wise的稀疏化

BatchNorm 層已經(jīng)被廣泛的應(yīng)用于各種CNN結(jié)構(gòu)中，作為一種標(biāo)準(zhǔn)的方法來實現(xiàn)快速收斂以及增強泛化能力。BatchNorm Layer的設(shè)計思路啟發(fā)了作者去設(shè)計一種簡單有效的方法來實現(xiàn)channel-wise稀疏化。BatchNorm Layer的計算定義如下：

其中zin與zout分別代表Batchnorm Layer 的輸入和輸出，與分別表示當(dāng)前mini-batch下面的均值與方差，而與是可學(xué)習(xí)的參數(shù)，可以將規(guī)范化后的分布返回到任何一種原始尺度下。

將BN層放置在Convolution層的后面是一種非常通用的方法。因此，可以直接利用BN層中的γ參數(shù)來建模通道的重要性，通過這樣的設(shè)計,不需要引入額外的實現(xiàn)就能達(dá)到算法的設(shè)計目標(biāo)，事實上，這是可以用來實現(xiàn)channel-wise稀疏化的最有效也是最快捷的方法。接下來討論一下ScaleLayer的放置問題。

1.假如只是在Convolution后面增加了scale層而沒有使用Batchnorm Layer，Scale層學(xué)到的參數(shù)對于評估通道的重要性沒有意義，因為，Convolutionlayer和Scale layer都是線性變換，可以通過減少Scale因子的值同時放大Convolution Layer的參數(shù)值來達(dá)到同樣的目標(biāo)。

2.假如將Scale Layer放置在BatchnormLayer前，Scale Layer的效果會被BatchnormLayer 的規(guī)范化效果完全抵消掉。

3.將ScaleLayer 插入在Batchnorm Layer 之后時，就可以為每一個通道提供兩個scale參數(shù)進(jìn)行通道建模了。

（2）通道剪枝以及Finetune

在引入L1正則項進(jìn)行網(wǎng)絡(luò)稀疏化訓(xùn)練以后就可以得到一個多數(shù)通道權(quán)值在0附近的模型。之后對網(wǎng)絡(luò)這些權(quán)值在0附近的通道進(jìn)行裁剪，將這些通道對應(yīng)的輸入輸出的連接移除。在裁剪過程中，本文采用了一個全局裁剪閾值，比如，當(dāng)需要裁剪70％的通道時，本文會選取一個裁剪百分位為70％的閾值。通過這樣的操作即可得到裁剪后的模型。

經(jīng)過上述的裁剪操作后，如果采用的裁剪比例較高可能會帶來部分精度的損失，但是這部分損失可以通過后續(xù)的Finetune操作補償回來。在作者的實踐過程中發(fā)現(xiàn)，在進(jìn)行Finetune操作后，裁剪后的模型往往會比原始的未裁剪的網(wǎng)絡(luò)精度高。

（3）多次循環(huán)剪枝

本文的方法可以從單步操作推廣到多步操作。操作流程如下圖所示：

根據(jù)本文的實踐經(jīng)驗發(fā)現(xiàn)multi-pass得到的結(jié)果往往會得到更高的壓縮比。

（4）對Cross Layer Connections 以及 Pre-activation 結(jié)構(gòu)剪枝.

network slimming的方法可以被直接應(yīng)用于VGGNet、AlexNet這樣的網(wǎng)絡(luò)結(jié)構(gòu)，但是當(dāng)需要把該方法應(yīng)用于ResNet、DenseNet這樣的網(wǎng)絡(luò)結(jié)構(gòu)時需要做其他的一些特殊設(shè)計。對于這樣的網(wǎng)絡(luò)，前一個網(wǎng)絡(luò)的輸出往往會被作為后面多個網(wǎng)絡(luò)模塊的輸入，這些網(wǎng)絡(luò)中 BN層的放置將被放置在Convolution層前。在這樣的網(wǎng)絡(luò)結(jié)構(gòu)中，為了在inference時實現(xiàn)網(wǎng)絡(luò)參數(shù)以及網(wǎng)絡(luò)計算量的壓縮，需要在不重要的通道前放置一個channel-selection-layer來屏蔽不需要的channel。

結(jié)果分析

在Cifar10、Cifar100、SVHN上，本文采用了三種模型結(jié)構(gòu)進(jìn)行了測試分析。分別為VGGNet、ResNet164、DenseNet-40。在ImageNet數(shù)據(jù)集上，本文采用了VGGNet-A網(wǎng)絡(luò)進(jìn)行了測試分析。下圖table 1為在Cifar數(shù)據(jù)集以及SVHN數(shù)據(jù)集上進(jìn)行驗證的一些結(jié)果。

如上表table1所示，分別在Cifar10、Cifar100以及SVHN三個數(shù)據(jù)集進(jìn)行了訓(xùn)練測試，可以看到在這三個數(shù)據(jù)集中，每一個模型在進(jìn)行了60％以上的channel-pruning以后，均能保持與原始模型幾乎一致的結(jié)果，甚至部分模型裁剪后的結(jié)果還有提升。

如下圖table2所示為VGGNet-A網(wǎng)絡(luò)在ImageNet上訓(xùn)練測試的一個結(jié)果表。當(dāng)采用了50％的通道裁剪以后，參數(shù)裁剪比例超過了5倍，但是Flops裁剪比例僅為30.4％，這是因為在卷積層中只有378個通道被裁剪掉了，而在全連接層中，有5094個通道被裁剪掉。

如下表table4， 展示了在VGGNet在Cifar10以及Cifar100上進(jìn)行multi-pass裁剪的一個對比結(jié)果。如在Cifar10數(shù)據(jù)集上，隨著迭代次數(shù)的提升，裁剪比例越來越高，在iter 5的時候，得到了最低的test error。此時該模型達(dá)到了20x的參數(shù)減少和5x的計算量減少。而在Cifar100上，在iter3上，test error開始增加。這可能是因為在cifar100上，類別數(shù)目大于Cifar10，所以裁剪的太厲害會影響最終的結(jié)果，但是仍然實現(xiàn)了接近90%的參數(shù)減少以及接近70%的計算量下降。

如下圖Figure 4為本文采用VGGNet在Cifar100上作稀疏化訓(xùn)練一些對比實驗，可以發(fā)現(xiàn)隨著入的增大，模型通道權(quán)重的結(jié)果會越來越稀疏。

我們的一些實踐

由于公布的代碼是在torch框架下的代碼，因此，我們根據(jù)在Caffe上對上述結(jié)果進(jìn)行了一次簡單的驗證。在驗證過程中采用了VGGNet-A網(wǎng)絡(luò)作為實驗網(wǎng)絡(luò)，并采用的Cifar10作為訓(xùn)練數(shù)據(jù)集。

如下圖所示，左上為入=0，在iteration = 10000時的入?yún)?shù)分布圖，右上為入=0，iteration＝45000的參數(shù)分布圖。左下為入=10e-4，iteration = 45000的參數(shù)統(tǒng)計圖，右下為入=10-3, iteration = 45000下的參數(shù)統(tǒng)計圖。［橫軸值除以100為參數(shù)實際區(qū)間］

根據(jù)上面這一組圖我們發(fā)現(xiàn)如下幾點得到了驗證。

（1）隨著訓(xùn)練次數(shù)的增加，入?yún)?shù)在正則項的影響下，逐步左移，重要的通道權(quán)值逐步凸顯，不重要的通道權(quán)值逐步抑制，與論文中Figure6的結(jié)論相符

（2）隨著入?yún)?shù)的增大，L1正則項的影響越來越大，參數(shù)越來越向0點靠攏，稀疏比例提高

（3）在增加L1正則項以后，實現(xiàn)了對通道的稀疏化但訓(xùn)練的結(jié)果并沒有下降甚至反而有所提升，考慮在訓(xùn)練過程中，“噪聲”通道由于L1正則項的引入被抑制，而真正的有效通道被凸顯。

因此，我們認(rèn)為slimming的方法對于channel-wise的稀疏化是有效的。我們也采用同樣的參數(shù)在ImageNet數(shù)據(jù)集上進(jìn)行了實驗，實驗發(fā)現(xiàn)效果并不如在cifar10數(shù)據(jù)集上那么好，雖然也有參數(shù)稀疏化的效果但是并不如cifar10上那么明顯，同時參數(shù)稀疏化后大部分主要分布在0.2附近，后續(xù)我們將進(jìn)一步進(jìn)行試驗。

總而言之，channel-slimming利用了BatchNorm Layer的特性巧妙的對通道重要性建模并最后實現(xiàn)通道的稀疏化還是非常值得學(xué)習(xí)的。