DSD 訓(xùn)練
深度神經(jīng)網(wǎng)絡(luò)可以被大量剪枝和壓縮的事實意味著我們當(dāng)前的訓(xùn)練方法具有一些局限性。它不能充分利用密集模型的全部容量來找到最佳局部最小值，而一個剪枝過的有著更少神經(jīng)突觸的稀疏模型也可以達(dá)到相同的精度。這帶來了一個問題：我們是否可以通過恢復(fù)并重新學(xué)習(xí)這些權(quán)重來達(dá)到更好的精度嗎?

讓我們拿奧運會田徑比賽的訓(xùn)練做個比喻。教練首先會讓跑步運動員在高海拔的山地上訓(xùn)練，那里會有很多的限制：低氧、寒冷等。結(jié)果當(dāng)跑步運動員再次返回平原地區(qū)時，他的速度就會有提高。對于神經(jīng)網(wǎng)絡(luò)來說也是相同的道理：給定嚴(yán)格約束的稀疏訓(xùn)練方法得到的網(wǎng)絡(luò)模型有跟密集網(wǎng)絡(luò)模型一樣的性能。一旦你解除了這些約束，模型可以工作得更好。

理論上，以下是DSD訓(xùn)練能行之有效的因素：

1.避開鞍點：優(yōu)化深度網(wǎng)絡(luò)最大的困難之一是鞍點的擴(kuò)散。 DSD訓(xùn)練方法通過剪枝和重新密集化的框架來避開鞍點。對收斂的模型做剪枝干擾了模型學(xué)習(xí)的模式并使得網(wǎng)絡(luò)模型能夠避開鞍點，這使模型有機(jī)會可以收斂到一個更好的局部或全局最小值。這個想法也跟“模擬退火”算法類似。雖然模擬退火算法在搜索圖上隨著概率降低而隨機(jī)跳躍，但是DSD訓(xùn)練方法會確定性的偏離收斂值。這一收斂值是通過在第一次密集模型訓(xùn)練階段中去除小權(quán)重值和增強(qiáng)稀疏支持得到的。

2.正規(guī)化和稀疏訓(xùn)練：稀疏訓(xùn)練步驟中的稀疏正規(guī)化將模型優(yōu)化降維到較低維空間，在這個空間中的損失函數(shù)表面更平滑并且對噪聲更魯棒。很多數(shù)值實驗證實了稀疏訓(xùn)練和最終DSD方法可以降低方差和減少誤差。

3. 強(qiáng)大的重新初始化：權(quán)重初始化在深度學(xué)習(xí)中起著重要的作用。傳統(tǒng)的訓(xùn)練方法只有一次初始化的機(jī)會，而DSD方法在訓(xùn)練過程中給模型優(yōu)化第二次(或更多)的機(jī)會。它基于更魯棒的稀疏訓(xùn)練結(jié)果來重新初始化。我們基于稀疏模型結(jié)果來重新構(gòu)建密集網(wǎng)絡(luò)，這可以理解為剪枝權(quán)重的零初始化。其它的初始化方法也值得嘗試。

4. 打破對稱性：隱藏單元的置換對稱性會使權(quán)重對稱，因此在訓(xùn)練中容易相互影響。在DSD方法中，權(quán)重剪枝打破了與權(quán)重相關(guān)的隱藏單元的對稱性，而且在最終的密集模型中是不對稱的。

我們在幾個主流的CNN/RNN/LSTM模型上進(jìn)行了圖像分類、圖像描述和語音識別數(shù)據(jù)集的實驗，發(fā)現(xiàn)這種“密集-稀疏-密集”的訓(xùn)練流程能夠顯著地提高模型精度。我們的DSD訓(xùn)練方法采用了三個步驟：密集，稀疏，密集。圖4展示了每個步驟。

?

圖4 密集-稀疏-密集的訓(xùn)練流程

1.初始的密集訓(xùn)練：第一個“密集”步驟通過在密集網(wǎng)絡(luò)上的常規(guī)網(wǎng)絡(luò)訓(xùn)練來學(xué)習(xí)連接權(quán)重。然而跟傳統(tǒng)訓(xùn)練不同的是，該“密集”步驟的目的不是學(xué)習(xí)連接權(quán)重的最終值，而是學(xué)習(xí)哪些連接是重要的。

2. 稀疏訓(xùn)練：“稀疏”步驟會剪枝掉權(quán)重值較低的連接并重新訓(xùn)練稀疏網(wǎng)絡(luò)。我們對試驗中的所有層都使用相同的稀疏度，因此會有一個單一的超參數(shù)：稀疏度(sparsity)。我們對每一層的參數(shù)進(jìn)行排序，從網(wǎng)絡(luò)中去掉最小的N* sparsity個稀疏參數(shù)，將密集網(wǎng)絡(luò)轉(zhuǎn)換為稀疏網(wǎng)絡(luò)。我們發(fā)現(xiàn)稀疏比率為50%-70%的效果非常好。然后我們重新訓(xùn)練稀疏網(wǎng)絡(luò)，這可以在稀疏約束下完全復(fù)原模型的精度。

3. 最終的密集訓(xùn)練：最后的“密集”步驟會恢復(fù)已剪枝的連接，使網(wǎng)絡(luò)再次變的密集。這些之前剪枝的連接會初始化為零并重新訓(xùn)練?；謴?fù)被剪枝的連接增加了網(wǎng)絡(luò)的維度，并且更多的參數(shù)更容易使網(wǎng)絡(luò)的鞍點向下滑動以獲得更好的局部最小值。

我們將DSD訓(xùn)練方法應(yīng)用于各種類型的神經(jīng)網(wǎng)絡(luò)和不同領(lǐng)域的數(shù)據(jù)集。 我們發(fā)現(xiàn)DSD訓(xùn)練方法提高了所有這些神經(jīng)網(wǎng)絡(luò)的精確度。 神經(jīng)網(wǎng)絡(luò)選自CNN、RNN和LSTM;數(shù)據(jù)集是從圖像分類、語音識別和圖像描述領(lǐng)域中選擇的， 結(jié)果如圖5所示。DSD模型可以在DSD Model Zoo上下載。

?

圖 5. DSD訓(xùn)練提高了預(yù)測精度

生成圖像描述

我們把在圖像描述任務(wù)中使用DSD訓(xùn)練方法的效果做了可視化(見圖6)。我們把DSD訓(xùn)練方法應(yīng)用于NeuralTalk中，NeuralTalk是一個用于生成圖像自然語言描述的長短時記憶模型(LSTM)?；鶞?zhǔn)模型不能很好的描述圖片1、4和5。例如圖片1，基準(zhǔn)模型將女孩錯誤地描述為男孩，并且把女孩的頭發(fā)錯誤地描述為巖墻。稀疏模型可以在圖片中識別出有一個女孩，而DSD模型可以進(jìn)一步識別出秋千。