我們現(xiàn)在所使用的神經(jīng)網(wǎng)絡(luò)模型，可能有 80% - 90% 的體積是多余的，這浪費了巨大的處理能力。

近日，麻省理工學(xué)院的計算機科學(xué)與人工智能實驗室（MIT CSAIL）公布了一項新的研究成果，用富有創(chuàng)意的“彩票機制”修剪了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型，選擇性地剔除了對結(jié)果意義不大的連接（權(quán)重），使其變?yōu)楦〉淖由窠?jīng)網(wǎng)絡(luò)。

最終，在保證預(yù)測準(zhǔn)確率前提下，他們將實驗中的子網(wǎng)絡(luò)模型的體積減少了 80% - 90%，進而降低了對訓(xùn)練數(shù)據(jù)量和硬件的需求，而且學(xué)習(xí)速度還有所提升。

研究團隊將這一方法稱為“彩票假設(shè)（Lottery Ticket Hypothesis）”，成果以論文形式發(fā)表在最近召開的 ICLR 2019 大會上，并且被評選為兩篇最佳論文之一。《麻省理工科技評論》報道了這一成果，預(yù)測這種構(gòu)建微小神經(jīng)網(wǎng)絡(luò)的新方法，可以在手機上創(chuàng)建強大的人工智能。

將訓(xùn)練神經(jīng)網(wǎng)絡(luò)看作是抽獎

如今，深度學(xué)習(xí)技術(shù)已經(jīng)成為了計算機科學(xué)領(lǐng)域的最熱門研究方向，從應(yīng)用自然語言處理的語音識別，到應(yīng)用計算機視覺的自動駕駛，都十分依賴于構(gòu)建（深度）神經(jīng)網(wǎng)絡(luò)。而為了達到最佳學(xué)習(xí)效果，構(gòu)建神經(jīng)網(wǎng)絡(luò)通常需要非常龐大的數(shù)據(jù)集，用來訓(xùn)練和測試模型。很多研究團隊都在想辦法優(yōu)化這一過程，在不犧牲準(zhǔn)確度的前提下，讓神經(jīng)網(wǎng)絡(luò)和模型變得更小巧輕便。

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)由很多層和神經(jīng)元構(gòu)成，神經(jīng)元之間的連接可以用權(quán)重來衡量，通過調(diào)整某些權(quán)重的參數(shù)，我們就可以改變相應(yīng)的連接在整個網(wǎng)絡(luò)中的作用。權(quán)重一般都是隨機初始化的，隨著模型經(jīng)過大量訓(xùn)練，神經(jīng)網(wǎng)絡(luò)會慢慢“學(xué)會”哪些神經(jīng)元和連接更重要，繼而改變對應(yīng)的權(quán)重參數(shù)，輸出準(zhǔn)確率更高的結(jié)果。

圖 | 神經(jīng)網(wǎng)絡(luò)剪枝示意圖（來源：Dr. Lance Eliot, the AI Trends Insider）

在 MIT 研究人員看來，這就像是一個抽獎過程：最開始我們手里有一大堆數(shù)字，但只有少部分?jǐn)?shù)字最富價值，所以我們可以在訓(xùn)練過程中將它們篩選出來，用這些數(shù)字組合成一張“中獎彩票”，也就是實現(xiàn)了準(zhǔn)確預(yù)測的目的。

如果我們可以在最開始就知道哪些數(shù)字能夠或者更容易中獎，那么就可以*直接**去除**剩下**那些價值不大的**數(shù)字*，從而在保證準(zhǔn)確率的情況下，縮小神經(jīng)網(wǎng)絡(luò)的體積，甚至是提高訓(xùn)練效率。

研究人員將這一思路命名為“彩票假設(shè)”。他們認(rèn)為，一個隨機初始化的密集神經(jīng)網(wǎng)絡(luò)包含一個（一些）子網(wǎng)絡(luò)，在獨立初始化并訓(xùn)練相同迭代次數(shù)后，它們的預(yù)測準(zhǔn)確率能夠媲美原始的神經(jīng)網(wǎng)絡(luò)。

圖 |“彩票假設(shè)”定義

“稀疏剪枝”法修剪出微小神經(jīng)網(wǎng)絡(luò)

值得注意的是，目前已存在多種神經(jīng)網(wǎng)絡(luò)剪枝（Pruning）技術(shù)，AI 大牛 Yann LeCun 就曾提出過。在最理想的情況下，可以將網(wǎng)絡(luò)體積縮小 90%。但修剪之后的網(wǎng)絡(luò)普遍難以重新訓(xùn)練，而且重新訓(xùn)練還會導(dǎo)致準(zhǔn)確率降低等問題。

相比之下，MIT 團隊想要找到一種，可以在最開始就訓(xùn)練修剪過的小型神經(jīng)網(wǎng)絡(luò)的方法。

為了驗證“彩票假設(shè)”，研究人員先進行了復(fù)雜的數(shù)學(xué)推導(dǎo)，從理論上證明了實現(xiàn)的可行性。然后隨機初始化了一個神經(jīng)網(wǎng)絡(luò)，并且迭代訓(xùn)練 N 次，獲得了第 N 次迭代之后的所有參數(shù)，再按照特定的比例和方法剪掉部分參數(shù)，比如剔除數(shù)量級最小的權(quán)重，創(chuàng)造出一個蒙版。最后將所有剩余參數(shù)還原到初始值，套上剛剛得到的參數(shù)蒙版，由此創(chuàng)建了一套“中獎彩票”，再進行重新初始化和訓(xùn)練。

圖 | 如何找到“中獎彩票”的官方解釋

研究團隊使用了全連接網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)來測試“彩票假設(shè)”的效果，分別建立在 MNIST 和 CIFAR10 數(shù)據(jù)集之上——兩者都是深度學(xué)習(xí)領(lǐng)域知名數(shù)據(jù)集。

針對這兩種網(wǎng)絡(luò)，他們在多種條件下重復(fù)進行了數(shù)萬次實驗，嘗試分析和組合很多不同的方法，從而確定在不犧牲學(xué)習(xí)能力和準(zhǔn)確度的前提下，可以最多刪除多少個參數(shù)。

結(jié)果顯示，“稀疏剪枝（Sparse Pruning）”方法是找到“中獎彩票”的最有效手段。由此生成的子網(wǎng)絡(luò)大小只有原始網(wǎng)絡(luò)前饋架構(gòu)大小的 10% - 20%，而且在某些情況下，例如使用早停，Dropout 或隨機重初始化等方法，還可以使學(xué)習(xí)速度加快，甚至是獲得超過原始網(wǎng)絡(luò)的準(zhǔn)確度。

研究人員認(rèn)為，這樣的成果還只是起步，如果想找到合適的子網(wǎng)絡(luò)，必須經(jīng)過多次迭代、訓(xùn)練和修剪，對于算力有較高要求，而且存在一定的局限性，因為他們只找到了“稀疏剪枝”這一種尋求“彩票”的方法，還只考慮了數(shù)據(jù)集相對較小的視覺分類任務(wù)。

不過“彩票假設(shè)”的新思路可以激發(fā)機器學(xué)習(xí)領(lǐng)域的其它團隊，嘗試更多類似的網(wǎng)絡(luò)壓縮和優(yōu)化研究。研究團隊下一步將圍繞更多的剪枝方法展開研究，分析為什么迭代剪枝（Iterative Pruning）在更深的網(wǎng)絡(luò)中無法找到“中獎彩票”，同時對參數(shù)初始化機制進行更透徹的研究。

他們相信，如果投入更多的努力，能夠找到最有效的剪枝手段，或許有望加速很多深度學(xué)習(xí)模型的訓(xùn)練過程，節(jié)省可觀的開支和工作量，甚至是創(chuàng)造更有價值的新模型。