谷歌大腦備受關注的“權重無關神經(jīng)網(wǎng)絡”終于開源了！其關鍵思想是通過不再強調權重來搜索網(wǎng)絡結構，僅使用隨機共享的權重，也可以執(zhí)行各種任務的神經(jīng)網(wǎng)絡。終于可以不用調參煉丹了嗎？快來復現(xiàn)看看！

神經(jīng)網(wǎng)絡訓練中 “權重” 有多重要不言而喻。但谷歌前段時間發(fā)表的研究表明，即使拋棄神經(jīng)網(wǎng)絡權重訓練，使用隨機共享權重，也可以執(zhí)行各種任務。

他們提出一種新的神經(jīng)網(wǎng)絡結構的搜索方法——權重無關神經(jīng)網(wǎng)絡（Weight Agnostic Neural Networks，WANN），其關鍵思想是通過不再強調權重來搜索網(wǎng)絡結構。

今天，該研究的兩位作者、谷歌大腦學生研究員 Adam Gaier和研究科學家David Ha在Google AI博客上撰文，介紹了該研究的核心思想和重要細節(jié)，并宣布WANN的代碼已經(jīng)在GitHub上開源，以便讓廣泛的研究社區(qū)重現(xiàn)WANN實驗。

告別調參煉丹，使用隨機共享權重足矣！

當訓練神經(jīng)網(wǎng)絡完成一項給定任務時，無論是圖像分類還是強化學習，通常都需要調優(yōu)與網(wǎng)絡中每個連接相關的一組權重。另一種已經(jīng)取得實質性進展的成功的神經(jīng)網(wǎng)絡創(chuàng)建方法是神經(jīng)架構搜索，它利用人工設計的組件（如卷積網(wǎng)絡組件或transformer blocks）來構建神經(jīng)網(wǎng)絡架構。

研究表明，利用這些組件構建的神經(jīng)網(wǎng)絡結構，如深度卷積網(wǎng)絡，對圖像處理任務具有很強的歸納偏差，甚至可以在權重隨機初始化的情況下執(zhí)行。雖然神經(jīng)架構搜索提供了一些新的方法，可以為當前的任務域安排具有已知歸納偏差的手工工程組件，但在自動發(fā)現(xiàn)具有此類歸納偏差的新神經(jīng)網(wǎng)絡架構（用于不同的任務域）方面幾乎沒有進展。

我們可以用一個先天和后天的例子作為類比。正如生物學中某些從出生起就具有反捕食行為的物種一樣，他們無需學習就能執(zhí)行復雜的運動和感官任務，或許我們可以構建一個不需要訓練就能很好地完成任務的神經(jīng)網(wǎng)絡。當然，這些自然物種（作為類比，人工神經(jīng)網(wǎng)絡）通過訓練可以得到進一步的改善，但它們即使不學習也能執(zhí)行任務的能力表明，它們包含使它們非常適合于這些任務的偏差。

在“權重無關神經(jīng)網(wǎng)絡”（WANN）論文中，我們提出了搜索具有這類偏差的網(wǎng)絡的第一步：即使使用隨機共享的權重，也可以執(zhí)行各種任務的神經(jīng)網(wǎng)絡架構。

我們在這項工作中的動機是，在不學習任何權重參數(shù)的情況下，僅神經(jīng)網(wǎng)絡架構能在多大程度上編碼給定任務的解決方案。通過探索這樣的神經(jīng)網(wǎng)絡架構，我們提出了一種無需學習權重參數(shù)就能在其環(huán)境中運行良好的智能體。

此外，為了促進該領域的進步，我們還開放了源代碼，以便更廣泛的研究社區(qū)重現(xiàn)我們的WANN實驗。

左圖：一個手工設計的、完全連接的深度神經(jīng)網(wǎng)絡，有2760個權重連接。利用一種學習算法，我們可以求解2760個權重參數(shù)的集合，使該網(wǎng)絡能夠執(zhí)行一個雙足步行任務（BipedalWalker-v2）。

右圖：一個權重無關的神經(jīng)網(wǎng)絡架構，只有44個連接，但同樣能夠執(zhí)行雙足步行任務。與完全連接網(wǎng)絡不同的是， WANN仍然可以執(zhí)行任務，而不需要訓練每個連接的權重參數(shù)。實際上，為了簡化訓練，WANN被設計成在每個權重連接的值相同或共享時執(zhí)行，甚至就算共享權重參數(shù)是隨機采樣的，也會起作用。

搜索權重無關神經(jīng)網(wǎng)絡

我們從一組最小的神經(jīng)網(wǎng)絡架構候選對象開始，每個候選對象只有很少的連接，并使用一個完善的拓撲搜索算法（NEAT），通過逐個地添加單個連接和單個節(jié)點來演化架構。

WANN背后的關鍵思想是通過不再強調權重來搜索架構。與傳統(tǒng)的神經(jīng)架構搜索方法不同，新架構的所有權重參數(shù)都需要使用學習算法進行訓練，我們采用了一種更簡單、更有效的方法。

在搜索過程中，首先在每次迭代中為所有候選架構分配一個共享權重值，然后進行優(yōu)化，以便在更寬的共享權重值范圍內執(zhí)行良好。

用于搜索網(wǎng)絡拓撲空間的運算符

左：一個最小的網(wǎng)絡拓撲結構，輸入和輸出僅部分連接。

中間：網(wǎng)絡的改變有三種方式：

（1）插入節(jié)點：通過分割現(xiàn)有連接插入新節(jié)點。

（2）添加連接：通過連接兩個先前未連接的節(jié)點來添加一個新連接。

（3）更改激活：重新分配隱藏節(jié)點的激活函數(shù)。

右：可能的激活函數(shù)（線性，階躍，正弦， 余弦，高斯，tanh， sigmoid，inverse，絕對值，ReLU）

除了探索一系列與權重無關的神經(jīng)網(wǎng)絡之外，重要的是還要尋找只需要復雜到它們所需的程度的網(wǎng)絡架構。我們利用多目標優(yōu)化技術（ multi-objective optimization），同時對網(wǎng)絡的性能和復雜度進行優(yōu)化。

權重無關神經(jīng)網(wǎng)絡搜索的概述，及其相應的網(wǎng)絡拓撲空間搜索算子。

訓練WANN架構

與傳統(tǒng)網(wǎng)絡不同的是，我們可以通過簡單地找到最佳的單個共享權重參數(shù)來訓練WANN，從而最大限度地提高其性能。在下面的例子中，可以看到我們的架構（在某種程度上）使用恒定的權重來完成一個 swing-up cartpole 任務：

WANN在不同的權重參數(shù)下執(zhí)行 swing-up cartpole 任務，也使用微調的權重參數(shù)。

正如我們在上面的圖中看到的，雖然WANN可以使用一系列共享權重參數(shù)來執(zhí)行其任務，但是其性能仍然無法與學習每個連接的權重的網(wǎng)絡相比較。

如果我們想進一步提高它的性能，我們可以使用WANN架構和最佳共享權重作為起點，使用學習算法微調每個連接的權重，就像通常訓練神經(jīng)網(wǎng)絡的方法一樣。以網(wǎng)絡架構的權重無關特性為出發(fā)點，通過學習微調網(wǎng)絡的性能，可能有助于為理解動物如何學習提供有洞察力的類比。

通過在性能和網(wǎng)絡簡單性方面的多目標優(yōu)化，我們的方法找到了一個簡單的WANN，用于賽車任務，它不需要顯式地訓練網(wǎng)絡的權重。

使用隨機權重的網(wǎng)絡架構不僅易于訓練，還具有其他優(yōu)勢。例如，通過使用相同WANN架構的副本，但是為WANN的每個副本都分配不同的權重值，我們可以為同一任務創(chuàng)建多個不同模型的集合。這種集合通常比單個模型能獲得更好的性能。下面是一個MNIST分類器處理隨機權重的例子，可以說明這一點：

MNIST分類器進化為處理隨機權重。

具有隨機初始化的傳統(tǒng)網(wǎng)絡在 MNIST 上的精度約為 10%，但這種隨機權重的特殊網(wǎng)絡架構在 MNIST 上的精度 （》 80%） 明顯優(yōu)于隨機初始化網(wǎng)絡。當使用一組WANNs，為每個WANN分配一個不同的共享權重時，精度提高到 》 90%。

即使不使用集成方法，也可以將網(wǎng)絡中的權重值壓縮到一個網(wǎng)絡，從而使網(wǎng)絡能夠快速調整?？焖僬{整權重的能力可能在持續(xù)的終身學習（lifelong learning）中很有用，在這種學習中，agent在整個生命周期中獲得、適應和轉移技能。這使得WANN特別適合利用 Baldwin效應， Baldwin效應是一種進化壓力，即獎勵那些傾向于學習有用行為的個體，而不會陷入“l(fā)earning to learn”這個昂貴的計算陷阱。

結論

我們希望這項工作可以作為一個墊腳石，幫助發(fā)現(xiàn)新的基礎神經(jīng)網(wǎng)絡組件，如卷積網(wǎng)絡，其發(fā)現(xiàn)和應用已經(jīng)在深度學習領域取得了令人難以置信的進展。自卷積神經(jīng)網(wǎng)絡被發(fā)現(xiàn)以來，研究界可用的計算資源顯著增加。如果我們將這些資源投入到自動發(fā)現(xiàn)神經(jīng)網(wǎng)絡架構中，并希望實現(xiàn)網(wǎng)絡架構的突破性改進，那么我們相信，使用新的構建塊來搜索也是值得的。