前段時間一直在關(guān)注 CNN 的實現(xiàn)，查看了 caffe 的代碼以及 convnet2 的代碼。目前對單機多卡的內(nèi)容比較感興趣，因此特別關(guān)注 convnet2 關(guān)于 multi-GPU 的支持。

其中 cuda-convnet2 的項目地址發(fā)布在：Google Code：cuda-convnet2

關(guān)于 multi-GPU 的一篇比較重要的論文就是：One weird trick for parallelizing convolutional neural networks

本文也將針對這篇文章給出分析。
?

1、簡介

介紹一種卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中的SGD的并行化方法。

兩個變種

模型并行： 不同的 workers 訓(xùn)練模型的不同 patrs，比較適合神經(jīng)元活動比較豐富的計算。

數(shù)據(jù)并行： 不同的 workers 訓(xùn)練不同的數(shù)據(jù)案例，比較適合 weight 矩陣比較多的計算。

2. 觀察

現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)主要由兩種層構(gòu)成，他們具有不一樣的屬性和性能：
1）卷積層，占據(jù)了90% ~ 95% 的計算量，5% 的參數(shù)，但是對結(jié)果具有很大的表達能力。
2）全連接層，占據(jù)了 5% ~ 10% 的計算量， 95% 的參數(shù)，但是對于結(jié)果具有相對較小的表達的能力。

綜上：卷積層計算量大，所需參數(shù)系數(shù) W 少，全連接層計算量小，所需參數(shù)系數(shù) W 多。因此對于卷積層適合使用數(shù)據(jù)并行，對于全連接層適合使用模型并行。

3. 推薦的算法

前向傳播

1)K workers 中的每一個 worker 都提供不同的 128 個 examples 的 data batch，也就是每一個 worker 的數(shù)據(jù)都是不一樣的。
2)每一個 worker 都在其 data batch 上計算卷積層。每一個 worker 的卷積層是按照順序執(zhí)行的。
3)全連接層的計算，分為以下三種方式：
(a) 每一個 worker 將其最后階段的卷積層 activities 傳遞給其他的 worker。這些 workers 將這 128K 個 examples 配置成一個大的 batch，然后在這個 batch 上計算全連接層。
(b) 第一個 worker 將其最后階段的卷積層 activities 傳遞給其他 workers，這些 workers 計算 128 個 examples 配置成的 batch 并且開始反向傳遞。（與這一次計算并行的同時，第二個 worker 將卷積層的 activities 傳遞到所有的 workers 中，即實現(xiàn)了 activities 傳遞和計算之間的流水線）。
(c) 全部的 workers 傳遞 128/K 個卷積層的 activities 到其他的 workers，計算方式同(b)。

對于上述(a~c)三種不同的全連接層實現(xiàn)方式，進行如下的分析：

(a) 當(dāng) 128K images 配置到每一個 worker 的時候，所有有用的 work 必須要暫停。另外大的 batches 消耗大量的顯存，這對于 GPU 顯存有限制的設(shè)備是不希望發(fā)生的。另一方面，大的 batches 有利于 GPU 性能的發(fā)揮。

(b) 所有的 workers 輪流將他們的 activities 傳播到所有的 workers 上面。這里輪流執(zhí)行得到的最重要的結(jié)果是可以將大部分傳播通信時間隱藏（因為他可以在上一次計算的時候，與計算一起并行處理，確切是 K-1 次通信時間可以隱藏）。這樣做的意義非常的重大，可以實現(xiàn)一部分流水，使得通信時間隱藏，達到了很好的并行效果。

(c) 與 (b) 的方案類似。他的一個優(yōu)勢就是通信與計算的比例是常數(shù) K，對于 (a) 和 (b)，與 K 成比例。這是因為 (a) 和 (b) 方案經(jīng)常會受到每一個 worker 的輸出帶寬的限制，方案 (c) 可以利用所有的 workers 來完成這一任務(wù)，對于大的 K 會有非常大的優(yōu)勢。

反向傳播

1) workers 按照通常的方式在全連接層計算梯度。
2) 按照前向傳播中不同的實現(xiàn)方案，這里會有對應(yīng)的三種方案：
(a) 每一個 worker 都為整個 128K examples 的 batch 計算了 activities 的梯度。所以每一個 worker 必須將每一個 example 的梯度傳遞給前向傳播生成這個 example 的 worker 上面。這之后，卷積層的反向傳播按照常規(guī)方式獲取。
(b) 每一個 worker 已經(jīng)為 128 examples 的 batch 計算了 activities 的梯度，然后將這些梯度值傳遞給每一個與這個 batch 相關(guān)的 workers 上。（在傳播的同時，可以進行下一個 batch 的計算）。在經(jīng)過 K 次前向和反向的傳播，所有的梯度值都將被傳播到卷積層。
(c) 與 (b) 類似。每一個 worker 計算了 128 examples batch 的梯度，這 128-example batch 來自于每一個 worker 的 128/K-examples，所以為了正確的分配每一個梯度，需要安裝相反的操作來進行。

Weight 權(quán)值矩陣同步

一旦反向傳播完成之后，workers 就可以更新 weight 矩陣了。在卷積層，workers 也必須同步 weight 矩陣。最簡單的方式可以按如下進行：
1) 每一個 worker 指定到梯度矩陣的 1/K 進行同步。
2) 每一個 worker 從其他的 worker 累計對應(yīng)的 1/K 的梯度。
3)每一個 worker 廣播這 1/K 的梯度。

對于卷積層來說，這個比較容易實現(xiàn)，因為它的 weights 系數(shù)比較少。