深度學(xué)習(xí)模型訓(xùn)練是不是大力出奇跡，顯卡越多越好？非也，沒有512張顯卡，也可以通過一些小技巧優(yōu)化模型訓(xùn)練。本文作者分析了他的實(shí)踐經(jīng)驗(yàn)。

前段時(shí)間訓(xùn)練了不少模型，發(fā)現(xiàn)并不是大力出奇跡，顯卡越多越好，有時(shí)候 1 張 v100 和 2 張 v100 可能沒有什么區(qū)別，后來(lái)發(fā)現(xiàn)瓶頸在其他地方，寫篇文章來(lái)總結(jié)一下自己用過的一些小 trick，最后的效果就是在 cifar 上面跑 vgg 的時(shí)間從一天縮到了一個(gè)小時(shí)，imagenet 上跑 mobilenet 模型只需要 2 分鐘每個(gè) epoch。（文章末尾有代碼啦）

先說(shuō)下跑 cifar 的時(shí)候，如果只是用 torchvision 的 dataloader (用最常見的 padding/crop/flip 做數(shù)據(jù)增強(qiáng)) 會(huì)很慢，大概速度是下面這種，600 個(gè) epoch 差不多要一天多才能跑完，并且速度時(shí)快時(shí)慢很不穩(wěn)定。

我最初以為是 IO 的原因，于是掛載了一塊內(nèi)存盤，改了一下路徑接著用 torchvision 的 dataloader 來(lái)跑，速度基本沒啥變化。。。

然后打開資源使用率看了下發(fā)現(xiàn) cpu 使用率幾乎已經(jīng)滿了（只能申請(qǐng) 2cpu 和一張 v100...），但是 gpu 的使用率非常低，這基本可以確定瓶頸是在 cpu 的處理速度上了。

后來(lái)查了一些資料發(fā)現(xiàn) nvidia 有一個(gè)庫(kù)叫 dali 可以用 gpu 來(lái)做圖像的前處理，從輸入，解碼到 transform 的一整套 pipeline，看了下常見的操作比如 pad/crop 之類的還挺全的，并且支持 pytorch/caffe/mxnet 等各種框架。

可惜在官方文檔中沒找到 cifar 的 pipeline，于是自己照著 imagenet 的版本寫了個(gè)，最初踩了一些坑（為了省事找了個(gè) cifar 的 jpeg 版本來(lái)解碼，發(fā)現(xiàn)精度掉得很多還找不到原因，還得從 cifar 的二進(jìn)制文件來(lái)讀?。?，最后總歸是達(dá)到了同樣的精度，再來(lái)看一看速度和資源使用率，總時(shí)間直接從一天縮短為一小時(shí)，并且 gpu 使用率高了很多。

再說(shuō)下 imagenet 的訓(xùn)練加速，最初也是把整個(gè)數(shù)據(jù)集拷到了掛載的內(nèi)存盤里面（160g 大概夠用了，從拷貝到解壓完成大概 10 分鐘不到），發(fā)現(xiàn)同樣用 torchvision 的 dataloader 訓(xùn)練很不穩(wěn)定，于是直接照搬了 dali 官方的 dataloader 過來(lái)，速度也是同樣起飛 hhhh（找不到當(dāng)時(shí)訓(xùn)練的圖片了），然后再配合 apex 的混合精度和分布式訓(xùn)練，申請(qǐng) 4 塊 v100，gpu 使用率可以穩(wěn)定在 95 以上，8 塊 v100 可以穩(wěn)定在 90 以上，最后直接上到 16 張 v100 和 32cpu，大概也能穩(wěn)定在 85 左右（看資源使用率發(fā)現(xiàn) cpu 到頂了，不然估計(jì) gpu 也能到 95 以上），16 塊 v100 在 ImageNet 上跑 mobilenet 只需要 2 分鐘每個(gè) epoch。

寫的 dataloader 放到了 github 上，我測(cè)試的精度跟 torchvision 的版本差不多，不過速度上會(huì)比 torchvision 快很多，后面有空也會(huì)寫一些其他常用 dataloader 的 dali 版本放上去。