谷歌大腦的Quoc Le團(tuán)隊(duì)，用神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索 (NAS) ，發(fā)現(xiàn)了一個目標(biāo)檢測模型。長這樣：

△看不清請把手機(jī)橫過來

它的準(zhǔn)確率和速度都超過了大前輩Mask-RCNN；也超過了另外兩只行業(yè)精英：FPN和SSD。

模型叫做NAS-FPN。大佬Quoc Le說，它的長相完全在想象之外，十分前衛(wèi)：

△喜訊發(fā)布一日，已收獲600顆心

AI的腦洞果然和人類不一樣。對比一下，目標(biāo)檢測界的傳統(tǒng)方法FPN (特征金字塔網(wǎng)絡(luò)) 長這樣：

谷歌大腦說，雖然網(wǎng)絡(luò)架構(gòu)搜索 (NAS) 并不算新穎，但他們用的搜索空間與眾不同。

怎么搜出來？

在NAS-FPN出現(xiàn)之前，地球上最強(qiáng)大的目標(biāo)檢測模型，架構(gòu)都是人類手動設(shè)計的。

△這是Mask-RCNN的成果

NAS是一種自動調(diào)參的方法，調(diào)的不是訓(xùn)練超參數(shù)，是網(wǎng)絡(luò)架構(gòu)超參數(shù)：比如網(wǎng)絡(luò)多少層、每層都是什么算子、卷積層里的過濾器大小等等。

它可以在許多許多不同的架構(gòu)里，快速找到性能最好的那一個。

所以，要把目標(biāo)檢測的常用架構(gòu)FPN(特征金字塔網(wǎng)絡(luò)) 和NAS結(jié)合起來，發(fā)現(xiàn)那只最厲害的AI。

但問題是搜索空間太大，特征橫跨許多不同的尺度。

于是，團(tuán)隊(duì)基于RetinaNet框架，設(shè)計了一個新的搜索空間：

這里，一個FPN是由許多的“合并單元 (Merging Cells) ”組成的。

是要把輸入的不同尺度/分辨率的特征層，合并到RetinaNet的表征里去。

具體怎樣合并？這是由一個RNN控制器來決定的，經(jīng)過四個步驟：

一是，從輸入里任選一個特征層；

二是，從輸入里再選一個特征層；

三是，選擇輸出的特征分辨率；

四是，選擇一種二進(jìn)制運(yùn)算，把兩個特征層 (用上一步選定的分辨率) 合并起來。

第四步有兩種運(yùn)算可選，一種是加和 (sum) ，一種是全局池化 (Global Pooling) 。兩個都是簡單、高效的運(yùn)算，不會附加任何帶訓(xùn)練的參數(shù)。

一個Cell就這樣合并出來了，但這只是中間結(jié)果。把它加到剛才的輸入列表里，和其他特征層排在一起。

然后，就可以重新選兩個特征層，重復(fù)上面的步驟一、二、四，保持分辨率不變。

(團(tuán)隊(duì)說，如果要避免選到相同分辨率的兩個特征層，就不要用步長8。2和4是比較合適的步長。)

就這樣，不停地生成新的Cell。

停止搜索的時候，最后生成的5個Cell，會組成“被選中的FPN”出道。

那么問題來了，搜索什么時候能停？

不是非要全部搜索完，隨時都可以退出。反正分辨率是不變的，F(xiàn)PN是可以隨意擴(kuò)展的。

團(tuán)隊(duì)設(shè)定了Early Exit (提前退出) 機(jī)制，用來權(quán)衡速度和準(zhǔn)確率。

最終發(fā)布NAS-FPN的，是AI跑了8,000步之后，選取最末5個Cell生成的網(wǎng)絡(luò)?；仡櫼幌拢?/p>

△看不清請把手機(jī)橫過來

從原始FPN (下圖a) 開始，它走過的路大概是這樣的：

跑得越久，生成的網(wǎng)絡(luò)就越蜿蜒。

模型怎么樣？

NAS-FPN可以依托于各種骨架：MobileNet，ResNet，AmoebaNet……

團(tuán)隊(duì)選擇的是AmoebaNet骨架。

那么，用COCO test-dev數(shù)據(jù)集，和那些強(qiáng)大的前輩比一比高清大圖檢測效果。

比賽結(jié)果發(fā)布：

△看不清請把手機(jī)橫過來

NAS-FPN拿到了48.3的AP分，超過了Mask-RCNN，并且用時更短 (右邊第二列是時間) 。

另外一場比賽，是移動檢測 (320x320) ，NAS-FPN的輕量版本，跑在MobileNet2骨架上：

超過了厲害的前輩SSD輕量版，雖然，還是沒有趕上YOLOv3。

△YOLOv3過往成果展

不過，打敗Mask-RCNN已經(jīng)是值得慶祝的成就了。

One More Thing

NAS既然如此高能，應(yīng)該已經(jīng)搜索過很多東西了吧？

谷歌大腦的另一位成員David Ha列出了7種：

1) 基于CNN的圖像分類器，2)RNN，3) 激活函數(shù)，4) SGD優(yōu)化器，5) 數(shù)據(jù)擴(kuò)增，6) Transformer，7) 目標(biāo)檢測。

并發(fā)射了直擊靈魂的提問：下一個被搜的會是什么？

他的同事摘得了最佳答案：NAS啊。

△NAS

論文傳送門：https://arxiv.org/pdf/1904.07392.pdf