提及谷歌大腦、seq2seq、AutoML，許多人已是耳熟能詳。在成功的背后，定是有許多研究人員的默默付出。而Quoc Le就是其中一位，堪稱谷歌真正的“隱藏人物”、幕后英雄！

他，是真正的幕后英雄！

瘦弱的身材，安靜的性格，戴著一副厚厚的眼鏡，你絕對(duì)猜不到如此其貌不揚(yáng)的Quoc Le，正式引領(lǐng)人工智能革命的領(lǐng)軍人物之一。

2011年，Le和他的博士生導(dǎo)師Andrew Ng、谷歌同事Jeff Dean和谷歌研究員Greg Corrado，共同創(chuàng)建了谷歌大腦（Google Brain）。目標(biāo)是在谷歌龐大的數(shù)據(jù)背景下探索深度學(xué)習(xí)。在此之前，Le在斯坦福大學(xué)開(kāi)展了一些關(guān)于無(wú)監(jiān)督深度學(xué)習(xí)的開(kāi)創(chuàng)性工作。

2012年，Le在ICML上發(fā)表了一篇文章，引起了人們對(duì)深度學(xué)習(xí)的濃厚興趣：他開(kāi)發(fā)了一種深度神經(jīng)網(wǎng)絡(luò)模型，可以根據(jù)Youtube上的1000萬(wàn)張數(shù)字圖像以及ImageNet數(shù)據(jù)集中的3000多個(gè)對(duì)象來(lái)識(shí)別貓。這個(gè)巨型系統(tǒng)由16000臺(tái)機(jī)器和10億個(gè)突觸組成，是以往研究規(guī)模的100倍。同年，Le又發(fā)表了關(guān)于AlexNet的論文，對(duì)整個(gè)深度學(xué)習(xí)領(lǐng)域產(chǎn)生了牽引力。

雖然后來(lái)證明無(wú)監(jiān)督學(xué)習(xí)方法對(duì)于商業(yè)用途是不切實(shí)際的（至少在那段時(shí)間），但Le在2015年《Wired》采訪中表示，“如果我們能挖掘一種算法來(lái)解決這個(gè)問(wèn)題就太好不過(guò)了，因?yàn)閷?shí)際的情況是，我們無(wú)標(biāo)記的數(shù)據(jù)遠(yuǎn)遠(yuǎn)多于有標(biāo)記的數(shù)據(jù)。”

從“序列”到“序列學(xué)習(xí)”

Le在2013年畢業(yè)后正式加入谷歌，成為一名研究科學(xué)家，很快就在機(jī)器翻譯領(lǐng)域取得了驚人的突破（機(jī)器翻譯是機(jī)器學(xué)習(xí)領(lǐng)域最活躍的研究領(lǐng)域之一）。

為了實(shí)現(xiàn)這一結(jié)果，他必須超越已有深度學(xué)習(xí)的方法，這些方法適用于圖像和語(yǔ)音，可以使用固定大小的輸入進(jìn)行分析。 而對(duì)于自然語(yǔ)言，句子的長(zhǎng)度各不相同，詞語(yǔ)的順序也很重要。

2014年，Le與谷歌研究人員Ilya Sutskever和Oriol Vinyals一起提出了序列到序列(seq2seq)學(xué)習(xí)。它是一個(gè)通用的encoder-decoder框架，訓(xùn)練模型將序列從一個(gè)域轉(zhuǎn)換到另一個(gè)域（例如不同語(yǔ)言之間的句子）。

seq2seq學(xué)習(xí)在工程設(shè)計(jì)選擇方面的需求較少，并允許Google翻譯系統(tǒng)高效準(zhǔn)確地處理非常大的數(shù)據(jù)集。它主要用于機(jī)器翻譯系統(tǒng)，并被證明適用于更廣泛的任務(wù)，包括文本摘要，會(huì)話AI和問(wèn)答。

Le進(jìn)一步發(fā)明了doc2vec，這是一種非監(jiān)督算法，它從句子、段落和文檔等不同長(zhǎng)度的文本片段中學(xué)習(xí)固定長(zhǎng)度的特征表示。Doc2vec是word2vec的擴(kuò)展，word2vec于2013年由谷歌成員Tomas Mikolov發(fā)布。其思想是每個(gè)單詞都可以用一個(gè)向量表示，這個(gè)向量可以從集合文本中自動(dòng)學(xué)習(xí)。Le添加了段落向量，因此模型可以生成文檔的表示形式，從而不考慮文檔的長(zhǎng)度。

Le的研究最終得到了回報(bào)。在2016年，谷歌宣布了神經(jīng)機(jī)器翻譯系統(tǒng)，它利用AI進(jìn)行學(xué)習(xí)，能夠得到更好更自然的翻譯。

2015年，Le在榮登MIT Technology Review的“35歲以下創(chuàng)新者”排行榜，因?yàn)樗哪繕?biāo)是“讓軟件變得更智能，幫助人們提高生活品質(zhì)”。

AutoML：神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)自我提升

訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)需要大量的標(biāo)記數(shù)據(jù)和反復(fù)的實(shí)驗(yàn):選擇一個(gè)架構(gòu)，構(gòu)建隱含層，并根據(jù)輸出調(diào)整權(quán)重。對(duì)于機(jī)器學(xué)習(xí)專業(yè)知識(shí)有限的人來(lái)說(shuō)，訓(xùn)練過(guò)程時(shí)既費(fèi)時(shí)又費(fèi)力的。

2016年，Le和另一位谷歌同事Barret Zoph提出了神經(jīng)結(jié)構(gòu)搜索。他們使用一個(gè)循環(huán)網(wǎng)絡(luò)來(lái)生成神經(jīng)網(wǎng)絡(luò)的模型描述，并通過(guò)強(qiáng)化學(xué)習(xí)來(lái)訓(xùn)練這個(gè)RNN，以最大限度地提高在驗(yàn)證集上生成的體系結(jié)構(gòu)的預(yù)期精度。

這種新方法可以幫助研究人員設(shè)計(jì)一種新的網(wǎng)絡(luò)體系結(jié)構(gòu)，在CIFA-10數(shù)據(jù)集的測(cè)試集精度方面與人類發(fā)明的最佳體系結(jié)構(gòu)相匹配。一年后，Le和Zoph將他們的研究提升到了一個(gè)新的高度，他們提出了NASNet-A，一個(gè)可移植的大型圖像數(shù)據(jù)集架構(gòu)。

Le的研究為AutoML奠定了基礎(chǔ)，AutoML是一套谷歌產(chǎn)品，專為缺乏機(jī)器學(xué)習(xí)經(jīng)驗(yàn)和資源的開(kāi)發(fā)人員設(shè)計(jì)的。然而，在早期階段，AutoML是用于解決現(xiàn)實(shí)問(wèn)題的：數(shù)據(jù)科學(xué)家使用AutoML建立了一個(gè)基于面條圖像識(shí)別餐廳的模型，準(zhǔn)確度幾乎達(dá)到95％; 日本開(kāi)發(fā)人員使用AutoML構(gòu)建了一個(gè)可以使用其品牌名稱對(duì)圖像進(jìn)行分類的模型。

在過(guò)去的六年里，Le一直處于深度學(xué)習(xí)發(fā)展的前沿。這位36歲的谷歌研究科學(xué)家現(xiàn)在準(zhǔn)備將深度學(xué)習(xí)提升到一個(gè)新的高度。