當(dāng)一個(gè)人真正想在機(jī)器學(xué)習(xí)中取得一定成就時(shí)，他需要深入微積分、線性代數(shù)，掌握一定的統(tǒng)計(jì)學(xué)知識(shí)，研究的深度越深，數(shù)學(xué)基礎(chǔ)的重要性就越顯而易見。但是，機(jī)器學(xué)習(xí)和數(shù)學(xué)的這種緊密關(guān)系卻也會(huì)帶來誤解，現(xiàn)在，一些人已經(jīng)傾向于把機(jī)器學(xué)習(xí)視為美化統(tǒng)計(jì)的手段，更有甚者，一些業(yè)內(nèi)人士也開始迷失于混淆，失去了努力的方向。

隨著圍繞深度學(xué)習(xí)的炒作逐漸消退，像上圖這樣的惡搞漫畫開始出現(xiàn)在公眾視野里，每每看到這些圖，一些人會(huì)抱著譏諷的心態(tài)會(huì)心一笑。在他們眼里，機(jī)器學(xué)習(xí)沒什么值得興奮的，它只是傳統(tǒng)統(tǒng)計(jì)技術(shù)的新包裝，內(nèi)容上換湯不換藥。這種想法正變得越來越普遍，但機(jī)器學(xué)習(xí)真的不是統(tǒng)計(jì)學(xué)！

雖然深度學(xué)習(xí)火了，這對(duì)機(jī)器學(xué)習(xí)來說卻不是什么好事。為了避免深度學(xué)習(xí)被誤認(rèn)為是import keras就能解決一切的技術(shù)，第一批推廣深度學(xué)習(xí)的機(jī)器學(xué)習(xí)研究人員一直在淡化現(xiàn)代神經(jīng)網(wǎng)絡(luò)的作用，而這種矯枉過正已經(jīng)開始對(duì)學(xué)界的發(fā)展和未來造成不良影響——人們開始把它看成空中花園，討論起寒冬即將來臨，人工智能研究將陷入停滯。

正如Yann LeCun所說的那樣，深度學(xué)習(xí)如今的影響已經(jīng)超過了一個(gè)普通流行詞的影響上限。

本文的目的不是討論AI是否將迎來嚴(yán)冬，也不是討論機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)哪個(gè)更值得深入研究。相反地，由于計(jì)算機(jī)算力的大幅提高的大型優(yōu)質(zhì)數(shù)據(jù)集的出現(xiàn)，再加上深度學(xué)習(xí)的突破性成果，我們要證明，機(jī)器學(xué)習(xí)也是全球技術(shù)進(jìn)步的一大重要前沿。

機(jī)器學(xué)習(xí) != 統(tǒng)計(jì)學(xué)

如果你想融資，寫AI；如果你想招聘，寫ML；如果你想實(shí)現(xiàn)，線性回歸。——數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)和人工智能到底有什么區(qū)別？

首先，機(jī)器學(xué)習(xí)不等于統(tǒng)計(jì)學(xué)。雖然把機(jī)器學(xué)習(xí)簡單等同于統(tǒng)計(jì)學(xué)是個(gè)徹頭徹尾的誤解，但大家產(chǎn)生這種想法確實(shí)也情有可原。機(jī)器學(xué)習(xí)中普遍存在大量統(tǒng)計(jì)學(xué)意義上的概念和術(shù)語，比如回歸、權(quán)重、偏差、模型等。機(jī)器學(xué)習(xí)模型也經(jīng)常需要用到統(tǒng)計(jì)函數(shù)，比如分類模型的softmax輸出是個(gè)logits，模型訓(xùn)練過程中需要用到logistic回歸。

從技術(shù)上看，這樣理解沒有問題，但僅憑這幾點(diǎn)，我們不能把機(jī)器學(xué)習(xí)當(dāng)成統(tǒng)計(jì)學(xué)的附屬物。事實(shí)上，這種比較是沒有意義的。統(tǒng)計(jì)是數(shù)據(jù)領(lǐng)域的東西，它涉及對(duì)數(shù)據(jù)的理解和解釋。而機(jī)器學(xué)習(xí)只不過是一類計(jì)算算法的集合（可用于分析和決策），它屬于計(jì)算機(jī)科學(xué)領(lǐng)域。在很多情況下，某些機(jī)器學(xué)習(xí)算法既不能分析數(shù)據(jù)，也不能構(gòu)建預(yù)測(cè)模型，比如強(qiáng)化學(xué)習(xí)算法不需要事先準(zhǔn)備好的數(shù)據(jù)集，圖像算法的數(shù)據(jù)也不是數(shù)學(xué)意義上的數(shù)據(jù)。

當(dāng)然，這不是說機(jī)器學(xué)習(xí)取得的成就都是計(jì)算機(jī)科學(xué)的，和統(tǒng)計(jì)學(xué)一點(diǎn)兒關(guān)系都沒有。和其他任何研究領(lǐng)域一樣，機(jī)器學(xué)習(xí)的成功是多領(lǐng)域知識(shí)綜合作用的結(jié)果，統(tǒng)計(jì)學(xué)和數(shù)學(xué)在其中尤為明顯。然而，為了正確評(píng)估機(jī)器學(xué)習(xí)方法的強(qiáng)大影響和潛力，首先我們必須要認(rèn)識(shí)到，人工智能的現(xiàn)代發(fā)展不等于計(jì)算機(jī)算力提高+數(shù)據(jù)集+統(tǒng)計(jì)學(xué)。

機(jī)器學(xué)習(xí)不需要高級(jí)統(tǒng)計(jì)知識(shí)

這里我們舉個(gè)例子。當(dāng)我開始學(xué)機(jī)器學(xué)習(xí)時(shí)，我選上了一門深度學(xué)習(xí)課。這是我本科必修課的一部分，當(dāng)時(shí)老師要求我們?cè)?a href="http://m.makelele.cn/tags/tensorflow/" target="_blank">TensorFlow中實(shí)現(xiàn)并訓(xùn)練Wasserstein GAN。

需要注意的是，我只上過這么一節(jié)和深度學(xué)習(xí)有關(guān)的必修課，而且課程知識(shí)都忘的差不多了。不用說，我的統(tǒng)計(jì)學(xué)也不咋地。但是，通過閱讀論文，我能理解GAN是什么，然后從頭開始實(shí)現(xiàn)它。在MS Celebs數(shù)據(jù)集上完成訓(xùn)練后，最后我們生成了非常逼真的虛假圖像。

同樣是在這門課上，我和同學(xué)還訓(xùn)練了可以分割癌細(xì)胞組織圖像的模型、機(jī)器翻譯模型、文本分類模型和圖像風(fēng)格遷移模型，它們用的都是近幾年最先進(jìn)的技術(shù)。但是如果你問我們?cè)撛趺从?jì)算人口的方差、怎么計(jì)算邊際概率，大多數(shù)人會(huì)一臉懵逼。

看得出來，這和那些人眼里的機(jī)器學(xué)習(xí)不太一樣。

確實(shí)，在深度學(xué)習(xí)領(lǐng)域，專家比學(xué)生有著更深厚的統(tǒng)計(jì)學(xué)基礎(chǔ)。一般而言，信息理論需要對(duì)數(shù)據(jù)和概率有很強(qiáng)的理解，如果要我對(duì)想成為數(shù)據(jù)科學(xué)家、機(jī)器學(xué)習(xí)工程師的新人提建議，我也會(huì)讓他們好好學(xué)習(xí)統(tǒng)計(jì)學(xué)。但是盡管如此，幾乎沒有統(tǒng)計(jì)學(xué)背景的人確實(shí)可以深入理解尖端的ML概念，這直接證明ML不是統(tǒng)計(jì)學(xué)的附屬物。

還應(yīng)該承認(rèn)的一點(diǎn)是，撇開神經(jīng)網(wǎng)絡(luò)，一些機(jī)器學(xué)習(xí)算法確實(shí)要求學(xué)習(xí)者、使用者有更強(qiáng)的統(tǒng)計(jì)和概率背景，但即便這些方法通常被稱為統(tǒng)計(jì)機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)習(xí)，它們比常規(guī)的統(tǒng)計(jì)學(xué)理論要淺顯得多。再說近幾年機(jī)器學(xué)習(xí)的進(jìn)展幾乎都是神經(jīng)網(wǎng)絡(luò)，它們和統(tǒng)計(jì)的關(guān)系就更遠(yuǎn)了。

如今所有領(lǐng)域都在呼吁跨學(xué)科研究，機(jī)器學(xué)習(xí)也不例外。換句話說，ML研究人員學(xué)習(xí)統(tǒng)計(jì)知識(shí)只不過是為了處理各種類型的數(shù)據(jù)，這里不存在上層下層關(guān)系。

機(jī)器學(xué)習(xí)=表征+評(píng)估+優(yōu)化

捫心自問，我們確實(shí)在算法、優(yōu)化算法、微積分、線性代數(shù)甚至概率論上有扎實(shí)基礎(chǔ)，但這些數(shù)學(xué)知識(shí)是我們處理問題的工具，它們和高級(jí)統(tǒng)計(jì)知識(shí)不搭邊。

機(jī)器學(xué)習(xí)是一類計(jì)算算法，它們通過迭代計(jì)算某個(gè)目標(biāo)函數(shù)的近似形式。華盛頓大學(xué)計(jì)算機(jī)科學(xué)教授Pedro Domingos曾指出機(jī)器學(xué)習(xí)算法由三個(gè)部分組成：表征、評(píng)估、優(yōu)化。

表征指的是把輸入從一個(gè)空間映射進(jìn)另一個(gè)空間，從而使輸入更容易被理解。以卷積神經(jīng)網(wǎng)絡(luò)為例，無論輸入圖像是貓是狗，神經(jīng)網(wǎng)絡(luò)是無法根據(jù)這些原始像素直接分類的，因此我們要把像素轉(zhuǎn)換成網(wǎng)絡(luò)更容易解釋和評(píng)估的表征。

評(píng)估基本就是損失函數(shù)。你的算法會(huì)如何有效地把數(shù)據(jù)映射進(jìn)更有用的空間？你的softmax輸出和one-hot編碼標(biāo)簽（分類）有多接近？你的模型是否正確預(yù)測(cè)了展開文本序列的下一個(gè)單詞？……這些內(nèi)容向你展示了模型的性能情況，更重要的是，他們也定義了模型將要學(xué)習(xí)的內(nèi)容。

優(yōu)化是算法的最后一塊內(nèi)容。當(dāng)你開始評(píng)估自己的模型時(shí)，你會(huì)希望模型的代表性功能能再強(qiáng)化一下，得分也再高一些，這時(shí)你就要用到優(yōu)化。在神經(jīng)網(wǎng)絡(luò)中，這同樣意味著用一些隨機(jī)梯度下降的變量根據(jù)損失函數(shù)優(yōu)化網(wǎng)絡(luò)的權(quán)重和偏差。

在訓(xùn)練圖像分類器時(shí)，除了定義適當(dāng)?shù)膿p失函數(shù)，我們不要求模型函數(shù)的輸出有邏輯。這意味著雖然我們用了像logistic回歸這樣的統(tǒng)計(jì)函數(shù)，而且它確實(shí)為定義模型空間提供了有效信息，但它沒有把優(yōu)化問題轉(zhuǎn)成數(shù)據(jù)理解問題。

深度學(xué)習(xí)技巧

為了把統(tǒng)計(jì)學(xué)更徹底地剝離出去，我們來看深度學(xué)習(xí)。深層神經(jīng)網(wǎng)絡(luò)內(nèi)部的工作機(jī)制幾乎是全新的一套體系，縱使完全連接節(jié)點(diǎn)由權(quán)重和偏差組成，那么卷積層呢？Rectifier activations呢？Batch normalization呢？Residual layers呢？Dropout呢？注意力機(jī)制呢？

這些創(chuàng)新對(duì)深層神經(jīng)網(wǎng)絡(luò)性能的提高至關(guān)重要，它們和傳統(tǒng)統(tǒng)計(jì)技術(shù)沒有可比性。如果不信，你可以指著自己VGG-16 ConvNet問統(tǒng)計(jì)學(xué)家：我的模型過擬合，怎么辦？看看他們是否覺得你可以隨意丟棄1億個(gè)參數(shù)里的5000萬個(gè)。

更不用說，深度學(xué)習(xí)根本不在意模型的可解釋性。

新的前沿

在過去幾年里，你可能已經(jīng)在論文、新聞、社交網(wǎng)絡(luò)上看過機(jī)器學(xué)習(xí)的無數(shù)炫酷應(yīng)用，這里我們不再具體介紹。我要告訴你的是，無論是機(jī)器學(xué)習(xí)還是深度學(xué)習(xí)，現(xiàn)在它們能做的事更多。

在2012年以前，對(duì)非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)的解構(gòu)還只是挑戰(zhàn)。那之后，學(xué)界出現(xiàn)訓(xùn)練完備的CNN和LSTM，實(shí)現(xiàn)了人類歷史上的巨大跨越。而現(xiàn)在，計(jì)算機(jī)視覺、自然語言處理、語音轉(zhuǎn)錄等領(lǐng)域已經(jīng)取得了相當(dāng)大的進(jìn)步，人臉識(shí)別、智能助理、無人車等相關(guān)產(chǎn)品也已經(jīng)落地應(yīng)用，這是前人不敢想象的。

確實(shí)，大多數(shù)機(jī)器學(xué)習(xí)算法最終都涉及擬合數(shù)據(jù)，但它相對(duì)過去是一種進(jìn)步。航天飛機(jī)也不過是一個(gè)帶翅膀的飛行器，不是嗎？但我們并沒有看到有人用漫畫嘲諷NASA進(jìn)行太空探索，也沒有嘲諷航天飛機(jī)是飛機(jī)的過度包裝產(chǎn)品。

和太空探索一樣，深度學(xué)習(xí)的出現(xiàn)并沒有解決世界上所有的問題，它在很多地方還面臨重大挑戰(zhàn)，尤其是“人工智能”領(lǐng)域。盡管如此，它為我們解決復(fù)雜非結(jié)構(gòu)化數(shù)據(jù)問題做出了重大貢獻(xiàn)。未來，機(jī)器學(xué)習(xí)將繼續(xù)代表全球技術(shù)進(jìn)步和創(chuàng)新的前沿。