深度學(xué)習(xí)(Deep Learning)，又名深度神經(jīng)網(wǎng)絡(luò)，前身是一只感知機。生于達特茅斯會議次年的ta，注定與人工智能有著不解之緣。人工智能中的各種機器學(xué)習(xí)方法，從初期的符號學(xué)習(xí)到后來統(tǒng)計學(xué)習(xí)再到現(xiàn)在的深度學(xué)習(xí)，往往代表了學(xué)派之爭。初來咋到的感知機何以敢跟當時的霸主——‘符號主義’（symbolicism）分爭天下？因為ta有個爹叫‘聯(lián)結(jié)主義’(connectionism)。兩門派針鋒相對的歷史在這暫且不表，先來看看這位初生牛犢，感知機，如何一步步成長為今日叱咤風云的深度學(xué)習(xí)的。

‘感知機’(perceptron)，一個神秘的名字，到底是什么？雖然借用了人類大腦神經(jīng)元連接的隱喻，但其終究不過是一個有著輸入和輸出兩層神經(jīng)元的線性分類器。然而世事并不總是線性的，一個連XOR都解決不了的線性分類器如何委以重任？人工智能的爸爸之一，明斯基（Marvin Minsky），甚至專門出了本書《感知機》將其批判了一番，殊不知正是這本書，差點將深度學(xué)習(xí)扼殺于襁褓之中。大佬一發(fā)話，各路人馬紛紛飲恨而歸，相忘于江湖，神經(jīng)網(wǎng)絡(luò)就此進入寒冬期。

圖1.達特茅斯會議五十年重聚首，中間那位是明斯基，于2016年1月24日辭世

多數(shù)人放棄了，但有人堅持了下來。為了解決非線性可分的問題，人類（Rumelhart、Williams、Hinton、LeCun等）為感知機加了些隱藏層（hidden layer）,于是‘多層感知機’便誕生了，這種每層神經(jīng)元只與下層連接、神經(jīng)元之間不同層連接的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)就是一個最基本的神經(jīng)網(wǎng)絡(luò)，‘前饋神經(jīng)網(wǎng)絡(luò)’（feedforward networks）。如何訓(xùn)練這個龐然大物，在當時依然不甚明了。直到八十年代中，BP算法的橫空出世，重新燃起了聯(lián)結(jié)主義的希望。BP算法為訓(xùn)練多層網(wǎng)絡(luò)提供了簡潔優(yōu)雅的微積分解決方案，使得神經(jīng)網(wǎng)絡(luò)成為現(xiàn)實可用的模型。到此為止，就是神經(jīng)網(wǎng)絡(luò)的第二次潮起。不難想見的是，雖然隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的增加，模型能擬合越來越復(fù)雜的函數(shù)，但如何避免局部最優(yōu)解，如何避免梯度消失，仍無行之有效的方法。統(tǒng)計學(xué)習(xí)理論也在此期間登堂入室，大有取而代之之勢。神經(jīng)網(wǎng)絡(luò)再次被打入冷宮。

直到新千年的到來。隨著計算能力的大幅提升和大數(shù)據(jù)的涌現(xiàn)，及ReLU、pre-training等訓(xùn)練方法的出現(xiàn)，神經(jīng)網(wǎng)絡(luò)重新以‘深度學(xué)習(xí)’的名字再現(xiàn)江湖，并在2012年橫掃了各大模式識別競賽，至此再無敗績。互聯(lián)網(wǎng)巨頭們見形勢利好，也紛紛披甲上陣，投入巨資，深度學(xué)習(xí)開始一路狂奔向人生巔峰。有趣的是，神經(jīng)網(wǎng)絡(luò)的興衰史恰好也是其更名換姓史——從‘感知機’到‘神經(jīng)網(wǎng)絡(luò)’再到今天炙手可熱的‘深度學(xué)習(xí)’，每換一次名字，就涅槃一次，可見一個好名字的重要性。若用五個字概括這次深度學(xué)習(xí)的復(fù)興，我想大概是——新瓶裝舊酒，不對，應(yīng)該是，時勢造英雄。人工智能的車輪滾滾向前，三十年河?xùn)|，三十年河西。這次聯(lián)結(jié)主義占盡了風頭，下一次，又會是誰？

圖2. 著名模式識別競賽ImageNet：Large Scale Visual Recognition Challenge