谷歌 I/O 2019 大會(huì)的第三天，圖靈獎(jiǎng)得主、 Google Brain 高級(jí)研究員 Geoffrey Hinton 同《連線》雜志主編 Nicholas Thompson 進(jìn)行了一場(chǎng)對(duì)話訪談。對(duì)話中， Hinton 回顧了他 40 年探索深度神經(jīng)網(wǎng)絡(luò)的經(jīng)歷，并概述了他對(duì)膠囊網(wǎng)絡(luò)的最新研究。

Geoffrey Hinton ，被譽(yù)為“神經(jīng)網(wǎng)絡(luò)之父”“深度學(xué)習(xí)鼻祖”，如今 AI 領(lǐng)域無人不知的“大神”。然而他的學(xué)術(shù)研究之路卻并非一帆風(fēng)順。

上世紀(jì) 80 年代， Hinton 提出了人工神經(jīng)網(wǎng)絡(luò)作為機(jī)器學(xué)習(xí)研究的想法，當(dāng)時(shí)的計(jì)算力還不足以處理復(fù)雜算法，也沒有大量的數(shù)據(jù)，幾乎所有研究人員都不看好他的觀點(diǎn)。這類研究在主流學(xué)術(shù)圈中是“邊緣課題”。

只有 Hinton 和少部分研究員在研究神經(jīng)網(wǎng)絡(luò)的工作原理。 Hinton 回憶道，當(dāng)時(shí)的處境十分艱難，就算到了 2004 年，距他們最初開發(fā)出 “反向傳播網(wǎng)絡(luò) Back-propagation Network ” 算法已經(jīng)過去 20 年，學(xué)術(shù)界和工業(yè)界的絕大部分研究者還是不感興趣。

（來源：YouTube ）

Hinton 在訪談中吐露了他一直堅(jiān)持研究神經(jīng)網(wǎng)絡(luò)的原因?！叭四X工作只有一種方式——通過學(xué)習(xí)神經(jīng)元之間的連接強(qiáng)度來運(yùn)作。如果想讓計(jì)算機(jī)變得智能，只有兩個(gè)選擇，編程或者讓機(jī)器自己學(xué)習(xí)。排除編程，我們只能想辦法讓機(jī)器學(xué)習(xí)?！币虼怂麍?jiān)信，模擬人腦工作的人工神經(jīng)網(wǎng)絡(luò)一定是實(shí)現(xiàn)機(jī)器智能的正確方式。

圖靈預(yù)言的堅(jiān)信者

在整個(gè)宇宙中，人類大腦是最復(fù)雜的物體之一，包含大約 1000 億個(gè)互相連接的神經(jīng)元。人們通過視覺、聽覺、嗅覺、味覺和觸覺從外部世界感知的一切，都是這些神經(jīng)元之間通過突觸傳遞信號(hào)完成的。然而，大腦中的深層機(jī)制仍然是神秘的，研究人員要想完全理解神經(jīng)元內(nèi)部運(yùn)作過程還有很長(zhǎng)的路要走。

圖 | 計(jì)算機(jī)先驅(qū)艾倫·圖靈（來源：AFP）

不過，這并沒有阻止計(jì)算機(jī)科學(xué)家試圖模擬大腦運(yùn)行機(jī)制來打造機(jī)器智能。Hinton 指出，計(jì)算機(jī)先驅(qū)艾倫 · 圖靈在 70 年前就提出大腦是一個(gè)沒有組織、通過權(quán)重隨機(jī)連接的二元神經(jīng)網(wǎng)絡(luò)。圖靈認(rèn)為機(jī)器獲取智能的最佳途徑就是模仿人類大腦，這引領(lǐng)了神經(jīng)網(wǎng)絡(luò)機(jī)器系統(tǒng)的發(fā)展。20 世紀(jì) 80 年代，Hinton 提出的反向傳播算法實(shí)現(xiàn)了神經(jīng)網(wǎng)絡(luò)的歷史性突破，這種算法能夠有效地訓(xùn)練人工神經(jīng)網(wǎng)絡(luò)并顯著提高其性能。

20 世紀(jì) 90 年代，數(shù)據(jù)集相對(duì)較小，計(jì)算力也遠(yuǎn)不如現(xiàn)在這么強(qiáng)大，深度學(xué)習(xí)進(jìn)展在很大程度上停滯不前。在小數(shù)據(jù)集處理上，使用少量標(biāo)記數(shù)據(jù)可以有效判別分類的支持向量機(jī)（support vector machines）比神經(jīng)網(wǎng)絡(luò)效果更好。很多曾經(jīng)支持圖靈想法的研究員都開始退縮了，但這并沒有動(dòng)搖 Hinton 對(duì)神經(jīng)網(wǎng)絡(luò)的信念。他從未想過要放棄深度神經(jīng)網(wǎng)絡(luò)的研究。

Hinton 在訪談中講到：“大腦神經(jīng)元運(yùn)行機(jī)制必須要弄清楚，也許還有很多學(xué)習(xí)神經(jīng)元連接強(qiáng)度的方法，大腦用了其中一種，也會(huì)有其他的方法。但是總得學(xué)會(huì)一種方法，我從沒有懷疑過這一點(diǎn)。”

深度神經(jīng)網(wǎng)絡(luò)迎來突破

在 20 世紀(jì) 80 年代，如果神經(jīng)網(wǎng)絡(luò)中有很多隱藏層，通常沒有辦法訓(xùn)練。Yann LeCun 發(fā)明的卷積神經(jīng)網(wǎng)絡(luò)（CNN）只能訓(xùn)練簡(jiǎn)單的任務(wù)，比如實(shí)現(xiàn)機(jī)器讀取手寫任務(wù)，對(duì)于大部分深度神經(jīng)網(wǎng)絡(luò)，根本不知道如何訓(xùn)練。

圖 | 2018 年圖靈獎(jiǎng)得主 Yann LeCun 、Geoffrey Hinton 和 Yoshua Bengio （從左至右）

直到 2006 年，Hinton 發(fā)表了一篇 “深度信念網(wǎng)絡(luò)的快速學(xué)習(xí)算法（A fast learning algorithm for deep belief nets ）之后，深度學(xué)習(xí)才開始快速發(fā)展起來。這篇論文展示了具有許多隱藏層的深層信念網(wǎng)絡(luò)如何生成一個(gè)能識(shí)別出手寫數(shù)字且表現(xiàn)良好的模型。之后，Hinton 在 2012 NIPS 上發(fā)表的論文又提出了 AlexNet 模型，在圖片識(shí)別上取得了重大突破，他多年研究工作的重要性才被整個(gè)工業(yè)界認(rèn)可。

一些深度神經(jīng)網(wǎng)絡(luò)的突出應(yīng)用，特別是在自然語言處理領(lǐng)域，甚至讓 Hinton 都感到驚訝：“如果你在 2012 年和我說，在接下來的 5 年時(shí)間里，要用相同的技術(shù)實(shí)現(xiàn)在多種語言之間互相翻譯的效果，Recurrent Net（循環(huán)神經(jīng)網(wǎng)絡(luò)），但如果只是隨機(jī)初始權(quán)重的隨機(jī)梯度下降，我不相信能實(shí)現(xiàn)。”

“99.9％的信心”

今天，在視覺處理、語音識(shí)別等人類利用感官感知做的活動(dòng)中，人工神經(jīng)網(wǎng)絡(luò)已經(jīng)表現(xiàn)出強(qiáng)大的優(yōu)勢(shì)，甚至在人類擅長(zhǎng)的運(yùn)動(dòng)控制方面，深度學(xué)習(xí)也最終將會(huì)取勝。

Hinton 強(qiáng)調(diào)，他不是在研究計(jì)算神經(jīng)科學(xué)，人工神經(jīng)網(wǎng)絡(luò)之所以有效，是因?yàn)槭艿酱竽X神經(jīng)元之間有很多聯(lián)系、并且改變了連接強(qiáng)度這一事實(shí)的啟發(fā)。

Hinton 認(rèn)為抽象推理是人工神經(jīng)網(wǎng)絡(luò)通向人類智能需要克服的最后一個(gè)障礙。

記者問到，人類大腦中是否存在一些奧秘是神經(jīng)網(wǎng)絡(luò)無法捕捉到的？比如意識(shí)、情感、愛等。

Hinton 的回答是不存在。他解釋道，“一百年前，人們對(duì)生命的的理解是所有生物都有生命力，一旦死去，生命力就飄走了。但是我們懂了生物化學(xué)、分子生物學(xué)，就不需要 “生命力” 來解釋生命了。我覺得‘意識(shí)’也是這個(gè)道理，‘意識(shí)’是用某種‘特殊的本質(zhì)’來嘗試解釋心理現(xiàn)象，而一旦我們用科學(xué)解釋了意識(shí)，你就不需要這種‘特殊的本質(zhì)’了。

換句話說，一旦等到真正理解了大腦是如何工作的，人類大腦生成的任何東西都可以通過功能完備的人工神經(jīng)網(wǎng)絡(luò)重建。

Hinton 對(duì)此有“99.9％的信心”。

膠囊網(wǎng)絡(luò)的最新研究

Hinton 告訴《連線》記者，他目前正在做的研究稱之為“膠囊（capsules）”，是關(guān)于如何運(yùn)用重建（reconstruction）進(jìn)行視覺感知的理論，以及如何將信息傳遞到正確的位置。在標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)中，信息，也就是網(wǎng)絡(luò)層的活動(dòng)，都是隨機(jī)去向某個(gè)地方，膠囊的作用是決定信息發(fā)送到哪里。

目前谷歌的一些研究人員也在做同樣的事情，他們發(fā)明了 transformer 模型，正在研究怎樣規(guī)劃信息路線。 推動(dòng)膠囊研究的另一個(gè)東西是坐標(biāo)系。人類在做視覺感知時(shí)，需要使用坐標(biāo)系。如果在對(duì)象上施加了錯(cuò)誤的坐標(biāo)系，甚至不能識(shí)別該對(duì)象。對(duì)于人類而言，坐標(biāo)系對(duì)于感知非常重要。Hinton 說，“膠囊網(wǎng)絡(luò)也許可以運(yùn)用到其他領(lǐng)域，但我對(duì)視覺識(shí)別的應(yīng)用很感興趣?！?/p>