深度學(xué)習(xí)教父、圖靈獎(jiǎng)得主Geoffrey Hinton今天在谷歌I/O大會(huì)的“爐邊聊天”上發(fā)表演講，討論了深度神經(jīng)網(wǎng)絡(luò)、AI研究從大腦得到的啟發(fā)，以及真正理解大腦將如何改變?cè)S多領(lǐng)域。

最新一屆圖靈獎(jiǎng)得主、多倫多大學(xué)教授兼谷歌大腦高級(jí)研究員 Geoffrey Hinton 今天在谷歌 I/O 開發(fā)者大會(huì)的爐邊聊天上發(fā)表了演講。

Hinton 討論了神經(jīng)網(wǎng)絡(luò)的起源 —— 模擬生物神經(jīng)元的數(shù)學(xué)函數(shù)層，以及 AI 有朝一日能夠像人類一樣進(jìn)行推理的可行性和意義。

Hinton 被稱為 “人工智能教父”。過(guò)去 30 年里，Hinton 一直致力于解決 AI 面臨的一些最大的挑戰(zhàn)。除了在機(jī)器學(xué)習(xí)方面的開創(chuàng)性工作，Hinton 還撰寫 (或與他人合作撰寫) 了 200 多篇 AI 論文，包括 1986 年發(fā)表的一篇開創(chuàng)性的機(jī)器學(xué)習(xí)技術(shù)論文 —— 反向傳播。

Hinton 推廣了深度神經(jīng)網(wǎng)絡(luò)這一概念，即以反向傳播為基礎(chǔ)的 AI 模型，其中包含相互連接的層，傳輸 “信號(hào)” 并調(diào)整連接的突觸強(qiáng)度 (權(quán)重)。通過(guò)這種方式，神經(jīng)網(wǎng)絡(luò)可以從輸入數(shù)據(jù)中提取特征，并學(xué)會(huì)做出預(yù)測(cè)。

你只需要注意力機(jī)制！深度神經(jīng)網(wǎng)絡(luò)優(yōu)化始于Transformers

深度神經(jīng)網(wǎng)絡(luò)得到大幅優(yōu)化是在兩年前，谷歌的研究人員發(fā)表一篇名為 “Attention Is all You Need” 的論文，提出名為 Transformers 的神經(jīng)網(wǎng)絡(luò)架構(gòu)。

Transformers 拋棄了傳統(tǒng)的 RNN/CNN 結(jié)構(gòu)，從自然語(yǔ)言本身的特性出發(fā)，實(shí)現(xiàn)了完全基于注意力機(jī)制的 Transformer 機(jī)器翻譯網(wǎng)絡(luò)架構(gòu)。

得益于動(dòng)態(tài)計(jì)算權(quán)重的注意力機(jī)制，Transformers 在語(yǔ)言翻譯任務(wù)中勝過(guò)了此前最先進(jìn)的模型，同時(shí)大幅減少了訓(xùn)練所需的計(jì)算量。

Hinton 承認(rèn)，創(chuàng)新的速度甚至讓他自己都感到驚訝。他說(shuō)：“2012 年時(shí)，我沒有想到僅僅 5 年之后，我們就能夠使用相同的技術(shù)在多種語(yǔ)言之間進(jìn)行翻譯?！?/p>

盡管如此，Hinton 認(rèn)為目前的 AI 和機(jī)器學(xué)習(xí)方法仍然存在局限性。他指出，大多數(shù)計(jì)算機(jī)視覺模型缺少反饋機(jī)制 —— 也就是說(shuō)，它們不會(huì)嘗試從更高層次的表示中重建數(shù)據(jù)。相反，它們?cè)噲D通過(guò)改變權(quán)重來(lái)區(qū)別性地學(xué)習(xí)特性。

Hinton 說(shuō):“它們并沒有在每一層的特征檢測(cè)器上檢查是否能夠重建下面的數(shù)據(jù)?！?/p>

AI系統(tǒng)主要是無(wú)監(jiān)督的，Hinton團(tuán)隊(duì)轉(zhuǎn)向人類大腦啟發(fā)

Hinton 和同事們最近開始轉(zhuǎn)向人類視覺皮層尋找啟發(fā)。Hinton 說(shuō)，人類的視覺采用一種重建的方法來(lái)學(xué)習(xí)，事實(shí)證明，計(jì)算機(jī)視覺系統(tǒng)中的重建技術(shù)增強(qiáng)了它們抵抗對(duì)抗性攻擊的能力。

“腦科學(xué)家們都同意這樣的觀點(diǎn)，即如果你的大腦皮層有兩個(gè)區(qū)域處于感知通路 (perceptual pathway) 中，并且一個(gè)區(qū)域與另一個(gè)區(qū)域之間存在連接，那么總會(huì)有一個(gè)反向的通路?！盚inton 說(shuō)。

需要說(shuō)明的是，Hinton 認(rèn)為神經(jīng)科學(xué)家可以從 AI 研究人員那里學(xué)到很多東西。他認(rèn)為未來(lái)的 AI 系統(tǒng)將主要是無(wú)監(jiān)督的。無(wú)監(jiān)督學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支，可以從未標(biāo)記、未分類的測(cè)試數(shù)據(jù)中提取知識(shí) —— 在學(xué)習(xí)共性和對(duì)共性是否存在做出反應(yīng)的能力方面，無(wú)監(jiān)督學(xué)習(xí)的能力幾乎達(dá)到人類水平。

Hinton 說(shuō)：“如果你采用一個(gè)擁有數(shù)十億參數(shù)的系統(tǒng)，對(duì)某個(gè)目標(biāo)函數(shù)執(zhí)行隨機(jī)梯度下降，它的效果會(huì)比你想象的好得多…… 規(guī)模越大，效果越好?！?/p>

“這使得一種說(shuō)法變得更加合理，即大腦計(jì)算某些目標(biāo)函數(shù)的梯度，并根據(jù)梯度更新突觸的強(qiáng)度。我們只需要弄清楚它是如何得到梯度的，以及目標(biāo)函數(shù)是什么?！?/p>

這甚至可能解開夢(mèng)的奧秘?！盀槭裁次覀兏静挥浀梦覀冏鲞^(guò)的夢(mèng)呢？”Hinton 反問(wèn)道。

他認(rèn)為這可能與 “忘卻”(unlearning) 有關(guān)，他在與人合著的一篇關(guān)于玻爾茲曼機(jī)的論文中解釋了這一理論。玻爾茲曼機(jī)是由對(duì)稱連接的、類似神經(jīng)元的單元組成的網(wǎng)絡(luò)，可以隨機(jī)決定是 “on” 還是 “off”。Hinton 說(shuō)，“它們發(fā)現(xiàn)…… 觀察到的數(shù)據(jù)不那么令人驚訝”。

Hinton 說(shuō):“夢(mèng)的意義可能在于，你把整個(gè)學(xué)習(xí)過(guò)程顛倒過(guò)來(lái)了?！?/p>

未來(lái)需要真正理解大腦的運(yùn)作方式

Hinton 相信，這些知識(shí)可以改變?cè)S多領(lǐng)域，比如教育。例如，他預(yù)計(jì)教學(xué)課程將考慮人類生物化學(xué)，因此會(huì)更加個(gè)性化，更具針對(duì)性。

他說(shuō)：“人們可能會(huì)認(rèn)為，如果我們真正理解了大腦，我們應(yīng)該能夠改善教育等方面的狀況，我認(rèn)為這是會(huì)實(shí)現(xiàn)的?！?/p>

“如果我們最終能夠了解大腦中正在發(fā)生什么，大腦是如何學(xué)習(xí)的，就能適應(yīng)環(huán)境，從而更好地學(xué)習(xí)?！?/p>

但他也警告說(shuō)，這一切都需要時(shí)間。就近期而言，Hinton 設(shè)想了智能助理的未來(lái) —— 比如 Google Assistant 或亞馬遜的 Alexa—— 它們可以與用戶互動(dòng)，并在日常生活中為用戶提供引導(dǎo)。

Hinton 總結(jié)說(shuō)：“再過(guò)幾年，我不確定我們會(huì)學(xué)到多少東西。但如果你仔細(xì)觀察，你會(huì)發(fā)現(xiàn)智能助理現(xiàn)在已經(jīng)相當(dāng)聰明了。一旦 AI 助理能夠真正理解對(duì)話，它們就能和孩子們真正地交談，并提供教育?！?/p>