多倫多大學(xué)和DeepMind研究人員合作，通過(guò)實(shí)驗(yàn)表明某些哺乳動(dòng)物的神經(jīng)元也能進(jìn)行深度學(xué)習(xí)。如果神經(jīng)元與深度學(xué)習(xí)之間的關(guān)聯(lián)得以確認(rèn)，我們就能開發(fā)更好的腦機(jī)接口，從疾病治療到增強(qiáng)智能，隨之而來(lái)的應(yīng)用也將開啟各種可能。

神經(jīng)網(wǎng)絡(luò)受生物神經(jīng)網(wǎng)絡(luò)啟發(fā)而來(lái)，但大腦里的學(xué)習(xí)過(guò)程真如深度學(xué)習(xí)那樣嗎？這個(gè)問(wèn)題的答案有望實(shí)現(xiàn)更強(qiáng)大的深度學(xué)習(xí)模型，也有助于進(jìn)一步了解人類的智能。

12月5日，CIFAR研究員、多倫多大學(xué)的Blake A. Richards和同事在期刊eLife發(fā)表了論文《嘗試用分離的樹突進(jìn)行深度學(xué)習(xí)》（Towards deep learning with segregated dendrites）。他們?cè)谡撐闹刑岢隽艘环N算法，對(duì)大腦中可以如何進(jìn)行深度學(xué)習(xí)進(jìn)行了模擬。他們構(gòu)建的網(wǎng)絡(luò)表明，某些哺乳動(dòng)物神經(jīng)元具有適合進(jìn)行深度學(xué)習(xí)的形狀和電學(xué)特性。不僅如此，他們的實(shí)驗(yàn)也用一種更接近生物學(xué)的方法，展示了真實(shí)的大腦如何進(jìn)行深度學(xué)習(xí)，甚至有望幫助解釋大腦如何演化出了“學(xué)習(xí)”的能力。

如果神經(jīng)元與深度學(xué)習(xí)之間的關(guān)聯(lián)得以確認(rèn)，我們就能開發(fā)更好的腦機(jī)接口，從疾病治療到增強(qiáng)智能，隨之而來(lái)的應(yīng)用也將開啟各種可能。

哺乳動(dòng)物大腦的神經(jīng)元也能做深度學(xué)習(xí)

這項(xiàng)研究由Richards和他在多倫多大學(xué)的研究生Jordan Guerguiev一起，與DeepMind的Timothy Lillicrap合作完成。

實(shí)驗(yàn)中使用的神經(jīng)元是小鼠大腦新皮質(zhì)的樹突細(xì)胞。新皮質(zhì)腦區(qū)負(fù)責(zé)一些高等功能，比如知覺(jué)、運(yùn)動(dòng)指令的產(chǎn)生，與空間推理、意識(shí)及人類語(yǔ)言也有關(guān)系。而樹突則是從神經(jīng)元細(xì)胞本體發(fā)出的多分支突起，形狀類似樹木。樹突是神經(jīng)元的輸入通道，將從其他神經(jīng)元接收到的動(dòng)作電位（電信號(hào)）傳送至細(xì)胞本體。

研究構(gòu)建的“多房室神經(jīng)網(wǎng)絡(luò)”模型示意：左邊是小鼠初級(jí)視覺(jué)皮層錐體神經(jīng)元；右邊是簡(jiǎn)化的神經(jīng)元模型。

利用這種神經(jīng)元結(jié)構(gòu)的知識(shí)，Richards和Guerguiev建立了一個(gè)模型，叫做“多房室神經(jīng)網(wǎng)絡(luò)”（multi-compartment neural network model）。在這個(gè)網(wǎng)絡(luò)中，神經(jīng)元都在隔開的“隔間”中接收信號(hào)。由于一段一段隔開，不同層的模擬神經(jīng)元能夠協(xié)作，實(shí)現(xiàn)深度學(xué)習(xí)。

結(jié)果發(fā)現(xiàn)，在識(shí)別手寫數(shù)字時(shí)，多層網(wǎng)絡(luò)的效果明顯好于單層的網(wǎng)絡(luò)。算法能夠利用多層網(wǎng)絡(luò)結(jié)構(gòu)識(shí)別高階表示正是深度學(xué)習(xí)的核心標(biāo)志。這表明小鼠大腦神經(jīng)元跟人工神經(jīng)元一樣都能進(jìn)行深度學(xué)習(xí)。

“這只是一組模擬，所以不能準(zhǔn)確反映大腦正在做什么。但是，如果大腦可以使用AI使用的算法，這已經(jīng)足以證明我們可以開展更進(jìn)一步的實(shí)驗(yàn)調(diào)查了?！盧ichards說(shuō)。

用更好的訓(xùn)練方法，證明深度學(xué)習(xí)體現(xiàn)人類大腦工作機(jī)制

在21世紀(jì)初，Richards和Lillicrap在多倫多大學(xué)上了Hinton的課，深信深度學(xué)習(xí)模型在一定程度上準(zhǔn)確反映了人類大腦工作的機(jī)制。但是，在當(dāng)時(shí)要驗(yàn)證這個(gè)想法還有幾個(gè)挑戰(zhàn)。首先，人們還不確定深度學(xué)習(xí)是否能達(dá)到人類水平。其次，深度學(xué)習(xí)算法違反了神經(jīng)科學(xué)家已經(jīng)證明的生物學(xué)事實(shí)。

計(jì)算機(jī)網(wǎng)絡(luò)在深度學(xué)習(xí)中發(fā)生的活動(dòng)模式也類似于人類大腦中所見(jiàn)的模式。但是，深度學(xué)習(xí)的一些特征似乎與大腦的工作方式不相容。而且，人工網(wǎng)絡(luò)中的神經(jīng)元比生物神經(jīng)元簡(jiǎn)單得多。

現(xiàn)在，Richards和一些研究人員正在積極尋求彌合神經(jīng)科學(xué)和人工智能之間差距的方法。本文以Yoshua Bengio團(tuán)隊(duì)的研究為基礎(chǔ)，以生物學(xué)上更加可行的方式訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

均衡傳播示意圖：使用均衡傳播訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)信息的傳遞過(guò)程。右邊的簡(jiǎn)單網(wǎng)絡(luò)，一層一層傳遞，BP適用，當(dāng)然均衡傳播也適用；而左邊的復(fù)雜網(wǎng)絡(luò)，更加類似生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，BP在這里就不適用了，這也是通常認(rèn)為深度學(xué)習(xí)不能體現(xiàn)人腦機(jī)制的原因之一，但是，均衡傳播能夠適用于多連接的這種情況。

Bengio和他的研究生Benjamin Scellier發(fā)明了一種新的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法，叫做“均衡傳播”（equilibrium propagation），是常用的反向傳播（BP）的一種替代方法。均衡傳播可以使用單一的回路和單一類型的計(jì)算來(lái)進(jìn)行誤差的推理和反向傳播。因此，均衡傳播過(guò)程可能更加類似大腦生物神經(jīng)回路中的學(xué)習(xí)過(guò)程。

這項(xiàng)研究還使用了DeepMind的TimothyLillicrap開發(fā)的算法，進(jìn)一步放寬了神經(jīng)網(wǎng)絡(luò)的一些訓(xùn)練規(guī)則。（順便一說(shuō)，TimothyLillicrap也是DeepMind最強(qiáng)通用棋類AI AlphaZero論文的作者之一。）

這篇論文還吸收了Matthew Larkam對(duì)新皮質(zhì)神經(jīng)元結(jié)構(gòu)的研究。通過(guò)將神經(jīng)科學(xué)的發(fā)現(xiàn)與現(xiàn)有的算法相結(jié)合，Richards的團(tuán)隊(duì)創(chuàng)建了一個(gè)更好的、更真實(shí)的算法來(lái)模擬大腦中的學(xué)習(xí)過(guò)程。

未來(lái)10年真正打通神經(jīng)科學(xué)與人工智能

樹狀新皮質(zhì)神經(jīng)元只是大腦中許多細(xì)胞類型之一。Richards說(shuō)，未來(lái)的研究應(yīng)該模擬不同類型的大腦細(xì)胞，并研究它們?nèi)绾蜗嗷プ饔脕?lái)實(shí)現(xiàn)深度學(xué)習(xí)。從長(zhǎng)遠(yuǎn)看，他希望研究人員能夠克服重大挑戰(zhàn)，比如在不接收反饋的情況下如何通過(guò)經(jīng)驗(yàn)進(jìn)行學(xué)習(xí)。

Richards說(shuō)：“我們?cè)诮酉聛?lái)的十年左右可能會(huì)看到神經(jīng)科學(xué)與人工智能之間真正的研究良性循環(huán)，神經(jīng)科學(xué)的發(fā)現(xiàn)幫助我們開發(fā)新的人工智能，而人工智能幫助我們解釋和理解神經(jīng)科學(xué)方面的實(shí)驗(yàn)數(shù)據(jù)。”