【導(dǎo)讀】本文將持續(xù)學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)動(dòng)力學(xué)聯(lián)系起來(lái)，強(qiáng)調(diào)它在穩(wěn)步提高數(shù)據(jù)效率方面的潛力，還進(jìn)一步考慮了近年來(lái)出現(xiàn)的許多受生物學(xué)啟發(fā)的新方法，重點(diǎn)關(guān)注那些利用正規(guī)化、模塊化、記憶和元學(xué)習(xí)的方法，并強(qiáng)調(diào)了一些最有前途和最有影響的方向。

現(xiàn)代機(jī)器學(xué)習(xí)擅長(zhǎng)于從固定的數(shù)據(jù)集和固定的環(huán)境中訓(xùn)練出強(qiáng)大的模型，常常超過(guò)人類的能力。然而，這些模型未能模擬人類的學(xué)習(xí)過(guò)程，而人類的學(xué)習(xí)過(guò)程是有效的、穩(wěn)健的，并且能夠從非平穩(wěn)世界的連續(xù)經(jīng)驗(yàn)中逐步學(xué)習(xí)。對(duì)于這一局限性的見(jiàn)解可以從神經(jīng)網(wǎng)絡(luò)優(yōu)化的本質(zhì)中獲得，這意味著持續(xù)學(xué)習(xí)技術(shù)可以從根本上提高深度學(xué)習(xí)，并打開了新的應(yīng)用領(lǐng)域的大門。持續(xù)學(xué)習(xí)的有前途的方法可以在最細(xì)粒度的層次上找到，使用基于梯度的方法，也可以在體系結(jié)構(gòu)層次上找到，使用模塊化和基于內(nèi)存的方法。我們也認(rèn)為元學(xué)習(xí)是一個(gè)潛在的重要方向。

人工智能研究在過(guò)去的幾個(gè)月中取得了巨大的進(jìn)步，但它主要依賴于固定的數(shù)據(jù)集和固定的環(huán)境。持續(xù)學(xué)習(xí)是一個(gè)日益相關(guān)的研究領(lǐng)域，它表明人工系統(tǒng)可能像生物系統(tǒng)一樣，從連續(xù)不斷的相關(guān)數(shù)據(jù)流中有序地學(xué)習(xí)。在目前的回顧中，我們將持續(xù)學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)動(dòng)力學(xué)聯(lián)系起來(lái)，強(qiáng)調(diào)它在穩(wěn)步提高數(shù)據(jù)效率方面的潛力。我們進(jìn)一步考慮了近年來(lái)出現(xiàn)的許多受生物學(xué)啟發(fā)的新方法，重點(diǎn)關(guān)注那些利用正規(guī)化、模塊化、記憶和元學(xué)習(xí)的方法，并強(qiáng)調(diào)了一些最有前途和最有影響的方向。

世界不是靜止不動(dòng)的

人工智能成功的一個(gè)常見(jiàn)基準(zhǔn)是模仿人類學(xué)習(xí)的能力。我們測(cè)量人類識(shí)別圖像、玩游戲和駕駛汽車的能力，舉幾個(gè)例子，然后開發(fā)機(jī)器學(xué)習(xí)模型，如果有足夠的訓(xùn)練數(shù)據(jù)，它可以匹配或超過(guò)這些能力。這種范式把重點(diǎn)放在最終結(jié)果上，而不是學(xué)習(xí)過(guò)程上，并且忽略了人類學(xué)習(xí)的一個(gè)關(guān)鍵特征:它對(duì)不斷變化的任務(wù)和連續(xù)的經(jīng)驗(yàn)是魯棒的。

人類以這種方式學(xué)習(xí)也許并不奇怪，畢竟，時(shí)間是不可逆的，世界是不穩(wěn)定的(見(jiàn)詞匯表)，所以人類的學(xué)習(xí)已經(jīng)進(jìn)化到在動(dòng)態(tài)學(xué)習(xí)環(huán)境中茁壯成長(zhǎng)。然而，這種魯棒性與最強(qiáng)大的現(xiàn)代機(jī)器學(xué)習(xí)方法形成了鮮明的對(duì)比，后者只有在數(shù)據(jù)經(jīng)過(guò)仔細(xì)的洗牌、平衡和均質(zhì)后才能表現(xiàn)良好。這些模型不僅表現(xiàn)不佳，而且在某些情況下，它們會(huì)完全失敗，或者在早期學(xué)習(xí)的任務(wù)上遭遇快速的性能下降，即所謂的災(zāi)難性遺忘。

基于生物系統(tǒng)持續(xù)學(xué)習(xí)基礎(chǔ)

對(duì)自然世界及其智能物種的研究經(jīng)常與人工智能研究交叉，包括與持續(xù)學(xué)習(xí)有關(guān)的方面[1]。生物學(xué)為在復(fù)雜環(huán)境中成功地持續(xù)學(xué)習(xí)提供了存在證據(jù)，也暗示了成功方法的設(shè)計(jì)原則和權(quán)衡。有多種機(jī)制使生物系統(tǒng)能夠適應(yīng)不斷變化的環(huán)境，而不固執(zhí)或遺忘。因此，在本節(jié)中，我們將通過(guò)類比來(lái)介紹四種持續(xù)學(xué)習(xí)模式，并將每種方法的詳細(xì)討論留到后面的章節(jié)中。此外，可以通過(guò)描述它們的規(guī)范模型來(lái)簡(jiǎn)要地描述這些方法，如圖1(關(guān)鍵圖)所示。

持續(xù)學(xué)習(xí)的定義

持續(xù)學(xué)習(xí)的問(wèn)題通常是由順序訓(xùn)練協(xié)議和解決方案所期望的特性來(lái)定義的。與靜態(tài)數(shù)據(jù)集或環(huán)境的普通機(jī)器學(xué)習(xí)設(shè)置相反，持續(xù)學(xué)習(xí)設(shè)置明確地關(guān)注非平穩(wěn)或變化的環(huán)境，通常被劃分為需要按順序完成的一組任務(wù)。這種設(shè)置可能在任務(wù)轉(zhuǎn)換(平滑或離散)、任務(wù)長(zhǎng)度和重復(fù)、任務(wù)類型(如無(wú)監(jiān)督、監(jiān)督或強(qiáng)化學(xué)習(xí))方面有所不同，或者甚至可能沒(méi)有定義明確的任務(wù)[9-11]。與課程學(xué)習(xí)相比[12,13]，學(xué)習(xí)者不能控制任務(wù)的順序。

支持現(xiàn)代機(jī)器學(xué)習(xí)的獨(dú)立同分布假設(shè)

神經(jīng)網(wǎng)絡(luò)大量利用現(xiàn)代技術(shù)來(lái)并行計(jì)算，同時(shí)考慮大量數(shù)據(jù);事實(shí)上，這種易于伸縮的特性使得它們?cè)谶^(guò)去的十年中成為了語(yǔ)音、視覺(jué)和語(yǔ)言應(yīng)用程序的主流方法。

在典型的學(xué)習(xí)設(shè)置中，目標(biāo)是通過(guò)設(shè)置網(wǎng)絡(luò)的參數(shù)來(lái)最小化一些損失函數(shù)，例如真輸出和預(yù)測(cè)輸出之間的誤差。基于梯度的學(xué)習(xí),最有效的和廣泛使用的范式,是一種迭代算法,在每一次迭代,使一個(gè)小變化的參數(shù),以減少損失(更詳細(xì)的解釋,見(jiàn)盒2)。這條規(guī)則的機(jī)制在拔河的動(dòng)態(tài)結(jié)果,其中每個(gè)數(shù)據(jù)樣本正試圖拉動(dòng)每個(gè)參數(shù)更大或更小。通過(guò)平均梯度，我們因此創(chuàng)建了一個(gè)拔河游戲，其中應(yīng)用于每個(gè)參數(shù)的更新(因?yàn)樗钦幕蜇?fù)的)揭示了哪個(gè)數(shù)據(jù)樣本贏了或輸了。在許多優(yōu)化步驟上組合許多拔河式更新，可以進(jìn)行學(xué)習(xí)(圖3)。

基于梯度的解決方案

由前面描述的拔河式學(xué)習(xí)動(dòng)態(tài)驅(qū)動(dòng)，一種有前途的方法是直接調(diào)節(jié)不同任務(wù)的梯度。這不僅是優(yōu)化問(wèn)題的核心，而且是由生物大腦[3]中突觸鞏固的研究激發(fā)的。一種方法是迫使梯度與之前學(xué)習(xí)任務(wù)的梯度保持一致[19,20]，消除潛在干擾。這些方法在其他環(huán)境中也有好處，例如，在多任務(wù)學(xué)習(xí)中，它們有可能在目標(biāo)沖突的情況下提高學(xué)習(xí)效率[21-23]。

模塊化結(jié)構(gòu)

模塊化的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)是一種自然有效的解決持續(xù)學(xué)習(xí)中的干擾和災(zāi)難性遺忘問(wèn)題的方法。模塊化提供了一個(gè)折衷方案，即使用一個(gè)容易遺忘的單一單片網(wǎng)絡(luò)，以及為每個(gè)任務(wù)使用獨(dú)立的網(wǎng)絡(luò)，這既可以防止災(zāi)難性遺忘，也可以防止任務(wù)之間的轉(zhuǎn)移(參見(jiàn)圖1C的模塊化架構(gòu)說(shuō)明)。模塊化在生物系統(tǒng)中也很明顯，它支持大腦區(qū)域的功能專門化。

人工學(xué)習(xí)系統(tǒng)的記憶

基于梯度和模塊化的方法可能更適合短期的持續(xù)學(xué)習(xí)，而不是長(zhǎng)期的記憶?；谔荻鹊姆椒ú荒芊乐谷我忾L(zhǎng)任務(wù)序列的遺忘，而模塊化方法可以在長(zhǎng)時(shí)間尺度上保存知識(shí)，它們可能在神經(jīng)網(wǎng)絡(luò)能力方面達(dá)到實(shí)際的極限?？紤]一下這樣一個(gè)具有挑戰(zhàn)性的場(chǎng)景:在幾個(gè)月的時(shí)間里，把食物藏在1000個(gè)不同的地方，然后在更多的食物消失后，正確地找到每一個(gè)食物。這個(gè)特征是每個(gè)冬天都會(huì)出現(xiàn)的，比如夜鶯、松鴉和鴉類[57]。通過(guò)調(diào)整一個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)的參數(shù)來(lái)保存存儲(chǔ)食物的順序經(jīng)驗(yàn)既具有挑戰(zhàn)性又效率低下。一個(gè)更可伸縮的策略是使用專用的讀寫內(nèi)存對(duì)空間位置進(jìn)行編碼。

元學(xué)習(xí)：發(fā)現(xiàn)持續(xù)學(xué)習(xí)的歸納偏差

到目前為止所討論的所有解決方案都規(guī)定了用于持續(xù)學(xué)習(xí)的手工設(shè)計(jì)的機(jī)制或架構(gòu)，歸納偏差。每種歸納偏差都在需求(如良好的知識(shí)保留與基于記憶的方法中的正向遷移)之間達(dá)成了不同的權(quán)衡。值得考慮的是，從數(shù)據(jù)中學(xué)習(xí)解決方案，而不是依靠人類的獨(dú)創(chuàng)性來(lái)設(shè)計(jì)它，是否能夠?qū)崿F(xiàn)更好的權(quán)衡。歷史上，許多元學(xué)習(xí)或?qū)W習(xí)-學(xué)習(xí)方法已經(jīng)證明，解決方案可以通過(guò)自動(dòng)學(xué)習(xí)歸納偏差(如架構(gòu)、數(shù)據(jù)和學(xué)習(xí)參數(shù))來(lái)改進(jìn)，否則需要手工設(shè)計(jì)(圖1E) 。

結(jié)論和未來(lái)方向

機(jī)器學(xué)習(xí)研究人員經(jīng)常指出，人類具有快速學(xué)習(xí)和概括(例如，從幾個(gè)例子中推斷出一個(gè)模式)的非凡能力。然而，我們并不經(jīng)常重新評(píng)價(jià)人類在一生的教育和經(jīng)歷中不斷學(xué)習(xí)的能力，盡管正是這種能力使人類在科學(xué)、藝術(shù)和工業(yè)上取得成就。這篇文章不僅試圖強(qiáng)調(diào)持續(xù)學(xué)習(xí)的重要性，而且還暴露了現(xiàn)代神經(jīng)網(wǎng)絡(luò)在這方面的局限性，特別是導(dǎo)致效率低下、基于梯度的拔河的信用分配問(wèn)題。

通過(guò)對(duì)這一空間的調(diào)查，我們發(fā)現(xiàn)了一種學(xué)習(xí)模式，如果擴(kuò)展到更有雄心的領(lǐng)域，它就有可能發(fā)揮真正的影響力。毫不奇怪，這些范式都有很強(qiáng)的平行神經(jīng)科學(xué)和生物系統(tǒng)?；谔荻鹊姆椒ㄖ苯有薷牧松窠?jīng)網(wǎng)絡(luò)的操作時(shí)間，并被證明可以減少災(zāi)難性遺忘。

模塊化架構(gòu)為干擾和災(zāi)難性遺忘提供了實(shí)用的解決方案，同時(shí)通過(guò)技能和知識(shí)的層次重組實(shí)現(xiàn)面向遷移。端到端記憶模型可以成為長(zhǎng)時(shí)間學(xué)習(xí)的可擴(kuò)展解決方案，元學(xué)習(xí)方法可以超越手工設(shè)計(jì)的算法和架構(gòu)。有了這些潛在的積極影響，也必須認(rèn)識(shí)到部署不斷變化的機(jī)器學(xué)習(xí)模型所涉及的風(fēng)險(xiǎn)，因?yàn)槿魏伟踩皖A(yù)期行為的初始評(píng)估都不能輕易地永久保證。然而，通過(guò)提高學(xué)習(xí)算法的長(zhǎng)期可靠性，以及通過(guò)開發(fā)確保某些規(guī)則或邊界不被違反的架構(gòu)，持續(xù)學(xué)習(xí)解決方案可以降低這些風(fēng)險(xiǎn)。

參考鏈接：

https://www.cell.com/trends/cognitive-sciences/fulltext/S1364-6613(20)30219-9#

責(zé)任編輯：xj

原文標(biāo)題：DeepMind發(fā)布《神經(jīng)網(wǎng)絡(luò)中持續(xù)學(xué)習(xí)》Cell綜述論文，13頁(yè)pdf

文章出處：【微信公眾號(hào)：人工智能與大數(shù)據(jù)技術(shù)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。