在過(guò)去十年左右的時(shí)間里，研究人員已經(jīng)開(kāi)發(fā)了多種基于人工神經(jīng)網(wǎng)絡(luò)（ANN）的計(jì)算模型。盡管已發(fā)現(xiàn)許多這些模型在特定任務(wù)上表現(xiàn)良好，但它們并不總是能夠識(shí)別可應(yīng)用于新問(wèn)題的迭代，順序或算法策略。

過(guò)去的研究發(fā)現(xiàn)，添加外部存儲(chǔ)器組件可以提高神經(jīng)網(wǎng)絡(luò)獲取這些策略的能力。但是，即使使用外部存儲(chǔ)器，它們也容易出錯(cuò)，對(duì)提供給他們的數(shù)據(jù)變化敏感，并且需要大量的訓(xùn)練數(shù)據(jù)才能很好地發(fā)揮作用。

達(dá)姆施塔特技術(shù)大學(xué)的研究人員最近推出了一種新的基于記憶增強(qiáng)的基于ANN的體系結(jié)構(gòu)，該體系結(jié)構(gòu)可以學(xué)習(xí)解決問(wèn)題的抽象策略。這種結(jié)構(gòu)在將算法計(jì)算與依賴于數(shù)據(jù)的操作分開(kāi)，將算法處理的信息流劃分為兩個(gè)不同的“流”。

研究人員在論文中寫道：“擴(kuò)展具有外部記憶的神經(jīng)網(wǎng)絡(luò)已經(jīng)提高了他們學(xué)習(xí)這種策略的能力，但是它們?nèi)匀蝗菀壮霈F(xiàn)數(shù)據(jù)變化，難以學(xué)習(xí)可擴(kuò)展和可轉(zhuǎn)移的解決方案，并且需要大量的訓(xùn)練數(shù)據(jù)?！?“我們提出了神經(jīng)哈佛計(jì)算機(jī)，這是一種基于內(nèi)存的基于網(wǎng)絡(luò)的體系結(jié)構(gòu)，該體系結(jié)構(gòu)通過(guò)將算法操作與數(shù)據(jù)操作解耦而采用抽象，通過(guò)拆分信息流和分離的模塊來(lái)實(shí)現(xiàn)?！?/p>

神經(jīng)哈佛計(jì)算機(jī)或NHC將輸入算法的信息流分為兩個(gè)不同的流，即數(shù)據(jù)流（包含特定于數(shù)據(jù)的操作）和控制流（包含算法操作）。最終，它可以區(qū)分與數(shù)據(jù)相關(guān)的模塊和算法模塊，從而創(chuàng)建兩個(gè)獨(dú)立但又耦合的存儲(chǔ)器。

NHC具有三個(gè)主要的算法模塊，分別稱為控制器，存儲(chǔ)器和總線。這三個(gè)組件具有不同的功能，但彼此交互以獲取可應(yīng)用于將來(lái)任務(wù)的抽象。研究人員在論文中解釋說(shuō)：“這種抽象機(jī)制和進(jìn)化訓(xùn)練使學(xué)習(xí)健壯和可擴(kuò)展的算法解決方案成為可能?！?/p>

研究人員通過(guò)使用NHC訓(xùn)練和運(yùn)行11種不同的算法來(lái)評(píng)估NHC。然后，他們測(cè)試了這些算法的性能，以及它們的泛化和抽象能力。研究人員發(fā)現(xiàn)，NHC可以可靠地運(yùn)行所有11種算法，同時(shí)還可以使它們?cè)诒茸畛跤?xùn)練要完成的任務(wù)復(fù)雜的任務(wù)上表現(xiàn)出色?！霸?1種復(fù)雜程度各異的算法中，我們證明NHC可靠地學(xué)習(xí)了具有強(qiáng)大概括性和抽象性的算法解決方案，可以完美地概括和擴(kuò)展到任意任務(wù)配置和復(fù)雜性，而這些復(fù)雜性和復(fù)雜性遠(yuǎn)遠(yuǎn)超出了訓(xùn)練期間所看到的，并且與數(shù)據(jù)無(wú)關(guān)表示法和任務(wù)領(lǐng)域”，

該研究人員小組最近進(jìn)行的研究證實(shí)了使用外部存儲(chǔ)組件來(lái)增強(qiáng)復(fù)雜程度不同的任務(wù)中基于神經(jīng)網(wǎng)絡(luò)的體系結(jié)構(gòu)的性能和可推廣性的潛力。將來(lái)，NHC體系結(jié)構(gòu)可用于合并和改進(jìn)不同ANN的功能，從而幫助開(kāi)發(fā)可識(shí)別有用策略的模型，從而基于新數(shù)據(jù)做出準(zhǔn)確的預(yù)測(cè)。
責(zé)任編輯：YYX