具有數(shù)十億參數(shù)的神經(jīng)網(wǎng)絡(luò)為ChatGPT和Dall-E等基于人工智能的日常工具提供了動力，每一個新的大型語言模型（LLM）在大小和復(fù)雜性上都優(yōu)于其前身。與此同時，在麻省理工學(xué)院的計算機科學(xué)與人工智能實驗室（CSAIL），一組研究人員在最近的研究中，展示了一種稱為液體神經(jīng)網(wǎng)絡(luò)的小型20000參數(shù)機器學(xué)習(xí)系統(tǒng)的效率。

研究人員介紹了一種方法，使無人機能夠在復(fù)雜和陌生的環(huán)境中掌握基于視覺的飛向目標(biāo)任務(wù)。該團隊使用了不斷適應(yīng)新數(shù)據(jù)輸入的液體神經(jīng)網(wǎng)絡(luò)。他們表明，配備這些設(shè)備的無人機在復(fù)雜、全新的環(huán)境中表現(xiàn)出色，精度很高，甚至超過了最先進的系統(tǒng)。這些系統(tǒng)能夠做出決策，將他們帶到以前未被探索的森林和城市空間中的目標(biāo)，并且他們可以在存在額外噪音和其他困難的情況下這樣做。

典型的機器學(xué)習(xí)系統(tǒng)中的神經(jīng)網(wǎng)絡(luò)只在訓(xùn)練過程中學(xué)習(xí)。之后，它們的參數(shù)被固定。CSAIL的科學(xué)家之一Ramin Hasani解釋說，液體神經(jīng)網(wǎng)絡(luò)是一類在工作中學(xué)習(xí)的人工智能系統(tǒng)，即使在經(jīng)過訓(xùn)練后也是如此。換句話說，他們利用“液體”算法，不斷適應(yīng)新的信息，比如新的環(huán)境，就像生物體的大腦一樣。Hasani說：“它們是根據(jù)生物大腦中神經(jīng)元和突觸的相互作用直接建模的?！?事實上，它們的網(wǎng)絡(luò)結(jié)構(gòu)受到了被稱為C. elegans的生物的神經(jīng)系統(tǒng)的啟發(fā)，秀麗隱桿線蟲是一種常見于土壤中的微小蠕蟲。

Hasani說，這項實驗的目的不僅僅是無人機強大的自主導(dǎo)航?！斑@是關(guān)于測試神經(jīng)網(wǎng)絡(luò)作為自主系統(tǒng)部署在我們的社會中時的任務(wù)理解能力?！?/p>

作為控制無人機的神經(jīng)網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)，研究人員使用了一名人類飛行員向目標(biāo)飛行時收集的無人機鏡頭。Hasani說：“你會預(yù)期系統(tǒng)已經(jīng)學(xué)會了向物體移動?！钡?，他沒有定義物體是什么，也沒有提供任何關(guān)于環(huán)境的標(biāo)簽。“無人機必須推斷出任務(wù)是這樣的：我想向（物體）移動?！?/p>

該團隊進行了一系列實驗，測試學(xué)習(xí)的導(dǎo)航技能是如何轉(zhuǎn)移到前所未有的新環(huán)境中的。他們在許多現(xiàn)實世界的環(huán)境中測試了該系統(tǒng)，包括在森林的不同季節(jié)和城市環(huán)境中。無人機進行了航程和應(yīng)力測試，目標(biāo)被旋轉(zhuǎn)、遮擋、移動等等。液體神經(jīng)網(wǎng)絡(luò)是唯一一種可以在沒有任何微調(diào)的情況下推廣到他們從未見過的場景的網(wǎng)絡(luò)，并且可以無縫可靠地執(zhí)行這項任務(wù)。

液體神經(jīng)網(wǎng)絡(luò)在機器人技術(shù)中的應(yīng)用可能會帶來更強大的自主導(dǎo)航系統(tǒng)，用于搜救、野生動物監(jiān)測和運送等。Hasani表示，隨著城市密度的增加，智能出行將至關(guān)重要，而這些神經(jīng)網(wǎng)絡(luò)的小尺寸可能是一個巨大的優(yōu)勢：“我們可以在樹莓派上實現(xiàn)一個可以駕駛汽車的液體神經(jīng)網(wǎng)絡(luò)?！?/p>

“

超越無人機和機動性

但研究人員認(rèn)為，液體神經(jīng)網(wǎng)絡(luò)可以走得更遠，成為與任何類型的時間序列數(shù)據(jù)處理相關(guān)的決策的未來，包括視頻和語言處理。由于液體神經(jīng)網(wǎng)絡(luò)是序列數(shù)據(jù)處理引擎，它們可以預(yù)測金融和醫(yī)療事件。例如，通過處理生命體征，可以開發(fā)模型來預(yù)測ICU中患者的狀態(tài)。

除了其他優(yōu)勢外，液體神經(jīng)網(wǎng)絡(luò)還提供了可解釋性和可解讀性。換句話說，他們打開了眾所周知的系統(tǒng)決策過程的黑匣子。Hasani說：“如果我（在無人機系統(tǒng)中）只有34個神經(jīng)元，我就可以去弄清楚每個元素的功能?！边@在大規(guī)模的深度神經(jīng)網(wǎng)絡(luò)中幾乎是不可能的。更小尺寸的液體神經(jīng)網(wǎng)絡(luò)也大大降低了機器學(xué)習(xí)模型的計算成本，從而減少了碳足跡。

Hasani和他的同事正在尋找改進液體神經(jīng)網(wǎng)絡(luò)的方法。他說：“這篇論文涵蓋了一種非?？煽睾椭苯拥耐评砟芰?，但現(xiàn)實世界的交互則需要越來越多復(fù)雜的推理問題解答。” 該團隊希望設(shè)計更復(fù)雜的任務(wù)，并對液體神經(jīng)網(wǎng)絡(luò)進行極限測試，同時也要弄清楚為什么液體神經(jīng)網(wǎng)絡(luò)在推理測試中比競爭對手表現(xiàn)得好得多。

審核編輯 ：李倩