您印象中的機(jī)器人還僅僅是按照代碼指令完成任務(wù)嗎？其實(shí)，通過(guò)觀察人類行為來(lái)進(jìn)行操作才是機(jī)器人的未來(lái)趨勢(shì)。

圖片由斯坦福視覺(jué)和學(xué)習(xí)實(shí)驗(yàn)室提供

在前不久的GPU技術(shù)大會(huì)上，來(lái)自斯坦福大學(xué)的Animesh Garg和Marynel Vázquez在主題為《機(jī)器人移動(dòng)和操控的通用性自主能力》的演講中分享了他們的研究成果。

通俗來(lái)講，通用性自主能力是指機(jī)器人可以觀察、學(xué)習(xí)并模仿人類行為，進(jìn)而在各種任務(wù)和情況中加以應(yīng)用。例如，通過(guò)觀看YouTube視頻學(xué)習(xí)烹飪，或者找到走出一間擁擠房間的方法。

Cooking 101

Garg是斯坦福視覺(jué)和學(xué)習(xí)實(shí)驗(yàn)室（CVGL）的博士后研究員。他熱衷烹飪，還特別喜歡機(jī)器人。但是，他認(rèn)為如果未來(lái)的每臺(tái)機(jī)器人都只會(huì)做一道菜，就太無(wú)聊了。

目前，精通單個(gè)任務(wù)的機(jī)器人已經(jīng)很常見，但Garg 則致力于研究如何實(shí)現(xiàn)他自己的“通用型機(jī)器人夢(mèng)想”。

實(shí)現(xiàn)這個(gè)夢(mèng)想的途徑可能就在于神經(jīng)任務(wù)編程 (NTP)，這是一種新的元學(xué)習(xí)方法。NTP利用層次化結(jié)構(gòu)，并學(xué)習(xí)使用模塊化機(jī)器人API進(jìn)行編程，從而僅通過(guò)一個(gè)測(cè)試示例即可執(zhí)行隱藏任務(wù)。

例如，機(jī)器人廚師會(huì)將烹飪視頻輸入到它的系統(tǒng)里，然后使用分層式神經(jīng)程序?qū)⒁曨l數(shù)據(jù)分解成Garg所說(shuō)的基于視覺(jué)線索和時(shí)間序列的結(jié)構(gòu)化任務(wù)表達(dá)式。

機(jī)器人并非只學(xué)習(xí)制作肉丸意大利面的單一菜譜，而是會(huì)了解組成該任務(wù)的所有子程序或組件。如此一來(lái)，這位嶄露頭角的機(jī)器人廚師便可以在其他場(chǎng)景中展示其燒水、油炸肉丸和煨醬汁等烹飪技能。

解決任務(wù)域（而非任務(wù)實(shí)例）是Garg所謂的元學(xué)習(xí)的關(guān)鍵所在。NTP已經(jīng)取得了一些令人鼓舞的成果，其結(jié)構(gòu)化的分層式方法在處理隱藏任務(wù)時(shí)比扁平化編程表現(xiàn)優(yōu)越。此外，在處理可見任務(wù)時(shí)NTP也同樣出色。

感到太擁擠了？跟著機(jī)器人走吧

我們都經(jīng)歷過(guò)這樣的情況。您嘗試穿過(guò)擁擠的房間，然后突然發(fā)現(xiàn)自己撞到了迎面走來(lái)的陌生人。

您向右移動(dòng)以繞開他，但他也向右，并且仍然擋著路。出于本能，你們都移動(dòng)到另一個(gè)方向，然后又撞到了！

為了打破尷尬的場(chǎng)面，你們中的一個(gè)人開玩笑說(shuō)“我們來(lái)跳個(gè)舞吧！”終于，你們?cè)竭^(guò)彼此繼續(xù)前進(jìn)。

在一個(gè)擁擠的空間中行走時(shí)，理解人們?nèi)绾我约盀楹伟凑漳撤N方式移動(dòng)十分重要。教會(huì)機(jī)器人理解這些規(guī)則是非常艱巨的任務(wù)。下面，我們來(lái)認(rèn)識(shí)下Vázquez和CVGL的機(jī)器人Jackrabbot 。

Jackrabbot在2015年首次踏上人行道，以低于每小時(shí)五英里的行人速度進(jìn)行小批量運(yùn)送。正如Vázquez所解釋的那樣，Jackrabbot（得名于他校園中頻繁出現(xiàn)的野生動(dòng)物的名字）是用于解決在人群中預(yù)測(cè)人體運(yùn)動(dòng)這一復(fù)雜問(wèn)題的工具。

讓自動(dòng)駕駛車輛學(xué)會(huì)在非結(jié)構(gòu)化空間（比如真實(shí)世界）中行駛是一個(gè)涉及多方面因素的問(wèn)題?！鞍踩堑谝灰?jiǎng)?wù)，”Vázquez 說(shuō)。

為了解決安全問(wèn)題，他們開始利用深度學(xué)習(xí)開發(fā)了一種生成式對(duì)抗網(wǎng)絡(luò) (GAN)，將JackRabbot相機(jī)捕獲的實(shí)時(shí)數(shù)據(jù)與GAN即時(shí)生成的圖像進(jìn)行比較。

這些圖像代表如果一個(gè)區(qū)域可以安全通過(guò)，機(jī)器人所應(yīng)該看到的內(nèi)容，例如走廊上沒(méi)有關(guān)閉的門、被丟棄的家具或站在路上的行人。如果現(xiàn)實(shí)情形滿足這些理想條件，JackRabbot就會(huì)繼續(xù)行走。否則，它就會(huì)進(jìn)行緊急制動(dòng)。

然后，這支團(tuán)隊(duì)轉(zhuǎn)向了多目標(biāo)任務(wù)，即“追蹤無(wú)法追蹤的行人”。在人群中優(yōu)雅地穿梭不僅需要迅速判斷“我的路線是否清晰？”，還要追蹤朝不同方向移動(dòng)的多人的行動(dòng)路線，并預(yù)測(cè)他們接下來(lái)的目的地。

在這里，該團(tuán)隊(duì)使用長(zhǎng)短期記憶方法構(gòu)建了一個(gè)遞歸神經(jīng)網(wǎng)絡(luò)，以解釋隨時(shí)間測(cè)量的多個(gè)線索，包括外觀、速度、相互作用和相似性等。

一篇已發(fā)表的研究論文已經(jīng)深入探討了這些技術(shù)細(xì)節(jié)。但實(shí)際上，CVGL設(shè)計(jì)了一種新穎的方法，可以學(xué)習(xí)人們?cè)趽頂D空間的常識(shí)行為，然后利用這種理解來(lái)預(yù)測(cè)每個(gè)人接下來(lái)可能前往的“軌跡”。

因此，如果下一次您發(fā)現(xiàn)自己在一個(gè)滿是陌生人的房間中即將遭遇“我們來(lái)跳個(gè)舞吧！”的尷尬時(shí)刻，請(qǐng)記得花點(diǎn)時(shí)間去探尋規(guī)律，將每個(gè)人的運(yùn)動(dòng)軌跡記憶在腦海之中。

當(dāng)然您也可以采取捷徑——找一個(gè)JackRabbot，讓它為您指路。近期，配備雙路NVIDIA GPU的JackRabbot 2.0已經(jīng)發(fā)布。