使用視頻游戲作為訓(xùn)練人工智能的媒介已經(jīng)成為人工智能研究界的一種流行方法。這些自主代理在 Atari 游戲、星際爭(zhēng)霸、 Dota 和 Go 中取得了巨大成功。但是，雖然這些進(jìn)步在人工智能研究中很受歡迎，但與不斷從開(kāi)放式任務(wù)中學(xué)習(xí)的人類(lèi)不同，智能體并沒(méi)有泛化到一組非常特定的任務(wù)之外。

構(gòu)建能夠在廣泛任務(wù)中實(shí)現(xiàn)高水平性能的嵌入式代理一直是人工智能研究界面臨的最大挑戰(zhàn)之一。為了構(gòu)建一個(gè)成功的多面手代理，用戶(hù)需要一個(gè)支持多種任務(wù)和目標(biāo)的環(huán)境、一個(gè)多模式知識(shí)的大規(guī)模數(shù)據(jù)庫(kù)和一個(gè)靈活且可擴(kuò)展的代理體系結(jié)構(gòu)。

進(jìn)入 Minecraft ，世界上玩得最多的游戲。憑借其靈活的游戲性，玩家可以做各種各樣的動(dòng)作。從建造中世紀(jì)城堡到探索危險(xiǎn)環(huán)境，再到收集資源建造幽冥之門(mén)與幽冥之龍作戰(zhàn)。這種創(chuàng)造性的氛圍是培養(yǎng)具體化代理的完美環(huán)境。

為了利用這樣一個(gè)最佳的訓(xùn)練場(chǎng)地， NVIDIA 的研究人員創(chuàng)造了 MineDojo 。 MineDojo 構(gòu)建了一個(gè)龐大的框架，其特點(diǎn)是一個(gè)模擬套件，包含數(shù)千個(gè)不同的開(kāi)放式任務(wù)和一個(gè)互聯(lián)網(wǎng)規(guī)模的知識(shí)庫(kù)。如果沒(méi)有一個(gè)擴(kuò)展的數(shù)據(jù)庫(kù)，構(gòu)建一個(gè)強(qiáng)大到足以完成這些任務(wù)的人工智能是不可能的。

MineDojo 的使命是促進(jìn)研究，以實(shí)現(xiàn)具有普遍能力的嵌入式代理的目標(biāo)。為了使嵌入式代理成功，環(huán)境需要提供幾乎無(wú)限多的開(kāi)放式任務(wù)和操作。這是通過(guò)讓代理訪問(wèn)大型信息數(shù)據(jù)庫(kù)來(lái)獲取知識(shí)，然后應(yīng)用所學(xué)知識(shí)來(lái)實(shí)現(xiàn)的。從嵌入式代理獲得的訓(xùn)練需要具有可擴(kuò)展性，以便稍后將大規(guī)模知識(shí)轉(zhuǎn)換為可操作的見(jiàn)解。

在 MineDojo 中，嵌入式代理可以訪問(wèn)三個(gè)互聯(lián)網(wǎng)規(guī)模的數(shù)據(jù)集。隨著 750000 個(gè) Minecraft YouTube 視頻（總計(jì) 33 年多的 Minecraft 視頻）被納入數(shù)據(jù)庫(kù)， 200 多萬(wàn)個(gè)單詞被轉(zhuǎn)錄。

MineDojo 還從 Minecraft Wiki 上抓取了 6000 多個(gè)網(wǎng)頁(yè)，為這些網(wǎng)頁(yè)的視覺(jué)元素創(chuàng)建了 220 多萬(wàn)個(gè)邊界框）。此外，還捕獲了數(shù)百萬(wàn)條與 Minecraft 相關(guān)的 Reddit 線程以及在游戲中可以進(jìn)行的各種活動(dòng)。問(wèn)題包括如何解決某些任務(wù)，以圖像和視頻格式展示成就和創(chuàng)作，以及一般提示和技巧。

MineDojo 提供了一組模擬器 API ，用戶(hù)可以使用這些 API 來(lái)訓(xùn)練他們的人工智能代理。它提供了統(tǒng)一的觀察和操作空間，以幫助代理適應(yīng)新的場(chǎng)景和多任務(wù)。此外，使用 API ，用戶(hù)可以利用 Minecraft 宇宙中的所有三個(gè)世界來(lái)擴(kuò)展代理可以執(zhí)行的任務(wù)和操作的數(shù)量。

在模擬器中， MIneDojo 將基準(zhǔn)測(cè)試任務(wù)分為兩類(lèi)：編程任務(wù)和創(chuàng)造性任務(wù)。

編程任務(wù)定義明確，易于評(píng)估，例如“存活 3 天”或“在森林中獲得一單位南瓜”

創(chuàng)造性的任務(wù)更具開(kāi)放性，例如“建造一座美麗的海灘小屋”很難通過(guò)一套明確的規(guī)則來(lái)定義什么是海灘別墅。這些任務(wù)是為了鼓勵(lì)研究界開(kāi)發(fā)更人性化和富有想象力的人工智能代理。

自然語(yǔ)言是 MineDojo 框架的基石。它有助于開(kāi)放式詞匯理解，為圖像和視頻模式提供基礎(chǔ)，并作為指定指令的直觀界面。結(jié)合 最新的語(yǔ)音識(shí)別技術(shù) ，在不久的將來(lái)，你可以像在多人合作模式下與朋友一樣與人工智能代理交談。

例如：“在我們的房子前面種一排藍(lán)色的花。在門(mén)框上加一些金色的裝飾。讓我們?nèi)ヌ剿骱舆叺亩囱??！边@一切都是可能的。

使用 MineCLIP 進(jìn)行概念驗(yàn)證

為了幫助推動(dòng)該項(xiàng)目并提供概念證明， MineDojo 研究人員已經(jīng)實(shí)現(xiàn)了一個(gè)單語(yǔ)言提示代理，以完成 Minecraft 中的幾個(gè)復(fù)雜任務(wù)，稱(chēng)為 MineCLIP 。這種新穎的代理學(xué)習(xí)算法利用了 33 年的 Minecraft YouTube 視頻。然而，值得一提的是，任何代理都可以根據(jù)用戶(hù)的判斷使用互聯(lián)網(wǎng)規(guī)模數(shù)據(jù)庫(kù)的任何或全部三個(gè)部分。

MineCLIP 作為一個(gè)具體的代理，從 YouTube 視頻中學(xué)習(xí) Minecraft 的概念和動(dòng)作，而不需要人工標(biāo)記。 YouTubers 通常會(huì)在播放游戲視頻時(shí)講述他們?cè)谧鍪裁础?MineCLIP 是一個(gè)大型 transformer 模型，它學(xué)習(xí)將視頻剪輯與其對(duì)應(yīng)的英語(yǔ)成績(jī)單相關(guān)聯(lián)。

該關(guān)聯(lián)分?jǐn)?shù)可以作為獎(jiǎng)勵(lì)信號(hào)提供，以指導(dǎo)強(qiáng)化學(xué)習(xí)代理完成任務(wù)。對(duì)于示例任務(wù)“剪一只羊以獲得羊毛”，如果代理接近羊， MineCLIP 會(huì)給代理較高的獎(jiǎng)勵(lì)，但如果代理漫無(wú)目的地漫游，則會(huì)給較低的獎(jiǎng)勵(lì)。它甚至可以在游戲中進(jìn)行多任務(wù)處理，以完成廣泛的簡(jiǎn)單任務(wù)。

構(gòu)建具有普遍能力的具體化代理是人工智能研究的圣杯目標(biāo)。 MineDojo 提供了 1000 個(gè)任務(wù)的基準(zhǔn)、互聯(lián)網(wǎng)規(guī)模的豐富知識(shí)庫(kù)和創(chuàng)新算法，作為解決這一重大挑戰(zhàn)的第一步。

關(guān)于作者

Nathan Horrocks 是 NVIDIA Research 的內(nèi)容營(yíng)銷(xiāo)經(jīng)理。他重點(diǎn)強(qiáng)調(diào)了 NVIDIA 實(shí)驗(yàn)室在世界各地進(jìn)行的驚人研究。

審核編輯：郭婷