來(lái)源：新智元

導(dǎo)讀

GameGPT出世，多代理多線程完美再現(xiàn)游戲制作流程！

不得了了！GPT技能樹再成長(zhǎng)，現(xiàn)在直接連游戲都能做了?。恳?，現(xiàn)在這個(gè)時(shí)代，已經(jīng)不是過(guò)去那個(gè)做個(gè)小游戲就可以搶占市場(chǎng)的時(shí)代了。如今的游戲開發(fā)流程超級(jí)復(fù)雜。先說(shuō)人力，每個(gè)游戲團(tuán)隊(duì)的人員都是數(shù)以幾十甚至上百來(lái)記。有人負(fù)責(zé)編程，有人負(fù)責(zé)美工，有人負(fù)責(zé)維護(hù)，等等。每個(gè)游戲還都有龐大的代碼庫(kù)、素材庫(kù)。結(jié)果就是，開發(fā)一款優(yōu)秀的游戲大作，需要大量人員，投入大量時(shí)間才能完成。而這個(gè)時(shí)間周期，往往要長(zhǎng)達(dá)數(shù)年。

更直觀的，就是錢。游戲團(tuán)隊(duì)開發(fā)一款能讓人們記住并且愛(ài)玩兒的大作，預(yù)算動(dòng)不動(dòng)就要超過(guò)1億美元。要不然怎么說(shuō)，游戲制作算是一種用愛(ài)發(fā)電呢?，F(xiàn)在，情況有變！有研究人員開發(fā)了一個(gè)叫GameGPT的模型，GameGPT可以整合多個(gè)AI智能體（agent）來(lái)自動(dòng)完成游戲開發(fā)中的部分流程。而不同的智能體各司其職，工作起來(lái)井井有條。有智能體負(fù)責(zé)審查游戲的設(shè)計(jì)計(jì)劃，并進(jìn)行相應(yīng)的修改和調(diào)整；有的負(fù)責(zé)將任務(wù)轉(zhuǎn)化為具體的代碼；有的負(fù)責(zé)對(duì)上一步生成的代碼進(jìn)行檢查，對(duì)運(yùn)行結(jié)果進(jìn)行審核；還有智能體負(fù)責(zé)驗(yàn)證全部的工作是否符合初始預(yù)期。

如此這般，通過(guò)細(xì)化分解工作流程，GameGPT就可以簡(jiǎn)化AI智能體的工作。這種各司其職會(huì)更加有效率，實(shí)現(xiàn)起來(lái)也比一個(gè)全能型的智能體完成一切要簡(jiǎn)單得多。研究人員表示，GameGPT可以簡(jiǎn)化傳統(tǒng)游戲開發(fā)流程中一些重復(fù)和死板的內(nèi)容，比如代碼測(cè)試。大量開發(fā)人員就可以從繁雜的檢驗(yàn)工作中解放出來(lái)，專注于AI所不能替代的，更有挑戰(zhàn)性的設(shè)計(jì)環(huán)節(jié)。當(dāng)然，這篇論文目前還處于一個(gè)比較初步的階段。目前還沒(méi)有任何具體的結(jié)果或者實(shí)驗(yàn)來(lái)證明性能上的提高。換句話說(shuō)，還沒(méi)人用GameGPT真的開發(fā)過(guò)游戲，這個(gè)模型目前還處在概念形成階段，在有具體的應(yīng)用結(jié)果以及可量化的數(shù)據(jù)之前，咱也不好評(píng)估。不過(guò)，總歸是個(gè)努力的方向。有網(wǎng)友表示，人們對(duì)LLM的想法是有一定偏差的?，F(xiàn)在，研究人員有了一種能夠100%解決NLP問(wèn)題的工具，而人們卻只關(guān)心如何實(shí)現(xiàn)某些工作流程的自動(dòng)化。舉例來(lái)說(shuō)，想象一下如果游戲世界對(duì)你的決定做出的反應(yīng)，要比你在五分鐘內(nèi)判斷出基于規(guī)則的硬編碼引擎的反應(yīng)更正常，那將會(huì)是怎樣的情景。再想象一下，如果一款游戲能根據(jù)你做出的決定（比如在路上隨機(jī)屠殺你看到的敵人等），為你臨時(shí)安排一些支線任務(wù)，那會(huì)是什么場(chǎng)景。而開發(fā)者在創(chuàng)建這樣一個(gè)系統(tǒng)時(shí)，會(huì)使用提示工程來(lái)指導(dǎo)LLM，而不是編碼這些東西。

但是，這樣做的目的不是為了節(jié)省成本，而是為了在以前無(wú)法制作更多游戲的階段制作游戲（是不是有點(diǎn)拗口）。

GameGPT

首先，讓我們來(lái)看看GameGPT模型的大框架——全流程。

作者將每個(gè)智能體擬人化，更生動(dòng)地展示了他們是如何各司其職的。流程最左側(cè)是用戶端，向GameGPT輸入prompt，然后開發(fā)經(jīng)理和審核進(jìn)行初步計(jì)劃。接著，再把需求發(fā)送給開發(fā)工程師，以及游戲引擎工程師，來(lái)執(zhí)行具體的任務(wù)，生成代碼。

最后檢查一下有沒(méi)有遺漏，有的話發(fā)回左側(cè)，再跑一遍。沒(méi)有就繼續(xù)向右，由負(fù)責(zé)檢查的工程師來(lái)進(jìn)行testing。

AI開發(fā)游戲？？

實(shí)際上，AI開發(fā)游戲歷史的雛形也許可以追溯到更早。

AI在游戲開發(fā)中的應(yīng)用可以追溯到「星際爭(zhēng)霸」和「暗黑破壞神」等經(jīng)典游戲。在當(dāng)時(shí)，開發(fā)人員需要用AI系統(tǒng)來(lái)制作交互式的虛擬世界和角色。而這些系統(tǒng)已成為此類互動(dòng)平臺(tái)開發(fā)的標(biāo)準(zhǔn)配置。早期和游戲開發(fā)AI相關(guān)的研究強(qiáng)調(diào)控制非玩家的角色（NPC），而隨著自然語(yǔ)言處理（NLP）技術(shù)的發(fā)展，出現(xiàn)了一些利用深度學(xué)習(xí)技術(shù)生成關(guān)卡的開創(chuàng)性工作。其中代表作是MarioGPT，它通過(guò)微調(diào)的GPT-2模型成功生成了「超級(jí)馬里奧兄弟」中的部分關(guān)卡。而眾所周知，LLM又在今年取得了巨大進(jìn)步，在NLP和計(jì)算機(jī)視覺(jué)（CV）領(lǐng)域都取得了不錯(cuò)的成績(jī)。我們知道，LLM的訓(xùn)練是一個(gè)多階段的過(guò)程。初始階段包括在廣泛的語(yǔ)料庫(kù)中訓(xùn)練這些模型，促進(jìn)基本語(yǔ)言能力的獲得。隨后就是更重要的階段了，通過(guò)指令（instruction）生成各種NLP任務(wù)的數(shù)據(jù)對(duì)模型進(jìn)行微調(diào)。這種指令調(diào)整，增強(qiáng)了模型在廣泛應(yīng)用中的泛化能力，從而可以讓LLM能夠在之前訓(xùn)練中沒(méi)有執(zhí)行過(guò)的任務(wù)中取得零誤差的性能。最后，人類反饋強(qiáng)化學(xué)習(xí)（RLHF）階段保證了模型的結(jié)構(gòu)完整性和可靠性。

這里還有一點(diǎn)需要注意——RLHF階段能讓模型生成模仿人類風(fēng)格的內(nèi)容，從而增強(qiáng)其作為智能體的多功能性。此外，LLM的進(jìn)步還促進(jìn)了智能體在軟件開發(fā)過(guò)程中的自動(dòng)化。許多研究都曾經(jīng)把目光放在過(guò)這個(gè)問(wèn)題上——如何開發(fā)一個(gè)基于LLM的智能體，用來(lái)執(zhí)行不同的任務(wù)。比方說(shuō)AutoGPT就曾經(jīng)采用LLM智能體來(lái)處理現(xiàn)實(shí)世界中的某些決策任務(wù)，而HuggingGPT則采用的是單個(gè)LLM作為一種控制器，來(lái)協(xié)調(diào)完成更加復(fù)雜的AI任務(wù)。雖說(shuō)這些方法都依賴于唯一的LLM智能體，但它們都加入了一個(gè)審核者（就是上面流程圖里的reviewer）來(lái)完善決策。還是拿AutoGPT舉例，模型會(huì)從監(jiān)督學(xué)習(xí)器中獲取一些輔助性的意見(jiàn)來(lái)提高自身性能，HuggingGPT也可以接入GPT-4，弄成一個(gè)reviewer，來(lái)評(píng)估決策的準(zhǔn)確性。還有一些別的例子，比方說(shuō)MetaGPT就引入了一個(gè)多智能體框架，可以用于各種軟件的自動(dòng)化開發(fā)。而回到我們今天討論的游戲開發(fā)，我們要知道，與一般的軟件開發(fā)不同，游戲開發(fā)行業(yè)的運(yùn)作需要緊跟潮流，因此整個(gè)開發(fā)過(guò)程必須更加精確和簡(jiǎn)潔，以達(dá)到最佳效率。此外，在沒(méi)有幻覺(jué)和高精度的情況下，調(diào)整和使用單個(gè)LLM來(lái)服務(wù)于游戲開發(fā)的整個(gè)開發(fā)周期是不切實(shí)際的，而且成本高昂。因此，游戲開發(fā)AI的框架需要多個(gè)reviewer參與，這樣就能有效緩解語(yǔ)言模型所固有的幻覺(jué)傾向。研究人員還發(fā)現(xiàn)，在游戲開發(fā)中，語(yǔ)言模型還有另一個(gè)局限性——冗余性。LLM在游戲生成時(shí)，可能會(huì)生成不必要的、無(wú)信息量的任務(wù)或代碼片段。為了有效解決幻覺(jué)和冗余問(wèn)題，今天的主角——GameGPT戰(zhàn)略性地采用了多種方法來(lái)解決這個(gè)問(wèn)題，包括雙重協(xié)作、通過(guò)內(nèi)部詞匯庫(kù)進(jìn)行指令調(diào)整以及代碼的解耦。值得我們關(guān)注的是，雙重協(xié)作涉及到LLM與小型深度學(xué)習(xí)模型之間的互動(dòng)，以及負(fù)責(zé)執(zhí)行的智能體與reviewer智能體之間的協(xié)作參與。

研究人員表示，這些協(xié)同作用已被證明，在減輕GameGPT的幻覺(jué)和冗余方面是有效的。

方法介紹

接下來(lái)，研究人員從全流程剖析一下GameGPT的創(chuàng)新。

首先，在游戲設(shè)計(jì)階段，在收到用戶請(qǐng)求后，GameGPT的任務(wù)包括生成整個(gè)游戲的開發(fā)計(jì)劃。這個(gè)計(jì)劃階段是關(guān)鍵步驟之一，極大地影響了整個(gè)開發(fā)過(guò)程的無(wú)縫進(jìn)展。這個(gè)階段由基于LLM的游戲開發(fā)經(jīng)理策劃，先提出一個(gè)初始計(jì)劃，隨后分解成任務(wù)列表。值得注意的是，由于LLM固有的局限性，這個(gè)初始計(jì)劃經(jīng)常會(huì)出現(xiàn)幻覺(jué)，從而產(chǎn)生意想不到的任務(wù)，包括沒(méi)有信息或不必要的冗余任務(wù)。為了應(yīng)對(duì)這些問(wèn)題，研究人員提出了四項(xiàng)可以減輕這些難題的策略，這四種策略相互正交的，并且可以分層執(zhí)行以獲得更好的效果。方案一：對(duì)傳入請(qǐng)求進(jìn)行分類，目的是辨別游戲的類型。目前，GameGPT框架支持五種不同游戲類型的開發(fā)，即:動(dòng)作、策略、角色扮演、模擬和冒險(xiǎn)。對(duì)于每種類型，研究人員都會(huì)提供標(biāo)準(zhǔn)化的計(jì)劃模板，指導(dǎo)游戲開發(fā)經(jīng)理智能體使用相關(guān)信息完成模板。通過(guò)采用這種方法，冗余任務(wù)的頻率顯著降低，同時(shí)減少了幻覺(jué)發(fā)生的可能性。策略二：涉及計(jì)劃審查員智能體的參與，這是另一個(gè)基于LLM的代理。這個(gè)智能體通過(guò)精心設(shè)計(jì)的prompt進(jìn)行操作，以此來(lái)對(duì)任務(wù)計(jì)劃進(jìn)行全面的審查。它的主要目標(biāo)是盡量減少幻覺(jué)和冗余的發(fā)生。該智能體評(píng)估計(jì)劃并提供反饋，旨在改進(jìn)并提高其準(zhǔn)確性、效率和簡(jiǎn)潔性。同時(shí)，這一部分生成的指令可以作為游戲開發(fā)經(jīng)理智能體的新輸入，使任務(wù)計(jì)劃更加準(zhǔn)確和完善。策略三：通過(guò)專門的指令來(lái)調(diào)整游戲開發(fā)經(jīng)理智能體的LLM本身，以便更好的進(jìn)行游戲開發(fā)層面的規(guī)劃。這個(gè)微調(diào)過(guò)程的目的就是讓模型能生成一個(gè)既準(zhǔn)確又簡(jiǎn)潔的計(jì)劃。為了方便起見(jiàn)，研究團(tuán)隊(duì)收集并整合了一個(gè)內(nèi)部數(shù)據(jù)集，其中包括許多輸入輸出的搭配。雖然這些組合在長(zhǎng)度或結(jié)構(gòu)上不符合標(biāo)準(zhǔn)格式，但它們都圍繞著游戲開發(fā)的要求。

這部分固定搭配由業(yè)內(nèi)的開發(fā)人員提供。通過(guò)采用這種方法，研究人員有效地彌合了LLM的一般語(yǔ)言能力與游戲開發(fā)規(guī)劃能力之間的差距。策略四：規(guī)劃階段的「安全網(wǎng)」。在整個(gè)計(jì)劃過(guò)程中，游戲開發(fā)經(jīng)理智能體始終在前端界面上與用戶分享中期結(jié)果，使其余的智能體能夠隨時(shí)了解正在進(jìn)行的開發(fā)是什么。為了增強(qiáng)這一點(diǎn)，研究人員集成了一種交互式方法，使用戶能夠根據(jù)他們的期望積極地審查、糾正和增強(qiáng)計(jì)劃。這種方法也保證了設(shè)計(jì)計(jì)劃和用戶需求之間的一致性。說(shuō)完了這些策略，我們來(lái)看看GameGPT的優(yōu)越性。首先，這個(gè)模型中的任務(wù)分類過(guò)程要求在識(shí)別任務(wù)類型及其對(duì)應(yīng)參數(shù)方面具有很高的準(zhǔn)確性。因此，研究人員為了確保這一階段的準(zhǔn)確性，創(chuàng)建了一個(gè)名為游戲開發(fā)工程師的智能體。該智能體由兩個(gè)模型共同組成，它們協(xié)同參與任務(wù)分類的流程。這種協(xié)作方法提高了任務(wù)識(shí)別的準(zhǔn)確性和有效性。同時(shí)為了避免LLM幻覺(jué)的出現(xiàn)，提高任務(wù)分類的準(zhǔn)確性，研究人員提供了游戲開發(fā)中可能出現(xiàn)的任務(wù)類型列表。為了對(duì)此進(jìn)行更好地分類，他們采用了BERT模型。BERT模型已經(jīng)用內(nèi)部數(shù)據(jù)集進(jìn)行了完整的訓(xùn)練。該數(shù)據(jù)集包含針對(duì)游戲開發(fā)任務(wù)所量身定制的各項(xiàng)數(shù)據(jù)條目。而輸入則是從預(yù)定列表中繪制任務(wù)，而輸出對(duì)應(yīng)的則是任務(wù)的指定類別。任務(wù)類型和參數(shù)的審閱都在這個(gè)階段進(jìn)行，引入一個(gè)叫做任務(wù)審閱人員的智能體，主要負(fù)責(zé)每個(gè)類別的識(shí)別和參數(shù)是否合理。評(píng)審（review）的過(guò)程包括審核任務(wù)類型是否在預(yù)定范圍內(nèi)，是否是最適合的任務(wù)。

同時(shí)，它還會(huì)檢查參數(shù)列表，看看它是否與任務(wù)一致。某些場(chǎng)景下，比如一些基于上下文任務(wù)信息的，或者用戶請(qǐng)求無(wú)法推斷參數(shù)的情況，GameGPT采用了一種主動(dòng)的方法來(lái)解決。Reviewer通過(guò)在前端界面上啟動(dòng)提示，并請(qǐng)求參數(shù)所需的附加信息來(lái)吸引用戶注意。這種交互方法的好處在于，即使在自動(dòng)推理不足的情況下也能確保論證細(xì)節(jié)的完整性。此外，還有另一個(gè)智能體負(fù)責(zé)識(shí)別任務(wù)之間的依賴關(guān)系，并構(gòu)造一個(gè)封裝這些關(guān)系的圖表。在建立該圖之后，再采用算法來(lái)對(duì)該圖進(jìn)行遍歷篩選，由此產(chǎn)生一個(gè)確定的任務(wù)執(zhí)行順序。這個(gè)過(guò)程確保了模型可以按照任務(wù)的依賴關(guān)系有序和系統(tǒng)地執(zhí)行，從而產(chǎn)生連貫和結(jié)構(gòu)化的開發(fā)流程。另一個(gè)問(wèn)題是，使用LLM生成冗長(zhǎng)的代碼會(huì)帶來(lái)更大的幻覺(jué)和出現(xiàn)冗余的風(fēng)險(xiǎn)。為了解決這個(gè)問(wèn)題，研究人員引入了一種新的方法來(lái)解耦游戲設(shè)計(jì)中出現(xiàn)的代碼，簡(jiǎn)化了LLM的推理過(guò)程，從而極大程度減輕了幻覺(jué)和冗余。這個(gè)方法也并不難理解——研究人員會(huì)將預(yù)期的腳本劃分為許多長(zhǎng)度更短的代碼片段，以供LLM處理。這種解耦方法大大簡(jiǎn)化了LLM的工作。還有一種叫做上下文學(xué)習(xí)的有效推理方法，也可以有效地減輕幻覺(jué)。此外，GameGPT中應(yīng)用的另一種消除幻覺(jué)的技術(shù)，包括為每個(gè)任務(wù)生成一組K個(gè)代碼的代碼片段。

這些代碼片段隨后會(huì)在虛擬環(huán)境中進(jìn)行測(cè)試，并同時(shí)呈現(xiàn)給用戶。測(cè)試過(guò)程和用戶反饋都被用來(lái)識(shí)別和消除有問(wèn)題的代碼片段，最終只留下最可行的選項(xiàng)來(lái)執(zhí)行。這種方法同樣有助于進(jìn)一步減少幻覺(jué)的發(fā)生。此外，研究人員還有一個(gè)內(nèi)部的庫(kù)，包含為游戲開發(fā)設(shè)計(jì)的大量代碼片段。每一個(gè)代碼片段都由標(biāo)簽器進(jìn)行了注釋，提供了明確說(shuō)明其預(yù)期目的的說(shuō)明。概括一下就是，為了讓代碼不冗余，不幻覺(jué)，開發(fā)人員做了兩手準(zhǔn)備，事前的和事中的。同時(shí)，上面提到的這個(gè)庫(kù)也是對(duì)模型進(jìn)行微調(diào)的寶貴資源。代碼審查和改進(jìn)在游戲引擎智能體生成代碼之后，代碼審查智能體會(huì)對(duì)代碼庫(kù)進(jìn)行徹底的審查和檢查。該智能體會(huì)進(jìn)行全面的評(píng)估，努力找出任何可能會(huì)偏離原始請(qǐng)求的實(shí)例，或代碼中出現(xiàn)的意外幻覺(jué)。經(jīng)過(guò)徹底的審查，智能體不僅能標(biāo)記出潛在的差異，而且還能據(jù)此提供改進(jìn)代碼的建議，最終產(chǎn)生更為合理的版本。在審查過(guò)程之后，修改后的代碼以及智能體的反饋都將通過(guò)前端界面與游戲引擎工程師智能體和用戶共享。如果用戶認(rèn)為有必要，可以直接通過(guò)前端界面提供代碼修改建議。之后這些建議會(huì)繼續(xù)傳遞給代碼審查智能體，它會(huì)進(jìn)行評(píng)估，并有選擇性的合并這些建議，從而進(jìn)一步生成一種協(xié)作和迭代的方法來(lái)增強(qiáng)代碼。最后，一旦代碼生成完畢，該干的也都干完了，責(zé)任就落到了游戲引擎測(cè)試智能體的身上，由這個(gè)智能體來(lái)負(fù)責(zé)執(zhí)行生成的代碼。在這一階段，該智能體還會(huì)遵循在前一階段所制定的執(zhí)行順序。具體的執(zhí)行過(guò)程包括將每個(gè)單獨(dú)任務(wù)的代碼發(fā)送到游戲引擎，進(jìn)行執(zhí)行，并在執(zhí)行期間持續(xù)跟蹤，生成日志。在完成執(zhí)行序列中指定的所有任務(wù)后，智能體會(huì)合并整個(gè)執(zhí)行過(guò)程中生成的所有日志。最終，這種編譯生成了一個(gè)簡(jiǎn)潔而全面的摘要，再通過(guò)前端界面呈現(xiàn)給用戶。此外，測(cè)試工程師智能體還會(huì)識(shí)別并報(bào)告在執(zhí)行過(guò)程中觀察到的任何回溯情況的出現(xiàn)。這些回溯會(huì)作為關(guān)鍵的指示器，指示AI對(duì)執(zhí)行流程或代碼進(jìn)行更進(jìn)一步的調(diào)整，使整個(gè)過(guò)程得以細(xì)化，并有助于生成一個(gè)完美的最終產(chǎn)品。

最后，再來(lái)看下多個(gè)代理同時(shí)工作的框架公式：首先，在GameGPT中，每個(gè)代理都有一個(gè)私有的記憶系統(tǒng)，并且它們可以訪問(wèn)共享的公共內(nèi)容，以獲取必要的信息來(lái)指導(dǎo)其決策過(guò)程。對(duì)于時(shí)間步長(zhǎng)為t的代理i來(lái)說(shuō)，這一過(guò)程可表示為：其中pθi對(duì)應(yīng)的是和代理i相關(guān)的LLM或?qū)＜夷Ｐ?，Oit表示代理i在時(shí)間步長(zhǎng)為t時(shí)的產(chǎn)出或可交付成果，Mit和Pt分別指截至?xí)r間步長(zhǎng)t內(nèi)，所有的私人記憶和必要的公共記錄。由于游戲開發(fā)行業(yè)的特殊性和大語(yǔ)言模型的局限性，在GameGPT中，具有不同角色的多個(gè)代理的存在至關(guān)重要。鑒于游戲開發(fā)周期通常長(zhǎng)達(dá)數(shù)月，如果只依賴一個(gè)擁有全面記憶和上下文信息的單個(gè)代理，語(yǔ)言模型（包括LLM）的效率將大打折扣。而隨著時(shí)間的推移，項(xiàng)目變得越來(lái)越復(fù)雜，這種方法也會(huì)帶來(lái)可擴(kuò)展性方面的挑戰(zhàn)。此外，考慮到LLM所處理的標(biāo)記數(shù)量的限制，在大型游戲開發(fā)項(xiàng)目中使用具有全面內(nèi)存的單獨(dú)代理并不實(shí)用。還有，在LLMs中觀察到的幻覺(jué)和冗余等固有問(wèn)題凸顯了多個(gè)代理之間協(xié)作的重要性，尤其是那些具有批判性角色的代理。這種協(xié)作對(duì)于減輕LLM幻覺(jué)和冗余帶來(lái)的挑戰(zhàn)意義重大。因此，GameGPT才利用一系列不同的角色來(lái)促進(jìn)其運(yùn)作，包括整個(gè)游戲開發(fā)周期的職責(zé)。這些角色包括上文提到的游戲內(nèi)容設(shè)計(jì)師、游戲開發(fā)經(jīng)理、計(jì)劃審核員、游戲開發(fā)工程師、任務(wù)審核員，還有游戲引擎工程師、代碼審核員和游戲引擎測(cè)試工程師。在整個(gè)游戲開發(fā)過(guò)程中，每個(gè)角色都承擔(dān)著不同的任務(wù)。