近日，兩個由 OpenAI 的研究人員開發(fā)的一模一樣的機械臂愛麗絲和鮑勃，可以在模擬情景中通過對弈互相學(xué)習(xí)，而不需要人為輸入文本。

其中一個虛擬機械臂已經(jīng)學(xué)會解決各種不同的難題堆積木、擺放桌子、排列國際象棋棋子，并且每項任務(wù)不需要進行再訓(xùn)練。這一切通過與另一個機械臂對弈得以實現(xiàn)。據(jù)了解，另一個機械臂經(jīng)過訓(xùn)練后，會給原本的機械臂臂帶來越來越難的挑戰(zhàn)。

這些機器人采用的是強化學(xué)習(xí)算法，即在不同情況下，通過試錯來訓(xùn)練人工智能，并采取不同行動來實現(xiàn)目標(biāo)。游戲包括在虛擬桌面上移動物體。例如，通過以特定的方式排列物體，愛麗絲試圖設(shè)置對鮑勃來說很難解決的謎題，而鮑勃會試圖解決愛麗絲的謎題。隨著它們的學(xué)習(xí)，愛麗絲會設(shè)置更復(fù)雜的謎題，而鮑勃也會越來越會解謎。

經(jīng)過愛麗絲設(shè)置的積木謎題的訓(xùn)練后，鮑勃便可以通用于一系列任務(wù)，包括擺放桌子和排列象棋棋子。

通常在多重任務(wù)處理中，深度學(xué)習(xí)模型必須在任務(wù)間進行再訓(xùn)練。例如，AlphaZero （一款棋類 AI，可以通過自我博弈來學(xué)習(xí)）會使用單一算法教自己下國際象棋、將棋和圍棋但每次只能下一盤棋。例如，下國際象棋的時 AlphaZero 不能下圍棋，下圍棋時的 AlphaZero 不能下將棋。因此，造出真正能同時處理多任務(wù)的機器，是走向更通用的人工智能道路上的一大未解難題。

訓(xùn)練 AI 同時執(zhí)行多重任務(wù)時會遇到一個問題，即需要大量的例子。OpenAI 則通過訓(xùn)練愛麗絲為鮑勃生成例子，用一個 AI 訓(xùn)練另一個 AI 來避免這個問題。經(jīng)過訓(xùn)練，愛麗絲學(xué)會了設(shè)定目標(biāo)，比如建造一座積木塔，然后把它撿起來并加以平衡。鮑勃學(xué)會了利用虛擬環(huán)境的屬性，如通過摩擦力來抓取和旋轉(zhuǎn)物體。

截至目前，虛擬現(xiàn)實的訓(xùn)練只在虛擬環(huán)境中進行，但 OpenAI 和其他機構(gòu)的研究人員正在將虛擬環(huán)境中訓(xùn)練的模型轉(zhuǎn)移到物理環(huán)境中，且越來越有起色。據(jù)悉，模擬環(huán)境可以讓 AI 在短時間內(nèi)處理大型數(shù)據(jù)集，然后研究人員會根據(jù)現(xiàn)實世界的環(huán)境再對其進行微調(diào)。

該團隊的研究人員表示，他們的最終目標(biāo)是訓(xùn)練這些機械臂去解決人類可能要求它做的任何任務(wù)。與 GPT-3 一樣（GPT-3 是一個能以各種不同方式使用語言的語言模型），這些機器人手臂是 OpenAI 打造多任務(wù)人工智能整體目標(biāo)的一部分，而使用一個 AI 來訓(xùn)練另一個 AI 也許是其中的關(guān)鍵所在。
責(zé)任編輯：YYX