你們不是嫌棄世界冠軍 OG 團隊實力太水嗎？“你行你上”的機會來了。

4 月 14 日凌晨，OpenAI Five 以 2:0 擊敗了 DOTA 世界冠軍團隊 OG 引發(fā)熱議。比賽當天，OpenAI 也宣布要開放 OpenAI Five 競技場模式，讓每個感興趣的人都參與其中。

4 月 18 日（太平洋標準時間）下午 6 點，OpenAI 如約開放了這一模式，全世界各路玩家都可以免費進行體驗。開放時間為期三天，4 月 21 日(太平洋標準時間)晚上 11 點 59 分關(guān)閉，要體驗一把人機對戰(zhàn)的話可得抓緊時間。

參賽鏈接：https://arena.openai.com/#/

目前從其官網(wǎng)賽況來看，截止今天早上 10 點，OpenAI Five 與參與者打了 424 場比賽，AI 以 112-0 完勝人類玩家。

以下是人類參與者的部分賽況：

據(jù) OpenAI 官方介紹，參與者可以在競爭模式和合作模式下體驗 OpenAI Five。他們的 1v1 機器人可以通過巧妙的策略加以利用，但他們也并不知道 OpenAI Five 能在多大程度上可以做到這一點。

在此前決賽中，他們展示了 OpenAI Five 和人類在合作模式打游戲。一組是 Sheever、Blitz 和三個 OpenAI Five，對手是由 Capitalist、ODPixel 和三個 OpenAI Five 組成的團隊。

不過，通過 OpenAI Five 在決賽上的表現(xiàn)，OpenAI 團隊在最新的博客中分享了兩個驚喜：

盡管訓練 OpenAI Five 系統(tǒng)的目的是為了打敗其他機器人，但他們卻發(fā)現(xiàn) OpenAI Five 其實還有與人類成為隊友的基本能力，也就是說可以將一個競爭型 AI 變?yōu)楹献餍?AI。他們認為，如果能更努力去開發(fā)，未來 AI 系統(tǒng)能為人類做出非常多的貢獻。

4 月 18 日 到 21 日的競技場模式測試將回答一個很重要的研究問題——OpenAI Five 的潛能可以被人類運用到何種程度，或者它們在其他哪些方面必定會被打敗。OpenAI Five 這一深度強化學習智能體系統(tǒng)，可能會成為有史以來人類能與之交互的最大的 AI 部署系統(tǒng)。

OG戰(zhàn)隊與OpenAI開發(fā)團隊

對于 OpenAI Five 競技場模式，有很多人報以期待，reddit 上有網(wǎng)友評論稱，“這特么太酷了，自從 OpenAI 1v1 首秀之后，人們已經(jīng)要求要在網(wǎng)上跟機器人玩游戲了，現(xiàn)在它真的發(fā)生了！”

只是，如果在競爭模式跟 AI 打 DOTA，作為人類玩家的你會不會慘遭OpenAI Five 的虐殺，而輸?shù)煤翢o懸念呢？祝你們好運。

當然，玩游戲之余，你可能也想知道：OpenAI Five 取得勝利背后的“秘訣”是什么？為什么這次的 OpenAI Five 系統(tǒng)要比去年在 TI 表演賽上敗給人類的AI系統(tǒng)更強？OpenAI 是如何訓練 OpenAI Five 系統(tǒng)的？OpenAI 團隊最近給出了解讀。

為什么是 DOTA2？

一開始，OpenAI 團隊研究 OpenAI Five 是為了解決超出現(xiàn)有深度強化學習算法能力范圍的問題，他們希望通過現(xiàn)有的方法解決當下無法解決的問題，原以為這需要復雜的算法思想（比如分層強化學習（Hierarchical RL）），但他們驚訝地發(fā)現(xiàn)只需要改進的是規(guī)模，但實現(xiàn)和利用這個規(guī)模并不容易，這成了其研究的主要內(nèi)容。

OpenAI Five 把世界看作是一串必須破譯的數(shù)字。無論這些數(shù)字是以 DOTA 游戲形式（約 20000 個數(shù)字），還是以機械手形式（約 200 個），使用的都是通用學習代碼。

為了創(chuàng)建 OpenAI Five，OpenAI 團隊創(chuàng)造了一個名為 Rapid 的系統(tǒng)，用來以從未有過的規(guī)模去運行 PPO（Proximal Policy Optimization），結(jié)果出人意料，居然創(chuàng)造了一個不受任何基本性能限制的世界級 DOTA 機器人。

如今，RL 算法表現(xiàn)出了驚人的能力，但它在游戲或模擬環(huán)境之外卻用處不大，但這個限制可能并沒有聽起來的那么糟糕，例如可以使用 Rapid 來控制機械手來重新移動一個模塊，這需要首先進行模擬訓練，然后在物理機器人上執(zhí)行。他們認為，對于 RL 的下一個挑戰(zhàn)是減少對經(jīng)驗的依賴。

雖然他們決定不再讓 OpenAI Five 成為競爭對手，但社會進步和技術(shù)發(fā)展將繼續(xù)推動未來的研究，這也并非 DOTA 比賽研究的終點，他們認為 DOTA 比賽對 RL 開發(fā)來說是一個比現(xiàn)在使用的標準環(huán)境更有趣、更復雜、也更好理解的環(huán)境。

算力

與 DOTA2 在去年的 TI 表演賽的失利相比，OpenAI Five 在 4 月 14 日戰(zhàn)勝 OG 團隊的主要原因是其訓練的計算量增加了 8 倍。去年比賽后，OpenAI 團隊將項目中的絕大部分計算用于訓練 OpenAI Five 模型，同時還增加了訓練時間。

OpenAI Five 的 TrueSkill，由于已經(jīng)使用了額外的訓練計算，所以用線來劃分主要的系統(tǒng)變化。這張圖的走向大致是線性的，意味著 OpenAI Five 不斷從額外計算中獲益。

總之 ，OpenAI Five 的當前版本已經(jīng)訓練了 800 petaflop/s /天，并且在10個實時月的時間內(nèi)進行相當于人類大約 45000 年時長的 DOTA 游戲自我訓練，相當于人類每天平均有 250 年的模擬訓練。OpenAI Five 的最終版本與 TI 版本相比，勝率是 99.9%。

18 個英雄

從訓練 5 名英雄到 18 名英雄時的訓練進度幾乎沒有放緩，他們已經(jīng)假設同樣的情況如果發(fā)生在更多的英雄身上會怎樣。TI比賽后，又花了很多精力去整合新的英雄。

他們花了幾周時間去訓練多達 25 個英雄的英雄池，將這些英雄帶到大約 5k MMR(大約是95% DOTA 玩家的水平)。雖然在進步，但學習速度不夠快，無法在決賽前達到職業(yè)水平。研究人員還沒有時間去找到原因，但后來發(fā)現(xiàn)模型容量不足，需要更好的匹配來擴展英雄池，還需要更多的訓練時間來讓新英雄趕上老英雄。但想象一下，當一個人掌握了自己的英雄時，再去學習一個新英雄是多么困難。

對了，這里明明說訓練了 18 個英雄，但為什么在與 OG 比賽時只放了 17 個英雄？因為還有一個英雄在 DOTA v7.20 版本中出現(xiàn)了明顯變化，所以就沒用。

最后，這么好的機會，要不要去體驗下被機器人在 DOTA 中碾壓的酸爽感？