DeepMind 公司因為研制出會下棋的人工智能AlphaGo和AlphaZero而聲名鵲起，如今他們將注意力轉(zhuǎn)向了另一種棋盤游戲：強權(quán)外交（Diplomacy），也被稱為外交或者外交風(fēng)云，是經(jīng)典的桌面游戲之一。該游戲與圍棋不同，它是七人游戲，需要游戲玩家既競爭又合作，并且每回合玩家都會同時進(jìn)行移動，因此，每個玩家都必須推理其他玩家的想法，非常復(fù)雜。

研制一個能玩外交游戲的人工智能軟件，DeepMind公司的計算機專家Andrea Tacchetti表示：“與游戲Go或國際象棋相比，這是一個本質(zhì)上不同的問題?！?去年12月，Tacchetti和合作者在NeurIPS會議上就其系統(tǒng)發(fā)表了一篇論文，該論文介紹了能玩外交游戲的AI系統(tǒng)策略。

“外交”是一種策略游戲，在歐洲地圖上劃分為75個省。玩家建立并動員軍隊占領(lǐng)各省，直到控制了大部分補給中心的玩家獲勝。玩家每回合寫下自己的行動，然后執(zhí)行。他們可以攻擊或防御對方玩家，或者支援對方玩家的進(jìn)攻和防御，建立聯(lián)盟。在完整版中，玩家可以協(xié)商，為了方便人工智能研究，DeepMind公司使用了簡單版的“No Press”策略，不需要人工智能軟件發(fā)布策略與其他玩家進(jìn)行溝通。

從歷史上看，人工智能使用人工制定的策略來發(fā)揮決策作用。2019年，蒙特利爾研究所的Mila通過使用深度學(xué)習(xí)系統(tǒng)取得了勝利。他們基于150000個人類游戲的數(shù)據(jù)集，訓(xùn)練了一個稱為DipNet的神經(jīng)網(wǎng)絡(luò)來模仿人類。DeepMind從DipNet版本開始，使用強化學(xué)習(xí)（一種反復(fù)試驗）來完善它。但是，僅通過反復(fù)試驗來探索可能性會帶來問題。因此，他們調(diào)整了強化學(xué)習(xí)算法。在訓(xùn)練過程中，他們在每一步中都對對手的可能舉動進(jìn)行采樣，計算出在這些情況下平均效果最佳的行動，然后訓(xùn)練自己的權(quán)重以偏向于此行動。經(jīng)過訓(xùn)練，它跳過了采樣過程，僅根據(jù)其學(xué)習(xí)的知識進(jìn)行工作。Tacchetti說：“我們論文的信息是：我們可以在這樣的環(huán)境中進(jìn)行強化學(xué)習(xí)。” 他們設(shè)計的一個AI玩家與六個DipNet的AI贏了30％的時間（有14％的機會）。一個DipNet對抗他們的七個，僅贏得了3％的時間。

今年4月，F(xiàn)acebook將在ICLR會議上發(fā)表一篇論文，描述他們在“No Press”版本的外交游戲中的研究成果。他們建立了類似DipNet的網(wǎng)絡(luò)，但是沒有添加強化學(xué)習(xí)的元素，而是添加了一個“SearchBot”搜索玩家策略，SearchBot通過玩幾回合來評估玩家的每種潛在策略（假設(shè)每個人都根據(jù)神經(jīng)網(wǎng)絡(luò)的首選選擇后續(xù)行動）。策略不是一個最佳行動組合，而是由50個可能行動組成的一組概率（由神經(jīng)網(wǎng)絡(luò)建議）。

在真實游戲中進(jìn)行這樣的探索會減慢SearchBot的速度，但可以使它更優(yōu)于DipNet。SearchBot在外交游戲網(wǎng)站上與人類進(jìn)行了匿名比賽，在玩家中排名前2％。Facebook的計算機專家、論文的共同作者亞當(dāng)·勒勒（Adam Lerer）說：“這是第一個被證明具有能與人類競爭的機器人。”

責(zé)任編輯：lq