跳到正文
IFAI

AI科研

DeepMind 打造多智慧體象棋系統 AZdb:擊敗 AlphaZero,解題量翻倍

首次發布 傳播指數 31

Google DeepMind 團隊推出多智慧體系統 AZdb,把多個風格各異的 AlphaZero 組成戰隊。通過行為多樣性訓練,智慧體各自專精不同開局與陣型;在刁鑽的棋局難題中,其解題量達到單體 AlphaZero 的兩倍,實戰 Elo 積分提高 50 分。

DeepMind 打造多智慧體象棋系統 AZdb:擊敗 AlphaZero,解題量翻倍
圖:the-decoder.com

哪怕強如 AlphaZero,也經常被一些專門刁難 AI 的奇葩國際象棋殘局難住。單打獨鬥的 AI 算力再猛,也容易鑽進思維死角。

為了打破這種侷限,Google DeepMind 換了個思路:不搞單個超級棋手了,改搞「智囊團」。他們把多個 AlphaZero 智慧體組裝成一個聯盟系統,代號 AZdb,直接打敗了原版 AlphaZero。

讓 AI 互相換換腦子

AZdb 的核心邏輯不是拼單一模型的算力,而是引入多樣性。DeepMind 給它用了兩項關鍵技術,分別是行為多樣性和響應多樣性。

行為多樣性負責拉開不同智慧體下棋的習慣,儘量讓它們在棋盤上的平均棋子站位各不相同;響應多樣性則讓它們去面對各種不同風格的對手。

這麼一折騰,每個智慧體都發展出了獨特的棋風。有的偏愛特定開局,有的對兵的結構有偏好,有的甚至表現出完全不同的棄子與保子傾向。

按照 DeepMind 的說法,這個靈感其實來自人類棋壇。比如當年轟動一時的「卡斯帕羅夫對戰全世界」,卡斯帕羅夫曾說自己一生從沒在哪場比賽裡耗費過這麼多心血;國際象棋特級大師在準備重大比賽時,也總會找一群風格迥異的高手當陪練和幕僚。

專人專辦,戰力直接漲 50 分

風格分化之後,遇上難題就體現出協同的威力了。研究人員找來一批高難度棋題,其中不少是專門為了誘騙棋類引擎而設計的陷阱題。

測試結果顯示,在思考時間充足的情況下,AZdb 解出的難題數量是單個 AlphaZero 的兩倍。因為每個智慧體各有所長,面對詭異走法時,總有一個能跳出常規思維找到正解。

到了實戰對弈,DeepMind 用了一套叫「次加性規劃」的方法。說白了就是兵來將擋,系統會看對手走了什麼開局,然後挑一個最擅長這種局面的智慧體出戰。

靠著這種田忌賽馬加專家會診的打法,AZdb 在面對原版單體 AlphaZero 時,ELO 積分直接淨漲了 50 分。

為什麼重要

長期以來,強化學習的一大瓶頸就是容易在自己的舒適圈裡過擬合,算力再堆上去,遇到盲區還是會撞牆。DeepMind 這次做得很聰明的一點,是承認了單一模型在探索廣度上的天然缺陷,轉而用多智慧體系統在資料分佈之外硬拓出一條路。

我們認為,這對整個 AI 領域——尤其是複雜推理和程式碼生成的研發方向——很有啟發。未來的主力系統很可能不再追求把一個模型撐得無限大,而是由幾個專注不同思路的小模型組合決策,用「團隊開會」來解決幻覺和死衚衕。

不過這種多智慧體方案的隱患也很明顯。維持一個多樣化團隊,訓練和推理成本都會成倍增加;而且開局派遣機制在象棋裡好界定,到了開放世界的非結構化任務中,怎樣準確評估哪個智慧體更靠譜,目前看起來還沒有現成的標準答案。

來源 (1)

  1. [1]
    the-decoder.com(在新分頁開啟)原文the-decoder.com

每日 AI 內容精選