DeepMind 打造多智能体象棋系统 AZdb:击败 AlphaZero,解题量翻倍
Google DeepMind 团队推出多智能体系统 AZdb,把多个风格各异的 AlphaZero 组成战队。通过行为多样性训练,智能体各自专精不同开局与阵型;在刁钻的棋局难题中,其解题量达到单体 AlphaZero 的两倍,实战 Elo 积分提高 50 分。

哪怕强如 AlphaZero,也经常被一些专门刁难 AI 的奇葩国际象棋残局难住。单打独斗的 AI 算力再猛,也容易钻进思维死角。
为了打破这种局限,Google DeepMind 换了个思路:不搞单个超级棋手了,改搞「智囊团」。他们把多个 AlphaZero 智能体组装成一个联盟系统,代号 AZdb,直接打败了原版 AlphaZero。
让 AI 互相换换脑子
AZdb 的核心逻辑不是拼单一模型的算力,而是引入多样性。DeepMind 给它用了两项关键技术,分别是行为多样性和响应多样性。
行为多样性负责拉开不同智能体下棋的习惯,尽量让它们在棋盘上的平均棋子站位各不相同;响应多样性则让它们去面对各种不同风格的对手。
这么一折腾,每个智能体都发展出了独特的棋风。有的偏爱特定开局,有的对兵的结构有偏好,有的甚至表现出完全不同的弃子与保子倾向。
按照 DeepMind 的说法,这个灵感其实来自人类棋坛。比如当年轰动一时的「卡斯帕罗夫对战全世界」,卡斯帕罗夫曾说自己一生从没在哪场比赛里耗费过这么多心血;国际象棋特级大师在准备重大比赛时,也总会找一群风格迥异的高手当陪练和幕僚。
专人专办,战力直接涨 50 分
风格分化之后,遇上难题就体现出协同的威力了。研究人员找来一批高难度棋题,其中不少是专门为了诱骗棋类引擎而设计的陷阱题。
测试结果显示,在思考时间充足的情况下,AZdb 解出的难题数量是单个 AlphaZero 的两倍。因为每个智能体各有所长,面对诡异走法时,总有一个能跳出常规思维找到正解。
到了实战对弈,DeepMind 用了一套叫「次加性规划」的方法。说白了就是兵来将挡,系统会看对手走了什么开局,然后挑一个最擅长这种局面的智能体出战。
靠着这种田忌赛马加专家会诊的打法,AZdb 在面对原版单体 AlphaZero 时,ELO 积分直接净涨了 50 分。
为什么重要
长期以来,强化学习的一大瓶颈就是容易在自己的舒适圈里过拟合,算力再堆上去,遇到盲区还是会撞墙。DeepMind 这次做得很聪明的一点,是承认了单一模型在探索广度上的天然缺陷,转而用多智能体系统在数据分布之外硬拓出一条路。
我们认为,这对整个 AI 领域——尤其是复杂推理和代码生成的研发方向——很有启发。未来的主力系统很可能不再追求把一个模型撑得无限大,而是由几个专注不同思路的小模型组合决策,用「团队开会」来解决幻觉和死胡同。
不过这种多智能体方案的隐患也很明显。维持一个多样化团队,训练和推理成本都会成倍增加;而且开局派遣机制在象棋里好界定,到了开放世界的非结构化任务中,怎样准确评估哪个智能体更靠谱,目前看起来还没有现成的标准答案。
来源 (1)
- the-decoder.com(在新标签页打开)原文the-decoder.com