DeepMindが新チェスAI「AZdb」を発表：AlphaZeroを上回る難問解決力

自己対戦による強化学習でチェス界を席巻したGoogle DeepMindのAlphaZeroですが、エンジンを罠にかけるために作られた特殊な難問には、依然として手を焼くことがありました。

そこでDeepMindの研究チームは、1つの完璧な頭脳を作るアプローチを改めました。複数の異なるプレイスタイルを持つAlphaZeroを結集した合議制システム「AZdb」を開発し、オリジナルのAlphaZeroを打ち負かすことに成功したと発表しました。

個性を競わせるリーグ戦

AZdbの根底にあるのは多様性の追求です。研究チームは、エージェント間で平均的な駒の配置を意図的にズラす行動的多様性と、異なる相手と対局させる応答的多様性という2つの手法を取り入れました。

これにより、あるエージェントは特定の序盤定跡を好み、別のエージェントは独特のポーン構造や駒の生存率を重視するなど、それぞれに明確な棋風が生まれました。

この仕組みは、カスパロフが人生で最も労力を費やしたと語った「カスパロフ対世界選抜」の文通チェスや、グランドマスターが異なるスタイルの選手たちを揃えて大一番に備えるチーム作りに着想を得ています。

得意分野を活かしてレーティングを50引き上げ

多様性を手に入れたAZdbは、エンジンを騙す目的で作られた極めて難解なチェスパズルにおいて、十分な思考時間を与えた場合、単体のAlphaZeroの2倍もの問題を解き明かしました。

さらに実戦では「劣加法的計画」と呼ばれる手法を採用しました。これは、盤面の序盤展開に応じて最もその局面に強いエージェントを適宜登板させる戦略です。

この専門特化の分業体制により、AZdbは従来のAlphaZero単独のパフォーマンスを50 ELOレーティングも上回る成績を収めました。

なぜ重要か

単一の巨大モデルに計算資源を注ぎ込んでも、自己対戦の枠内で局所最適に陥るという強化学習の弱点を、モデルの多様性によって打破した点は非常に賢明なアプローチだと考えられます。

この成果はチェスにとどまらず、複雑な推論やコード生成など、AIエージェント全般のアーキテクチャに影響を与えるはずです。今後は単一モデルの巨大化よりも、異なる思考バイアスを持たせた複数モデルを協調させるシステムが主流になる可能性があります。

ただし、複数のエージェントを同時に維持・運用するための計算コストは大幅に跳ね上がります。また、チェスのように序盤定跡で担当を綺麗に切り替えられない現実世界のタスクにおいて、どのエージェントに意思決定を任せるべきかの判断は、依然として高いハードルになりそうです。