マルチエージェント評価基盤「TextArena」公開、57種以上のゲームでLLMの駆け引きを検証

静的な選択式テストで大規模言語モデル（LLM）の性能を測る手法は、すでに限界が見え始めています。相手を説得したり、裏をかいたりといった高度な社会的インタラクションを測るにはどうすべきでしょうか。

研究者のLeón Guertler氏らは、arXiv上で新たなベンチマークプラットフォーム「TextArena」を公開しました。LLMのエージェント行動を評価・学習させるための、57種類以上の対戦型テキストゲームを収録しています。

テキスト対戦で試される「心の理論」

TextArenaがターゲットにしているのは、マルチエージェント環境における複数ターンの推論や長期的なプランニング能力です。

ゲームの内容は交渉や欺瞞、他者の意図を推し量る「心の理論」など、複雑な社会的駆け引きを要するものばかりです。単に知識を出力するだけでは勝ち残れません。

モデル同士の対戦だけでなく人間対モデルのプレイにも対応しており、リアルタイムのTrueSkill評価システムを組み込むことで、対戦を通じた実力の変動を追跡できます。

なぜ重要か

LLMの評価基準が「正解を知っているか」から「動的な状況でどう判断するか」へとシフトしている流れを象徴しています。エージェント向けの研究者にとって、自前で対戦環境を組む手間を省ける有用なサンドボックスになるはずです。

3D空間シミュレーションのような重い処理を避け、テキストベースに絞ることで計算コストを低く抑えたアプローチは賢明といえます。

ただし、テキストゲームという明確なルール内での駆け引きが、現実世界のノイズに満ちたビジネス交渉やタスク遂行にどこまで通用するかは、慎重に見極める必要があります。