マルチエージェント評価基盤「TextArena」公開、57種以上のゲームでLLMの駆け引きを検証
マルチエージェント評価ベンチマーク「TextArena」の論文がarXivで公開された。交渉や騙し合い、心の理論などを試す57種類以上の対戦型テキストゲームを収録。リアルタイムTrueSkillや人間対モデル、モデル同士の対戦に対応し、LLMの推論と計画能力を測定できる。
マルチエージェント評価ベンチマーク「TextArena」の論文がarXivで公開された。交渉や騙し合い、心の理論などを試す57種類以上の対戦型テキストゲームを収録。リアルタイムTrueSkillや人間対モデル、モデル同士の対戦に対応し、LLMの推論と計画能力を測定できる。