多智能体基准 TextArena 上线：用 57 款文字游戏测大模型「心机」

首次发布 2025年4月16日 UTC 04:01传播指数 31

评测基准 TextArena 论文上线 arXiv。它包含 57 款以上的竞技类文本游戏，专门测试大模型在谈判、欺骗和心智理论等场景下的智能体表现。系统支持实时 TrueSkill 评分、多人对抗以及人机互搏，为检验模型的多轮规划能力提供了新竞技场。

测大模型写代码、做选择题已经不新鲜了，但如果让两个 AI 坐在一起互相谈判甚至「耍心机」呢？

研究者 León Guertler 近日在 arXiv 上公布了一个名为 TextArena 的新基准平台。它汇集了超过 57 款具有竞争性的文字游戏，专门用来评估和训练大语言模型在多智能体环境下的自主行为。

在文字对抗里测出「心智」

和常见的单向问答不同，TextArena 关注的是多智能体协同、多轮推理和长线规划能力。

这些游戏设计涵盖了欺骗、谈判以及心智理论等复杂的动态社交博弈。模型既不能只靠死记硬背，也不能单凭套路取胜，必须根据对手的反应实时调整策略。

平台支持多人参与，涵盖模型对战以及人机对战模式，并且引入了实时的 TrueSkill 评分系统，方便研究者实时追踪模型在博弈对抗中的战力变化。

我们认为，大模型的评测重心正在从静态答题转向动态决策。如果你的团队正在研发具有规划能力的自主智能体，TextArena 提供了一个开箱即用的对战沙盒，不用再从头手搓复杂的博弈环境。

它的聪明之处在于选择了纯文本形式。文字交互避开了昂贵的图形渲染和物理模拟开销，让多轮博弈的训练与评测变得极轻量。

不过看起来也有局限。文字游戏里的算计和博弈终究有明确规则，模型在受限规则下的出色表现，能否顺利迁移到现实世界里充满噪音的复杂任务中，依然需要打个问号。