多智慧體基準 TextArena 上線：用 57 款文字遊戲測大模型「心機」

首次發布 2025年4月16日 04:01 [UTC]傳播指數 31

評測基準 TextArena 論文上線 arXiv。它包含 57 款以上的競技類文本遊戲，專門測試大模型在談判、欺騙和心智理論等場景下的智慧體表現。系統支援即時 TrueSkill 評分、多人對抗以及人機互搏，為檢驗模型的多輪規劃能力提供了新競技場。

測大模型寫程式碼、做選擇題已經不新鮮了，但如果讓兩個 AI 坐在一起互相談判甚至「耍心機」呢？

研究者 León Guertler 近日在 arXiv 上公佈了一個名為 TextArena 的新基準平臺。它彙集了超過 57 款具有競爭性的文字遊戲，專門用來評估和訓練大語言模型在多智慧體環境下的自主行為。

在文字對抗裡測出「心智」

和常見的單向問答不同，TextArena 關注的是多智慧體協同、多輪推理和長線規劃能力。

這些遊戲設計涵蓋了欺騙、談判以及心智理論等複雜的動態社交博弈。模型既不能只靠死記硬背，也不能單憑套路取勝，必須根據對手的反應即時調整策略。

平臺支援多人參與，涵蓋模型對戰以及人機對戰模式，並且引入了即時的 TrueSkill 評分系統，方便研究者即時追蹤模型在博弈對抗中的戰力變化。

我們認為，大模型的評測重心正在從靜態答題轉向動態決策。如果你的團隊正在研發具有規劃能力的自主智慧體，TextArena 提供了一個開箱即用的對戰沙盒，不用再從頭手搓複雜的博弈環境。

它的聰明之處在於選擇了純文本形式。文字互動避開了昂貴的圖形渲染和物理模擬開銷，讓多輪博弈的訓練與評測變得極輕量。

不過看起來也有侷限。文字遊戲裡的算計和博弈終究有明確規則，模型在受限規則下的出色表現，能否順利遷移到現實世界裡充滿噪音的複雜任務中，依然需要打個問號。