멀티에이전트 벤치마크 'TextArena' 공개…57개 텍스트 게임으로 LLM 심리전 평가

객관식 문제를 풀거나 코드를 작성하는 정적 평가만으로는 대규모 언어 모델(LLM)의 진정한 의사결정 능력을 가늠하기 어려워졌습니다.

연구자 León Guertler 등은 LLM의 자율적 에이전트 역량을 평가하고 훈련하기 위한 벤치마크 플랫폼 'TextArena'를 arXiv에 공개했습니다. 총 57개 이상의 경쟁형 텍스트 기반 게임으로 구성되어 있습니다.

텍스트 게임 속에서 벌어지는 두뇌 싸움

TextArena는 단순한 질의응답을 넘어 멀티 에이전트 협업, 멀티턴 추론, 장기 계획 능력을 집중적으로 측정합니다.

게임의 핵심은 협상, 기만, 타인의 의도를 읽는 '마음 이론'과 같은 복잡한 사회적 상호작용입니다. 정해진 정답을 맞히는 것이 아니라 상대의 반응에 맞춰 전략을 수정해야 합니다.

모델 간 대결은 물론 사람과 모델의 대전도 지원하며, 실시간 TrueSkill 평점 시스템을 도입해 모델의 상대적 역량을 정밀하게 추적할 수 있도록 설계되었습니다.

왜 중요한가

AI 평가의 초점이 지식 암기에서 동적 상호작용과 전략적 판단으로 넘어가고 있음을 보여줍니다. 협상이나 조율 작업을 수행하는 에이전트를 개발 중인 연구팀이라면 복잡한 게임 환경을 직접 구축하지 않고도 활용할 수 있습니다.

무거운 3D 그래픽이나 물리 엔진 대신 텍스트 환경을 선택해 연산 비용을 대폭 낮춘 점도 영리한 접근입니다.

다만 규칙이 정해진 텍스트 게임 안에서의 뛰어난 책략이 불확실성이 큰 현실 세계의 복잡한 업무 환경으로 얼마나 매끄럽게 전이될 수 있을지는 지켜볼 대목입니다.