터미널벤치, 샌드박스 도구 '하버' 및 2.0 벤치마크 공개

AI 에이전트에게 터미널 명령을 맡길 때 가장 까다로운 점은 실제 시스템을 망가뜨릴 위험과, 기존 평가 기준이 너무 쉬워 실력을 제대로 검증하기 어렵다는 점입니다.

대규모 샌드박스와 더 엄격해진 검증

Alex Shaw는 Terminal-Bench의 다음 단계로 두 가지 신규 릴리스를 발표했습니다.

첫 번째는 격리된 샌드박스 환경에서 대규모로 에이전트 실행(rollouts)을 구동하기 위한 신규 패키지인 Harbor입니다.

두 번째는 Terminal-Bench 2.0입니다. 기존 버전에 비해 난이도를 높이고 결과 검증 절차를 한층 강화한 것이 특징입니다.

왜 중요한가

터미널 에이전트를 개발할 때 안전한 샌드박스 인프라를 대규모로 운영하는 일은 상당한 개발 부담입니다. Harbor는 이 테스트 환경을 패키지 형태로 제공해 에이전트 동작 검증의 진입 장벽을 낮출 수 있습니다.

동시에 모델의 성능이 빠르게 오르면서 기존 벤치마크는 변별력을 잃기 쉽습니다. 난이도를 올리고 검증 기준을 깐깐하게 다듬은 Terminal-Bench 2.0은 에이전트가 복잡한 셸 명령을 실제로 해결할 수 있는지 정확히 가려내는 데 도움이 됩니다.

우리는 에이전트 평가가 단순한 코드 생성을 넘어, 격리된 실행 환경 속에서 엄격한 동적 검증을 거치는 방향으로 빠르게 이동하고 있다고 봅니다.