‘감’으로 하던 테스트는 그만: 구글 랩스, LLM 평가 툴 Stax 출시

프롬프트를 조금 고치고 서너 번 실행해 본 뒤, 화면에 나온 답변을 보며 '이전보다 나아진 것 같다'고 느끼는 순간이 있습니다. 하지만 실제로 개선된 것인지는 확신하기 어렵습니다. 많은 AI 개발자들이 여전히 감에 의존하는 '바이브 테스팅(vibe testing)'의 굴레에 머물러 있는 이유입니다.

Google Labs는 Google DeepMind와 협력해 LLM 평가 과정을 체계화하는 실험적 개발자 도구 'Stax'를 공개했습니다. 느낌에 의존한 배포를 끝내고, 재현 가능한 정량적 평가 파이프라인을 제공하겠다는 목표입니다.

LLM을 심사위원으로 쓰는 '오토레이터'

전통적인 소프트웨어와 달리 대규모 언어 모델은 같은 입력값에도 매번 다른 출력을 내놓는 비결정적 특성을 지닙니다. 기존의 단위 테스트 방식으로는 프롬프트 수정이 시스템을 진짜로 개선했는지 검증하기 어렵습니다.

직접 평가 파이프라인을 구축하려면 데이터셋 가공, API 호출 관리, 출력 파싱까지 온갖 부가 작업에 시달려야 합니다.

Stax는 대형 모델을 평가자로 쓰는 LLM-as-a-judge 방식인 '오토레이터(Autoraters)'를 핵심 해법으로 내세웁니다. Gemini와 같은 강력한 모델에 명확한 채점 지침을 주고, 다른 모델의 응답을 평가하게 만드는 구조입니다.

테스트 케이스가 담긴 CSV 파일을 업로드하거나 웹 인터페이스에서 직접 프롬프트와 정답 데이터(ground-truth)를 구축할 수 있습니다.

일관성, 사실성, 간결함 등 자주 쓰이는 지표는 사전 제작된 평가기로 즉시 측정할 수 있어 몇 분 만에 수치화된 결과를 확인하게 해 줍니다.

우리 서비스만의 맞춤형 평가 기준 설계

시중에 공개된 범용 벤치마크는 모델의 일반적인 성능을 보여줄 뿐, 특정 기업의 브랜드 어조나 서비스 내부 규칙을 만족하는지는 알려주지 못합니다.

Stax의 핵심 경쟁력은 개발자가 직접 맞춤형 오토레이터를 만들 수 있다는 점입니다.

어떤 답변이 우리 서비스에 적합한지 기준을 정의하면, 전체 데이터셋을 대상으로 대규모 자동 채점을 실행할 수 있습니다.

Stax는 현재 stax.withgoogle.com에서 사용해 볼 수 있으며, 사용자 피드백을 위한 공식 Discord 채널도 운영되고 있습니다.

왜 중요한가

프롬프트 엔지니어링이나 AI 에이전트를 개발 중인 실무자에게 평가 인프라 구축은 늘 부담스러운 영역이었습니다. Stax는 복잡한 프레임워크를 직접 연동하지 않아도 스프레드시트 하나로 정량 검증을 시작할 수 있게 진입 장벽을 대폭 낮췄습니다. 현재 운영 중인 프롬프트가 있다면 바로 올려서 비교해 볼 가치가 충분합니다.

업계 관점에서 보면, 생성형 AI 서비스 개발은 이제 '감각적인 프롬프트 작성'에서 '엄격한 평가 기반 엔지니어링'으로 패러다임이 이동하고 있습니다. Google이 DeepMind의 평가 노하우를 패키징해 무료에 가까운 실험 도구로 푼 것은 개발자들을 자사 Gemini 생태계에 묶어두려는 영리한 전략으로 보입니다.

다만 LLM이 LLM을 채점하는 방식은 긴 문장을 선호하거나 특정 어조에 편향되는 한계를 지닙니다. 우리는 Stax가 평가의 반복 주기를 획기적으로 줄여줄 수는 있어도, 정기적인 사람의 검수 없이 오토레이터 점수만 맹신하는 것은 위험할 수 있다고 봅니다.