앤트로픽 콘솔에 프롬프트 평가 기능 도입: 테스트 케이스 자동 생성 및 비교 지원

AI 기능을 개발할 때 프롬프트를 조금 고쳤다가 다른 케이스에서 엉뚱한 답변이 튀어나오는 일은 흔합니다. 지금까지 많은 개발자들이 엑셀이나 구글 스프레드시트에 테스트 질문과 답변을 일일이 복사해 붙여넣으며 눈으로 비교하곤 했습니다.

Anthropic이 7월 9일 개발자 콘솔(Anthropic Console)에 프롬프트 테스트 및 평가 기능을 새롭게 추가했습니다. 프롬프트 작성부터 테스트 케이스 생성, 결과 비교까지 콘솔 안에서 한 번에 처리할 수 있게 됐습니다.

Claude가 직접 만드는 테스트 케이스

이번 콘솔 업데이트에는 Claude 3.5 Sonnet 기반의 프롬프트 생성기가 기본 포함됩니다. 예를 들어 "고객 문의 티켓 분류"처럼 원하는 작업 내용만 간단히 입력하면, 모델이 완성도 높은 프롬프트를 자동으로 작성해 줍니다.

프롬프트를 만든 뒤에는 실제 환경에서 잘 작동하는지 검증할 데이터가 필요합니다. 콘솔의 테스트 케이스 생성 기능을 쓰면 프롬프트 변수에 들어갈 가상 고객 문의 등을 Claude가 알아서 만들어 줍니다. 이미 준비된 테스트 데이터가 있다면 CSV 파일로 한 번에 불러오거나 수동으로 추가할 수도 있으며, 변수 조건을 세부적으로 조정하는 것도 가능합니다.

나란히 두고 비교하고 5점 만점으로 채점

테스트 세트가 갖춰지면 클릭 한 번으로 모든 테스트 케이스를 실행할 수 있습니다. 프롬프트를 수정한 뒤 새 버전을 만들고 동일한 테스트 세트를 다시 돌리는 작업도 간단합니다.

콘솔 화면에서는 둘 이상의 프롬프트 결과를 나란히 띄워놓고 직접 비교해 볼 수 있습니다. 여기에 5점 척도 평가 기능도 지원되어, 현업 전문가가 모델 답변의 품질을 직접 채점하며 프롬프트 수정이 실제로 개선으로 이어졌는지 수치로 확인할 수 있습니다.

테스트 케이스 생성과 출력 비교 기능은 현재 Anthropic Console의 모든 사용자에게 제공되고 있습니다.

왜 중요한가

프롬프트 엔지니어링이 실제 서비스 개발 단계로 넘어가면 가장 번거로운 작업이 바로 회귀 테스트입니다. 하나를 고치려다 다른 정상 답변이 망가지는 것을 막으려면 수많은 입력값에 대해 테스트를 반복해야 하는데, 전용 툴을 구축하지 않은 팀에게는 상당한 부담이었습니다.

Anthropic이 콘솔 안에 테스트 세트 생성과 CSV 가져오기, 나란히 비교하기 기능을 내장한 것은 개발자들의 이 같은 수작업을 크게 줄여줍니다. 외부 프롬프트 관리 도구를 따로 결제하거나 파이썬 스크립트를 짜지 않아도 콘솔 안에서 즉시 검증 사이클을 돌릴 수 있게 된 셈입니다.

다만 이 기능은 철저히 Claude 생태계 안에 묶여 있다는 한계가 있습니다. GPT-4o 같은 다른 모델과 교차 비교를 하거나 대규모 배포 파이프라인에 자동 평가를 연동해야 하는 팀이라면 여전히 서드파티 툴이 필요합니다. 그럼에도 Claude를 메인으로 프로토타입을 만들거나 서비스를 고도화하는 개발자에게는 스프레드시트 노가다를 없애주는 아주 실용적인 개선입니다.