앤트로픽, 클로드 skill-creator 업데이트: 노코드로 에이전트 스킬 테스트 지원

AI 에이전트를 위한 스킬을 만드는 사람 중 다수는 전문 개발자가 아닙니다. 법무, 인사, 재무 등 특정 업무에 정통한 실무자가 대부분이지만, 이들은 기본 파운데이션 모델이 업데이트되었을 때 기존 스킬이 여전히 정상 작동하는지 검증할 마땅한 수단이 없었습니다.

Anthropic은 이러한 문제를 해결하기 위해 Claude의 스킬 제작 도구인 skill-creator를 대폭 업데이트했습니다. 코드를 한 줄도 작성하지 않고도 소프트웨어 엔지니어링 수준의 평가와 벤치마크를 수행할 수 있도록 지원합니다.

이번 기능은 현재 Claude.ai와 Cowork에 적용되었으며, Claude Code 플러그인 및 공식 GitHub 저장소를 통해서도 제공됩니다.

코딩 없이 작성하는 평가 테스트와 벤치마크

Anthropic은 스킬을 두 가지로 분류합니다. 모델이 기본적으로 잘 처리하지 못하는 영역을 보완하는 역량 강화 스킬과, 팀의 고유 업무 순서를 정의하는 프로세스 규정 스킬입니다.

업데이트된 skill-creator에서는 테스트 프롬프트와 샘플 파일, 기대하는 결과물의 기준을 지정해 평가 세트(evals)를 손쉽게 구축할 수 있습니다.

실제로 Anthropic 자체 PDF 스킬의 경우, 입력 필드가 없는 문서 양식에 정확한 좌표로 텍스트를 배치하지 못하는 문제가 있었습니다. 팀은 평가 세트를 통해 실패 지점을 격리해 파악한 뒤, 텍스트 좌표 앵커링 방식으로 버그를 수정했습니다.

또한 표준화된 벤치마크 모드가 추가되어 스킬의 통과율, 소요 시간, 토큰 사용량을 한눈에 추적할 수 있습니다. 평가 데이터와 결과는 로컬에 저장하거나 팀의 CI 파이프라인에 직접 연결할 수 있습니다.

멀티 에이전트 병렬 처리와 블라인드 A/B 테스트

테스트 속도를 높이고 이전 대화 맥락이 다른 테스트에 영향을 주는 간섭 현상을 막기 위해, skill-creator는 독립된 에이전트를 병렬로 띄워 평가를 수행합니다.

변경 사항의 실질적 효과를 검증하는 비교 평가 에이전트도 도입되었습니다. 어떤 출력이 수정된 버전인지 모르는 블라인드 상태에서 두 결과물을 비교 판정하므로, 작성자의 주관적 편향을 배제할 수 있습니다.

에이전트가 제때 호출되지 않거나 엉뚱한 요청에 반응하는 오작동을 줄이기 위한 설명 최적화 기능도 탑재되었습니다. 프롬프트 예시를 바탕으로 스킬 설명을 다듬어 주며, Anthropic이 공개 문서 생성 스킬 6개에 적용한 결과 5개 스킬에서 호출 정확도가 개선되었습니다.

왜 중요한가

우리는 Anthropic이 에이전트 실무의 가장 가려운 곳을 정확히 짚었다고 봅니다. 지금까지 에이전트 도구들은 만드는 과정에만 집중했을 뿐, 모델이 업그레이드될 때마다 발생하는 성능 저하와 유지보수 문제를 사실상 방치해 왔기 때문입니다.

비개발 실무자 입장에서는 엔지니어링 팀의 지원 없이도 자신이 만든 업무 자동화 스킬의 신뢰도를 직접 검증할 수 있게 되었습니다. 팀 단위 업무에 Claude 스킬을 적극 도입해 활용 중이라면 지금 즉시 평가 세트를 구성해 볼 가치가 충분합니다.

접근 방식도 영리합니다. 기본 모델 성능이 향상되면서 스킬 없이도 테스트를 통과하기 시작하면, 해당 스킬을 과감히 은퇴시키고 기본 모델에 작업을 맡길 수 있는 객관적 신호를 제공합니다.

다만 테스트 작성 도구가 아무리 직관적인 노코드 환경이라 해도, 예외 상황을 꼼꼼히 반영한 양질의 테스트 케이스를 설계하는 일은 여전히 실무자의 논리적 수고를 필요로 한다는 한계가 있습니다.