MS, 에이전트 스킬을 파라미터처럼 훈련하는 'SkillOpt' 오픈소스 공개

SkillOpt는 마이크로소프트가 오픈소스로 공개한 에이전트 스킬 최적화 프레임워크로, 프롬프트 문서를 인공신경망 파라미터처럼 자동 훈련할 수 있게 돕는 도구입니다.

마이크로소프트는 모델 가중치를 일절 수정하지 않고 에이전트의 지침 문서를 학습 파라미터로 취급하는 SkillOpt를 공개했습니다. 지금까지 에이전트 스킬은 사람이 직접 수정하거나 LLM이 임의로 고치는 식이라 성능이 실제로 개선되었는지 검증하기 어려웠습니다. SkillOpt는 순전파, 역전파, 검증 게이트웨이 등의 딥러닝 방법론을 텍스트 공간에 도입해 컴팩트한 best_skill.md 문서를 자동으로 도출합니다.

에이전트 스킬을 훈련하는 원리

SkillOpt의 훈련 루프는 크게 순전파, 역전파, 텍스트 업데이트의 3단계로 진행됩니다.

순전파 단계에서는 가중치가 고정된 타깃 모델이 현재 스킬 문서를 바탕으로 작업을 수행하고 실행 기록을 남깁니다. 이어 별도의 옵티마이저 모델이 역전파를 수행하며 성공 경로와 실패 원인을 분석합니다.

업데이트 단계에서는 텍스트 학습률 규칙에 따라 작은 분량의 편집안만 제안됩니다. 제안된 스킬은 독립된 검증 데이터셋에서 기존 스킬보다 높은 점수를 얻어야만 통과되며, 탈락한 수정안은 버퍼에 보관되어 향후 같은 실수를 반복하지 않도록 피드백 역할을 합니다. 또한 보도에 따르면 낮 시간대의 대화 기록을 모아 반복 업무를 야간에 스스로 연습하고 통과된 지침을 합치는 SkillOpt-Sleep 기능도 제공합니다.

테스트 성과와 리소스

SkillOpt는 6개 벤치마크와 7개 타깃 모델에 걸친 52개 평가 조건 모두에서 최고 또는 공동 최고 성적을 거뒀습니다.

직접 대화 환경에서 GPT-5.5의 6개 벤치마크 평균 점수는 58.8점에서 82.3점으로 23.5점 올랐습니다. 복잡한 절차가 필요한 SpreadsheetBench 점수는 41.8점에서 80.7점으로, OfficeQA는 33.1점에서 72.1점으로 크게 상승했습니다.

범용성도 뛰어납니다. Codex에서 훈련된 스프레드시트 스킬을 Claude Code 환경에 그대로 넣어도 점수가 22.1점에서 81.8점으로 뛰었습니다. 최적화를 거친 소형 모델 GPT-5.4-mini는 스킬 없는 기본 대형 모델 GPT-5.4의 성능을 앞섰습니다.

최종 배포되는 파일은 중앙값 기준 약 920토큰으로 매우 간결하며, 엄격한 검증을 통과한 1~4건의 핵심 편집만 반영됩니다. 실행 시 추가 API 호출이 전혀 없어 추론 지연 시간도 늘어나지 않습니다. 프로젝트 코드는 GitHub의 microsoft/SkillOpt 저장소에서 바로 확인할 수 있습니다.

왜 중요한가

에이전트 도입 과정에서 모델 가중치를 미세조정하는 방식은 비용이 크고, 수동 프롬프트 작성은 관리가 불가능에 가깝습니다. SkillOpt는 자연어로 된 지침 문서를 검증 가능한 외부 어댑터로 승격시킴으로써 매우 현실적인 대안을 제시했습니다.

평가용 데이터셋과 검증 체계가 마련된 에이전트 개발팀이라면 지금 당장 테스트해 볼 가치가 충분합니다. 대형 모델에 무작정 의존하지 않고도 정밀하게 훈련된 스킬 파일 하나로 에이전트의 안정성과 업무 완수율을 크게 높일 수 있습니다.