MS, 튜토리얼 영상을 에이전트 실행 스킬로 자동 증류하는 'Resource2Skill' 오픈소스 공개

마이크로소프트가 오픈소스로 공개한 Resource2Skill은 인간용 튜토리얼 영상, 코드, 기술 문서를 AI 에이전트가 직접 실행할 수 있는 스킬로 자동 증류해 주는 프레임워크다.

그동안 에이전트에게 전문적인 작업 방식을 가르치려면 사람이 직접 영상을 보고 핵심을 정리해 프롬프트나 스크립트를 작성해야 했다. Resource2Skill은 이 과정을 자동화한다. 이렇게 추출된 스킬을 장착한 에이전트는 실제 소프트웨어 도구를 제어해 완성도 높은 웹페이지, 파워포인트 문서, 엑셀 워크북, 블렌더 3D 씬, 리퍼 기반 오디오 트랙을 스스로 만들어낸다.

단순 프롬프트가 아닌 실행 가능한 멀티모달 자산

최근 에이전트 스킬이라는 개념이 널리 쓰이고 있지만, 대다수는 텍스트 형태의 지침서나 시스템 프롬프트에 머물러 있다.

Resource2Skill의 접근법은 완전히 다르다. 텍스트 지침 대신 MCP 서버에 물려 실제로 구동할 수 있는 계층형 실행 자산으로 스킬을 설계했다.

런타임은 크게 두 가지 영역으로 나뉜다. skills_wiki 디렉터리는 구조화된 텍스트, 코드 조각, 시각적 예시, 출처 메타데이터를 담고 있어 에이전트가 작업 계획을 세울 때 검색하고 탐색하는 데 쓰인다.

반면 skills_library 디렉터리는 MCP 서버와 연동되어 소프트웨어를 실제로 조작하는 실행 코드가 담긴다.

입력 데이터의 역할도 체계적으로 나눴다. 영상에서는 시간에 따른 조작 순서를, 코드에서는 실행 패턴을, 문서에서는 기반 개념을 추출해 결합한다. 연구 논문에 따르면 이 스킬을 탑재한 에이전트는 기본 에이전트 대비 작업 성공률이 11.9%포인트 상승했으며, 28개 모델 및 도메인 조합 평가 중 26개에서 우위를 점했다.

로컬 환경에서 실행하는 방법

이 프로젝트는 MIT 라이선스로 배포되었으며, 런타임 코드뿐만 아니라 미리 증류된 스킬 데이터셋도 허깅페이스에 함께 공개되어 있다.

실행 환경으로는 Python 3.11이 필요하다. 깃허브 저장소를 클론하고 의존성을 설치한 뒤, 사용하려는 작업 도메인에 맞춰 추가 시스템 패키지를 구성하면 된다.

웹 제작 도메인은 Playwright와 크로미엄이 필요하고, 파워포인트 렌더링은 리브레오피스를 요구한다. 블렌더 작업은 bpy 모듈을 통해 헤드리스 환경을 구성하며, 오디오 작곡은 fluidsynth 라이브러리와 MIDI 사운드폰트가 필요하다.

새로운 스킬을 뽑아내는 과정은 직관적이다. cli.py 명령에 유튜브 영상 링크만 넘기면 단일 영상에서 스킬을 추출해 낸다. 대량 수집용 데몬도 내장되어 있어 정해진 할당량에 따라 깃허브나 유튜브에서 자료를 자동으로 긁어와 증류할 수도 있다.

왜 중요한가

에이전트 기반 자동화 파이프라인이나 MCP 도구를 개발하고 있다면 직접 실행해 볼 만하다. 에이전트의 역량을 키우기 위해 개발자가 일일이 수작업으로 지침을 작성하던 병목을, 이미 온라인에 널려 있는 고품질 튜토리얼 영상을 활용해 시원하게 뚫어주기 때문이다.

인간을 위해 만들어진 튜토리얼 콘텐츠를 에이전트의 실행 코드로 역컴파일해 내는 발상은 매우 영리하다. 소프트웨어별 로컬 구동 환경을 세팅하는 과정이 다소 까다롭고 영상 분석 품질이 기반 모델 성능에 크게 좌우된다는 한계는 있지만, 실무 데스크톱 애플리케이션을 자율 에이전트에게 맡기려는 흐름에서 중요한 도구가 될 것으로 보인다.