微軟開源 Resource2Skill:把教程影片蒸餾成 Agent 能跑的技能庫
微軟開源 Resource2Skill,能將教程影片、程式碼與文章自動蒸餾為智慧體可呼叫的執行技能。提取的技能包含程式碼與視覺示例,掛載在 MCP 伺服器上,支援智慧體自主產出網頁、PPT、Excel 及 Blender 場景,實測效能提升 11.9 個百分點。

微軟開源的 Resource2Skill 是一個能把人類教程影片、開原始碼和技術文章,自動提取成智慧體可執行技能的工具框架。
以往你想讓 AI 學會某套專業工作流,得自己看完影片、提煉步驟,再人工手寫成提示詞或指令碼。Resource2Skill 把這一步全自動化了。跑通之後,智慧體可以呼叫這些蒸餾出的技能,直接產出真正的網頁、PowerPoint 幻燈片、Excel 表格、Blender 三維場景以及 REAPER 風格的音訊工程。
它和普通的 Prompt 技能有什麼區別
這半年智慧體領域的 Skill 概念很火,但大多數做法就像 Claude Code 裡的文本規範,本質上是一段寫給模型看的操作指南。
Resource2Skill 走的是另一條路線。它提取出來的不是純文本提示,而是一套分層的多模態技能資產,分為兩個核心目錄。
一層是 skills_wiki 目錄,裡面存放結構化文本、程式碼片段、視覺示例、後設資料和出處,供智慧體在做規劃時檢索和瀏覽。
另一層是 skills_library 目錄,這裡存放的是掛載在 MCP 伺服器上的真實執行資產,智慧體呼叫後會直接在後臺驅動外部軟體幹活。
整個提取邏輯把不同素材的優勢拆開利用:影片提供時序操作步驟,程式碼提供可復現的執行模板,技術文章則補充底層概念。根據論文資料,配備這套技能庫的智慧體任務表現比無技能基準提升了 11.9 個百分點,在 28 個跨模型與跨領域的對比測試中拿下了 26 個。
怎麼在本地跑起來
Resource2Skill 遵循 MIT 協議開源,專案不僅放出了程式碼和執行時,蒸餾好的現成技能庫也同步上傳到了 Hugging Face。
執行環境需要 Python 3.11。克隆官方倉庫後建立虛擬環境並安裝 requirements.txt 即可,核心通訊依賴 MCP 協議。
專案目前支援五個實操領域,各自需要配合特定的系統依賴。跑網頁任務需要安裝 Playwright 和 Chromium;生成可編輯的 PPT 需要安裝 LibreOffice;生成三維場景需要通過 pip 安裝無頭版本的 Blender 模組 bpy;生成音訊則需要安裝 fluidsynth 庫並指定聲音字型檔案。
配置好模型介面金鑰後,你可以直接用一條命令分析影片提取技能。比如執行 python cli.py analyze 加上 YouTube 影片連結,程式就會自動解析並沉澱出對應技能。專案還附帶批次處理工具和守護程序,能按配額從 GitHub 或影片平臺自動拉取素材蒸餾。
如果你想直接驗證效果,可以用 cli.py 搭配預設領域和提示詞直接派發任務,生成的結果會自動儲存在本地目錄中。
為什麼重要
如果你在給智慧體搭建複雜工作流,或者正在維護基於 MCP 的自動化工具鏈,Resource2Skill 非常值得拉下來試一試。它最大的亮點在於解決了技能資產的生產瓶頸:以前教 AI 掌握專業軟體全靠工程師逐字手寫,現在用高質量的教學影片就能低成本批次喂出新技能。
我們認為,這也是智慧體從單純呼叫 API 走向真實桌面環境操作的關鍵一步。不過目前這套系統的門檻依然不低,各個軟體的底層環境配置相當繁瑣,影片解析對多模態模型的理解精度依賴也極高。但對於需要讓智慧體批次接管專業軟體任務的開發者來說,這套把人類現成教程直接反編譯成機器能力的思路,指明瞭一個非常實用的方向。
來源 (1)
- github.com(在新分頁開啟)原文github.com