微软开源 Resource2Skill:把教程视频蒸馏成 Agent 能跑的技能库
微软开源 Resource2Skill,能将教程视频、代码与文章自动蒸馏为智能体可调用的执行技能。提取的技能包含代码与视觉示例,挂载在 MCP 服务器上,支持智能体自主产出网页、PPT、Excel 及 Blender 场景,实测性能提升 11.9 个百分点。

微软开源的 Resource2Skill 是一个能把人类教程视频、开源代码和技术文章,自动提取成智能体可执行技能的工具框架。
以往你想让 AI 学会某套专业工作流,得自己看完视频、提炼步骤,再人工手写成提示词或脚本。Resource2Skill 把这一步全自动化了。跑通之后,智能体可以调用这些蒸馏出的技能,直接产出真正的网页、PowerPoint 幻灯片、Excel 表格、Blender 三维场景以及 REAPER 风格的音频工程。
它和普通的 Prompt 技能有什么区别
这半年智能体领域的 Skill 概念很火,但大多数做法就像 Claude Code 里的文本规范,本质上是一段写给模型看的操作指南。
Resource2Skill 走的是另一条路线。它提取出来的不是纯文本提示,而是一套分层的多模态技能资产,分为两个核心目录。
一层是 skills_wiki 目录,里面存放结构化文本、代码片段、视觉示例、元数据和出处,供智能体在做规划时检索和浏览。
另一层是 skills_library 目录,这里存放的是挂载在 MCP 服务器上的真实运行资产,智能体调用后会直接在后台驱动外部软件干活。
整个提取逻辑把不同素材的优势拆开利用:视频提供时序操作步骤,代码提供可复现的执行模板,技术文章则补充底层概念。根据论文数据,配备这套技能库的智能体任务表现比无技能基准提升了 11.9 个百分点,在 28 个跨模型与跨领域的对比测试中拿下了 26 个。
怎么在本地跑起来
Resource2Skill 遵循 MIT 协议开源,项目不仅放出了代码和运行时,蒸馏好的现成技能库也同步上传到了 Hugging Face。
运行环境需要 Python 3.11。克隆官方仓库后创建虚拟环境并安装 requirements.txt 即可,核心通信依赖 MCP 协议。
项目目前支持五个实操领域,各自需要配合特定的系统依赖。跑网页任务需要安装 Playwright 和 Chromium;生成可编辑的 PPT 需要安装 LibreOffice;生成三维场景需要通过 pip 安装无头版本的 Blender 模块 bpy;生成音频则需要安装 fluidsynth 库并指定声音字体文件。
配置好模型接口密钥后,你可以直接用一条命令分析视频提取技能。比如执行 python cli.py analyze 加上 YouTube 视频链接,程序就会自动解析并沉淀出对应技能。项目还附带批量处理工具和守护进程,能按配额从 GitHub 或视频平台自动拉取素材蒸馏。
如果你想直接验证效果,可以用 cli.py 搭配预设领域和提示词直接派发任务,生成的结果会自动保存在本地目录中。
为什么重要
如果你在给智能体搭建复杂工作流,或者正在维护基于 MCP 的自动化工具链,Resource2Skill 非常值得拉下来试一试。它最大的亮点在于解决了技能资产的生产瓶颈:以前教 AI 掌握专业软件全靠工程师逐字手写,现在用高质量的教学视频就能低成本批量喂出新技能。
我们认为,这也是智能体从单纯调用 API 走向真实桌面环境操作的关键一步。不过目前这套系统的门槛依然不低,各个软件的底层环境配置相当繁琐,视频解析对多模态模型的理解精度依赖也极高。但对于需要让智能体批量接管专业软件任务的开发者来说,这套把人类现成教程直接反编译成机器能力的思路,指明了一个非常实用的方向。
来源 (1)
- github.com(在新标签页打开)原文github.com