Anthropic 升级 skill-creator：无需写代码，给 Claude 技能做测试

很多给 AI 写技能插件的人，其实根本不是程序员。他们可能是法务专家、财务顾问或者运营主管，知道自家的标准工作流该怎么走，但一旦底层大模型升级，谁也吃不准上个月好端端的技能现在有没有暗中翻车。

Anthropic 最近就瞄准了这个痛点，正式升级了 Claude 的技能制作工具 skill-creator。这次更新把软件工程里的一整套测试与基准评测搬了过来，但全程不需要写代码。

目前这套新功能已经在 Claude.ai、Cowork 上线，同时也作为 Claude Code 插件和开源代码放到了 GitHub 上。

把软件测试搬进无代码工作流

Anthropic 把技能分为两类：一类是补齐模型短板的能力提升技能，比如按特定坐标格式生成复杂文档；另一类是固定流程的偏好技能，比如按照法务标准逐条审核保密协议。

以前修改技能纯凭感觉，现在 skill-creator 允许作者编写评测用例（evals）。作者只需要给出测试提示词、配合的参考文件，并说明什么样的输出算合格，系统就会自动跑测试。

官方举了个例子：他们自家的 PDF 技能过去在处理无法填写的表单时经常文字跑偏，团队正是通过 eval 抓出了坐标漂移的 bug，随后通过提取文字坐标锚点修好了这个问题。

工具还内置了基准测试模式，每次模型更新或改动技能时，能直接拉出一张成绩单，统计测试通过率、运行耗时以及 Token 消耗量。评测数据全归用户所有，可以保存在本地，也能直接接入工程团队的持续集成（CI）系统。

找两个 AI 当盲测裁判

为了不让前一个测试的上下文污染后面的结果，skill-creator 引入了多智能体并行机制。每个评测用例都会在干净独立的上下文中运行，速度更快，也不串味。

更巧妙的是 A/B 比较器。系统会派出独立的裁判智能体，在不知道哪个是新版、哪个是旧版（或者一个有技能、一个没技能）的盲测状态下打分，直观告诉你这次改动到底是真提升还是负优化。

另外，技能能不能在恰当的时候被触发也是个老大难问题。写得太宽容易瞎响应，写得太窄又搜不到。新加入的描述优化器会分析现有描述与测试提示词，给出修改建议，Anthropic 在自家的 6 个公开文档生成技能上测试，有 5 个的触发准确率得到了提升。

为什么重要

我们认为，Anthropic 这次走了一步非常扎实的棋。大模型智能体过去最让人头疼的不是写不出第一个版本，而是维护成本极高，模型一换代，原来的 prompt 和工作流就可能悄悄失效。

对业务专家和普通团队来说，这套工具让他们不必依赖工程师去搭测试流水线，自己就能在界面里给技能做体检。值不值得现在试？如果你在 Claude 里维护了团队级的标准流程或自动化脚本，非常值得立刻跑一次 eval。

从行业竞争来看，其他家还在卷怎么生成技能，Anthropic 已经开始做技能的全生命周期管理了。它聪明的地方在于提出了一个现实判断：随着基模越来越强，很多早期的能力提升技能终究会被底层模型吃掉。通过 eval，团队能第一时间发现基模哪怕不挂技能也能满分通关，从而果断淘汰冗余脚本。

隐患在于，虽然省去了写测试代码的门槛，但设计一套高质量、覆盖边界情况的评测用例本身依然需要逻辑严密的心智负担。如果业务人员懒得配测试集，这套精密工具依然会被闲置。