Anthropic 升級 skill-creator：無需寫程式碼，給 Claude 技能做測試

很多給 AI 寫技能外掛的人，其實根本不是程式設計師。他們可能是法務專家、財務顧問或者運營主管，知道自家的標準工作流該怎麼走，但一旦底層大模型升級，誰也吃不準上個月好端端的技能現在有沒有暗中翻車。

Anthropic 最近就瞄準了這個痛點，正式升級了 Claude 的技能製作工具 skill-creator。這次更新把軟體工程裡的一整套測試與基準評測搬了過來，但全程不需要寫程式碼。

目前這套新功能已經在 Claude.ai、Cowork 上線，同時也作為 Claude Code 外掛和開原始碼放到了 GitHub 上。

把軟體測試搬進無程式碼工作流

Anthropic 把技能分為兩類：一類是補齊模型短板的能力提升技能，比如按特定座標格式生成複雜文件；另一類是固定流程的偏好技能，比如按照法務標準逐條稽核保密協議。

以前修改技能純憑感覺，現在 skill-creator 允許作者編寫評測用例（evals）。作者只需要給出測試提示詞、配合的參考檔案，並說明什麼樣的輸出算合格，系統就會自動跑測試。

官方舉了個例子：他們自家的 PDF 技能過去在處理無法填寫的表單時經常文字跑偏，團隊正是通過 eval 抓出了座標漂移的 bug，隨後通過提取文字座標錨點修好了這個問題。

工具還內建了基準測試模式，每次模型更新或改動技能時，能直接拉出一張成績單，統計測試通過率、執行耗時以及 Token 消耗量。評測資料全歸使用者所有，可以儲存在本地，也能直接接入工程團隊的持續整合（CI）系統。

找兩個 AI 當盲測裁判

為了不讓前一個測試的上下文汙染後面的結果，skill-creator 引入了多智慧體並行機制。每個評測用例都會在乾淨獨立的上下文中執行，速度更快，也不串味。

更巧妙的是 A/B 比較器。系統會派出獨立的裁判智慧體，在不知道哪個是新版、哪個是舊版（或者一個有技能、一個沒技能）的盲測狀態下打分，直觀告訴你這次改動到底是真提升還是負最佳化。

另外，技能能不能在恰當的時候被觸發也是個老大難問題。寫得太寬容易瞎響應，寫得太窄又搜不到。新加入的描述最佳化器會分析現有描述與測試提示詞，給出修改建議，Anthropic 在自家的 6 個公開文件生成技能上測試，有 5 個的觸發準確率得到了提升。

為什麼重要

我們認為，Anthropic 這次走了一步非常紮實的棋。大模型智慧體過去最讓人頭疼的不是寫不出第一個版本，而是維護成本極高，模型一換代，原來的 prompt 和工作流就可能悄悄失效。

對業務專家和普通團隊來說，這套工具讓他們不必依賴工程師去搭測試流水線，自己就能在介面裡給技能做體檢。值不值得現在試？如果你在 Claude 裡維護了團隊級的標準流程或自動化指令碼，非常值得立刻跑一次 eval。

從行業競爭來看，其他家還在卷怎麼生成技能，Anthropic 已經開始做技能的全生命週期管理了。它聰明的地方在於提出了一個現實判斷：隨著基模越來越強，很多早期的能力提升技能終究會被底層模型吃掉。通過 eval，團隊能第一時間發現基模哪怕不掛技能也能滿分通關，從而果斷淘汰冗餘指令碼。

隱患在於，雖然省去了寫測試程式碼的門檻，但設計一套高質量、覆蓋邊界情況的評測用例本身依然需要邏輯嚴密的心智負擔。如果業務人員懶得配測試集，這套精密工具依然會被閒置。