Anthropic 控制台上新：支援自動生成測試用例與提示詞並排對比

以前給大模型調 Prompt，大家最常用的工具其實是 Excel 表格：左邊填一列測試問題，中間貼上一版提示詞的回答，右邊貼新版提示詞的回答，然後拉著業務同事肉眼一行一行對比。

Anthropic 顯然也看不下去了。7 月 9 日，他們在開發者控制台裡上線了一整套提示詞評估工具，把生成、測試、跑批次用例和並排對比全搬進了網頁後臺。

讓 Claude 替你寫用例，還能匯入表格

很多人寫提示詞的第一道坎，其實是不知道怎麼寫出一套嚴密的系統提示。Anthropic 在控制台裡直接塞進了一個由 Claude 3.5 Sonnet 驅動的提示詞生成器。比如你只輸入一句「幫我給進來的客服工單做分類」，模型就會自動幫你擴寫成結構完整的提示詞。

寫完提示詞，過去最頭疼的是準備測試資料。這次的新功能支援自動生成測試用例。你可以讓 Claude 自己模擬各種各樣的輸入變數，比如幾條語氣完全不同的使用者投訴資訊，看看你的提示詞頂不頂得住。

如果你原本就有測試集，也完全不用手填。控制台現在支援直接匯入 CSV 檔案，或者手動加幾條特殊情況。測試用例裡的每一項變數要求，你還能單獨調整 Claude 對它的理解，用來更精細地控制生成出來的測試樣本。

並排盲測，拉專家來打五分制

搭好了測試集，接下來就是一鍵執行。你改了提示詞版本之後，可以在控制台裡讓兩個甚至多個版本的提示詞並排跑同一套測試用例，對比輸出結果。

為了量化改動到底是變好了還是變差了，控制台還支援五分制的人工打分。你可以讓懂業務的專家直接在介面上對模型的回覆打一到五分，直觀確認調整是不是真的帶來了提升。

目前這套測試用例生成和並排對比工具，已經對 Anthropic Console 的所有使用者開放。

為什麼重要

調提示詞聽起來簡單，但在企業真正把 AI 放進生產環境前，最花時間的就是迴歸測試：你為了修好某個邊界 case 改了提示詞，結果另外五個原本正常的場景突然答錯了。過去開發者要麼自己用 Python 寫一套評估指令碼，要麼依賴各種第三方開源評測工具，維護成本很高。

Anthropic 這次直接把評估和比對做進了自家的控制台，可以說是把原本屬於第三方提示詞工程平臺（PromptOps）的基礎活兒收編了。對開發者來說，這意味著從寫提示詞、造假資料測試到版本對比，完全可以在一個控制台閉環搞定，不用在程式碼庫和表格之間來回倒騰。

我們認為這一步做得很實用，但也帶著大廠控制台的天然侷限。它目前主要是人工五分制打分和並排對比，對於百萬級呼叫的自動化 CI/CD 流水線來說，深度依然不夠；而且這套工具天然綁死在 Claude 自己的生態裡，如果你平時要橫向對比 Claude 和 GPT-4o 的表現，還是得回到第三方工具。但對絕大多數只想把 Claude 用好的中小團隊而言，這已經能省下大把折騰工具鏈的時間了。