Anthropic 控制台上新：支持自动生成测试用例与提示词并排对比

以前给大模型调 Prompt，大家最常用的工具其实是 Excel 表格：左边填一列测试问题，中间贴上一版提示词的回答，右边贴新版提示词的回答，然后拉着业务同事肉眼一行一行对比。

Anthropic 显然也看不下去了。7 月 9 日，他们在开发者控制台里上线了一整套提示词评估工具，把生成、测试、跑批量用例和并排对比全搬进了网页后台。

让 Claude 替你写用例，还能导入表格

很多人写提示词的第一道坎，其实是不知道怎么写出一套严密的系统提示。Anthropic 在控制台里直接塞进了一个由 Claude 3.5 Sonnet 驱动的提示词生成器。比如你只输入一句「帮我给进来的客服工单做分类」，模型就会自动帮你扩写成结构完整的提示词。

写完提示词，过去最头疼的是准备测试数据。这次的新功能支持自动生成测试用例。你可以让 Claude 自己模拟各种各样的输入变量，比如几条语气完全不同的用户投诉信息，看看你的提示词顶不顶得住。

如果你原本就有测试集，也完全不用手填。控制台现在支持直接导入 CSV 文件，或者手动加几条特殊情况。测试用例里的每一项变量要求，你还能单独调整 Claude 对它的理解，用来更精细地控制生成出来的测试样本。

并排盲测，拉专家来打五分制

搭好了测试集，接下来就是一键运行。你改了提示词版本之后，可以在控制台里让两个甚至多个版本的提示词并排跑同一套测试用例，对比输出结果。

为了量化改动到底是变好了还是变差了，控制台还支持五分制的人工打分。你可以让懂业务的专家直接在界面上对模型的回复打一到五分，直观确认调整是不是真的带来了提升。

目前这套测试用例生成和并排对比工具，已经对 Anthropic Console 的所有用户开放。

为什么重要

调提示词听起来简单，但在企业真正把 AI 放进生产环境前，最花时间的就是回归测试：你为了修好某个边界 case 改了提示词，结果另外五个原本正常的场景突然答错了。过去开发者要么自己用 Python 写一套评估脚本，要么依赖各种第三方开源评测工具，维护成本很高。

Anthropic 这次直接把评估和比对做进了自家的控制台，可以说是把原本属于第三方提示词工程平台（PromptOps）的基础活儿收编了。对开发者来说，这意味着从写提示词、造假数据测试到版本对比，完全可以在一个控制台闭环搞定，不用在代码库和表格之间来回倒腾。

我们认为这一步做得很实用，但也带着大厂控制台的天然局限。它目前主要是人工五分制打分和并排对比，对于百万级调用的自动化 CI/CD 流水线来说，深度依然不够；而且这套工具天然绑死在 Claude 自己的生态里，如果你平时要横向对比 Claude 和 GPT-4o 的表现，还是得回到第三方工具。但对绝大多数只想把 Claude 用好的中小团队而言，这已经能省下大把折腾工具链的时间了。