告别凭感觉测试：Google Labs 推出大模型评估工具 Stax

你调了一版提示词，点开跑了三次，看着屏幕上的回答，心里默默觉得「好像顺眼多了」。

但它真的变好了吗？你其实没底。过两天改了另一句，系统又开始吐出奇怪的话。这就是很多 AI 开发者每天都在经历的「玄学测试」（vibe testing）——整个过程像在搞玄学艺术，根本不像正经的软件工程。

Google Labs 联合 Google DeepMind 推出了一款实验性开发者工具 Stax，目标非常直接：帮开发者摆脱这种「凭感觉交付」的状态，把大模型评测做成可量化、可复现的标准流程。

告别玄学，让大模型当裁判

传统软件是确定性的，写几个单元测试就能兜底。但大模型输入同一个提示词，每次给出的词句可能都不一样，普通的断言测试直接失灵。

要是自己搭一套评测链路，不仅得整理数据集、写脚本管 API 调用，还得花大量精力去解析输出。很多人嫌麻烦，最后又回到了肉眼抽查的老路。

Stax 给出的解法是自动化评测器（Autoraters），也就是业内常说的「让 LLM 当裁判」（LLM-as-a-judge）。它调用 Gemini 等更强的大模型，根据你设定的规则，给被测模型的回答自动打分。

平台支持直接上传包含测试用例的 CSV 文件，也支持在网页界面里从零创建提示词和标准答案（ground-truth）。

针对常见的测试场景，Stax 自带了开箱即用的预设评测器，几分钟内就能测出回答的连贯性、真实性和精炼程度。

设定属于你自己的「秘密配方」

通用基准测试测的是模型的通识能力，解决不了具体业务场景的定制需求。

比如你的客服机器人必须遵守特定的品牌语气，或者金融助手不能触碰某些合规红线，通用的跑分榜单根本测不出来这些细节。

Stax 最核心的功能，是允许开发者自定义评测器。你可以用自然语言写明什么才算「优秀回答」，把业务方的具体规则转化成自动化打分标准，然后在整个测试集上批量跑起来。

目前 Stax 已经在 stax.withgoogle.com 开放使用，Google 还在 Discord 开设了专门的反馈频道。

为什么重要

对于每天跟提示词和 Agent 打交道的独立开发者或小团队来说，Stax 是个门槛极低的好工具。你不用再自己写一堆复杂的 LangSmith 或 Promptfoo 评测脚本，丢一个表格进去，就能直观看到换模型或改提示词到底有没有正向收益，非常值得现在就拿核心业务去测一轮。

从行业来看，AI 应用开发正在从「拼 Prompt 脑洞」快速过渡到「拼工程严谨度」。评测环节（Evals）正在成为企业级 AI 应用的分水岭，Google 把 DeepMind 内部积累的评测经验包装成轻量工具放出来，显然想把开发者牢牢吸附在自己的 Gemini 生态里。

我们认为，Google 这步棋下得很聪明，切中了开发者最头疼的脏活累活。但用大模型评测大模型本身也有隐患，模型当裁判容易产生自我偏好、对长度偏见等问题。如果开发者完全依赖自动打分而彻底放弃人工抽检，可能会被模型之间的互相讨好蒙蔽，这是在实际使用中必须留意的边界。