告別憑感覺測試：Google Labs 推出大模型評估工具 Stax

你調了一版提示詞，點開跑了三次，看著螢幕上的回答，心裡默默覺得「好像順眼多了」。

但它真的變好了嗎？你其實沒底。過兩天改了另一句，系統又開始吐出奇怪的話。這就是很多 AI 開發者每天都在經歷的「玄學測試」（vibe testing）——整個過程像在搞玄學藝術，根本不像正經的軟體工程。

Google Labs 聯合 Google DeepMind 推出了一款實驗性開發者工具 Stax，目標非常直接：幫開發者擺脫這種「憑感覺交付」的狀態，把大模型評測做成可量化、可復現的標準流程。

告別玄學，讓大模型當裁判

傳統軟體是確定性的，寫幾個單元測試就能兜底。但大模型輸入同一個提示詞，每次給出的詞句可能都不一樣，普通的斷言測試直接失靈。

要是自己搭一套評測鏈路，不僅得整理資料集、寫指令碼管 API 呼叫，還得花大量精力去解析輸出。很多人嫌麻煩，最後又回到了肉眼抽查的老路。

Stax 給出的解法是自動化評測器（Autoraters），也就是業內常說的「讓 LLM 當裁判」（LLM-as-a-judge）。它呼叫 Gemini 等更強的大模型，根據你設定的規則，給被測模型的回答自動打分。

平臺支援直接上傳包含測試用例的 CSV 檔案，也支援在網頁介面裡從零建立提示詞和標準答案（ground-truth）。

針對常見的測試場景，Stax 自帶了開箱即用的預設評測器，幾分鐘內就能測出回答的連貫性、真實性和精煉程度。

設定屬於你自己的「秘密配方」

通用基準測試測的是模型的通識能力，解決不了具體業務場景的定製需求。

比如你的客服機器人必須遵守特定的品牌語氣，或者金融助手不能觸碰某些合規紅線，通用的跑分榜單根本測不出來這些細節。

Stax 最核心的功能，是允許開發者自定義評測器。你可以用自然語言寫明什麼才算「優秀回答」，把業務方的具體規則轉化成自動化打分標準，然後在整個測試集上批次跑起來。

目前 Stax 已經在 stax.withgoogle.com 開放使用，Google 還在 Discord 開設了專門的反饋頻道。

為什麼重要

對於每天跟提示詞和 Agent 打交道的獨立開發者或小團隊來說，Stax 是個門檻極低的好工具。你不用再自己寫一堆複雜的 LangSmith 或 Promptfoo 評測指令碼，丟一個表格進去，就能直觀看到換模型或改提示詞到底有沒有正向收益，非常值得現在就拿核心業務去測一輪。

從行業來看，AI 應用開發正在從「拼 Prompt 腦洞」快速過渡到「拼工程嚴謹度」。評測環節（Evals）正在成為企業級 AI 應用的分水嶺，Google 把 DeepMind 內部積累的評測經驗包裝成輕量工具放出來，顯然想把開發者牢牢吸附在自己的 Gemini 生態裡。

我們認為，Google 這步棋下得很聰明，切中了開發者最頭疼的髒活累活。但用大模型評測大模型本身也有隱患，模型當裁判容易產生自我偏好、對長度偏見等問題。如果開發者完全依賴自動打分而徹底放棄人工抽檢，可能會被模型之間的互相討好矇蔽，這是在實際使用中必須留意的邊界。