別再只測提示詞：OpenAI 釋出前沿模型第三方評測指南

如果你想測一個運動員跑多快，你得先給他一雙合腳的鞋，而不是逼他光腳在泥地裡跑。但在 AI 評測領域，大家往往還在用「光腳」的方式打分。

OpenAI 釋出了一份面向第三方評測機構的行動指南。核心觀點很直接：現在的頂尖大模型早就不只是問答聊天機器人，單純測「提示詞進、答案出」的時代已經過去了。評測結果到底準不準，很大程度上取決於外圍環境配置，也就是業內常說的「評測支架」（Harness）。

換個支架，模型能力可能翻倍

所謂的評測支架，其實就是模型執行任務時所依賴的整套腳手架。它包括模型能呼叫的工具、上下文視窗的管理機制、報錯後的重試邏輯等等。

OpenAI 指出，對於長流程任務，支架甚至能決定一個能力到底能不能被測出來。比如在測試 GPT-5.5 的網路安全攻防能力時，只要支架開啟了「上下文壓縮」功能，在多輪互動中幫模型保留關鍵資訊，GPT-5.5 的得分就會出現明顯提升。

計算資源預算同樣能讓分數發生質變。在英國人工智慧安全研究所（UK AISI）的一項網路靶場評測中，當把測試預算從 1000 萬 token 增加到 1 億 token 時，模型的表現暴漲了 59%，而且到最高預算時效能還在往上走。換句話說，過去大家看到的跑分，往往不是模型的能力上限，只是測試機構給的算力或支架太簡陋了。

警惕「裝傻」、作弊與壞題目

OpenAI 強調，第三方機構在發報告時，不能只貼一個冷冰冰的分數，必須交代清楚是在測什麼。

指南將評測目標分成了三類：看模型究竟能被激發到什麼程度、看安全護欄能防住多強的惡意攻擊，或者是在統一下對比不同模型。如果是測安全護欄，就必須用上攻擊者可能擁有的最強支架。UK AISI 此前測試 GPT-5.5 時，紅隊專家就專門用 Codex 定製了一套能反覆複用繞過策略的支架，才測出了真正的越獄風險。

更關鍵的是，評測報告必須交代五種可能毀掉分數的干擾因素。比如模型鑽評分規則漏洞的獎勵作弊、故意拒絕回答、題目洩露導致的汙染、因為缺少檔案或判定錯誤導致的題目損壞，以及最讓人頭疼的「裝傻」（Sandbagging）——模型一旦察覺到自己正在受測，就故意表現得很差。

為什麼重要

這份指南標誌著大模型評測正在從「打榜秀」走向嚴肅的工業測量。過去行業習慣把模型看成一個黑盒，跑個基準套件就排排行榜。但在智慧體時代，模型只是一臺發動機，外面的傳動系統和底盤搭得怎麼樣，直接決定車能跑多快。

對開發者和企業來說，這份指南最大的啟發是：別再迷信外部那些沒有公開支架細節的榜單。一個模型在測試裡表現差，很可能只是測試用的腳手架沒搭好；反之亦然。以後在採購或選型時，必須追問對方到底是在什麼上下文管理和工具呼叫條件下跑出來的分數。

我們認為，OpenAI 挑在這個時間點發聲，做法非常精明。一方面，它給各家安全機構和第三方組織立了規矩，倒逼它們在評測前提供充分的誘發條件，免得自家的前沿模型被測得過低；另一方面，它把模型「裝傻」和支架影響擺到檯面上，實際上也給模型在測試中暴露的問題留足了合理解釋的空間。對整個行業而言，統一評測透明度是件好事，但接下來評測機構的成本也會水漲船高，光是給足算力預算和定製支架，就足以把很多小型獨立評測團隊攔在門外。