OpenAI 拆解跑分玄機：開啟兩項 API 設定，GPT-5.6 Sol 得分翻三倍

一個能解決數學難題、通關《寶可夢火紅》的模型，去玩簡單的 2D 解謎小遊戲，居然只拿了不到百分之八的分數。上週，OpenAI 自己在看到 GPT-5.6 Sol 的 ARC-AGI-3 跑分時，也愣住了。

ARC-AGI-3 是專門用來測 AI 自主學習和推理能力的基準測試。測試裡全是陌生的 2D 拼圖遊戲，沒有任何說明書，全靠模型自己試錯。人類在這套測試裡的平均成績是 48%，而 GPT-5.5 幾乎動不了，只拿了 0.4%；GPT-5.6 Sol 起初也只跑出 7.8% 的極低分。

但 OpenAI 仔細扒了測試日誌才發現，不是模型腦子不行，而是官方測試框架把它給「打失憶」了。

每次出手，都把剛才的草稿紙撕掉

ARC-AGI-3 官方為了追求跨模型的公平比較，用了一套極簡的通用測試框架，沒有任何額外工具。

問題就出在這個框架的設計上。首先，模型每走一步，框架就會自動扔掉它剛才的私有思維鏈。這意味著 GPT-5.6 Sol 雖然能看到歷史操作記錄，卻根本記不住自己剛才為什麼要這麼走，走完一步就得把整個局面從零再盤一遍。

其次是歷史記錄的截斷機制。當遊戲對話長度超過 17.5 萬個字元後，框架會直接把最早的記錄扔掉。模型不僅忘了剛才在想什麼，連幾分鐘前自己試過什麼動作都丟了。

後來 OpenAI 把測試搬進了自家平時給 ChatGPT 和 Codex 用的 Responses API，順手開了兩個開關：一個是保留推理過程，另一個是用智慧上下文壓縮代替硬性截斷。

結果很誇張。在公開任務集上，GPT-5.6 Sol 的得分直接從 13.3% 躥到了 38.3%，整整翻了近三倍，距離人類 48% 的平均線已經不遠。更關鍵的是，因為不需要每一步都從頭苦思冥想，模型消耗的輸出 token 數量直接砍掉了六分之五。

為什麼重要

這篇技術復盤看起來是在替自家的模型正名，但我們認為它其實戳破了當前 AI 評測裡最大的一個盲區：脫離了工程配置去談模型智商，根本毫無意義。

很多開發者在呼叫大模型做長流程 Agent 時，經常覺得模型越跑越笨、賬單越跑越貴，很多時候毛病恰恰出在上下文管理上。直接用滑動視窗截斷歷史記錄，或者圖省錢直接丟棄思考過程，往往會導致模型反覆在同一個坑裡打轉。OpenAI 借這次實驗明明白白地告訴大家，在長推理任務裡，省下思考過程反而會花掉更多 token。

對於整個行業來說，這也是給各種公開排行榜提了個醒。各大評測機構偏愛一套框架通測所有模型，但各家模型在訓練時依賴的上下文機制已經截然不同。統一用老舊的 Chat Completions 介面去跑分，測出來的可能不是模型本身的實力，而是它在惡劣環境下的抗壓極限。

不過這也說明，GPT-5.6 Sol 這種前沿模型的表現極度依賴配套的工程管線。如果你現在打算在自己的專案裡用它處理複雜的連續任務，老老實實用 Responses API 並做好上下文壓縮是必修課，否則你花大價錢買來的頂級模型，可能大部分算力都在重複犯傻。