OpenAI 拆解跑分玄机：开启两项 API 设置，GPT-5.6 Sol 得分翻三倍

一个能解决数学难题、通关《宝可梦火红》的模型，去玩简单的 2D 解谜小游戏，居然只拿了不到百分之八的分数。上周，OpenAI 自己在看到 GPT-5.6 Sol 的 ARC-AGI-3 跑分时，也愣住了。

ARC-AGI-3 是专门用来测 AI 自主学习和推理能力的基准测试。测试里全是陌生的 2D 拼图游戏，没有任何说明书，全靠模型自己试错。人类在这套测试里的平均成绩是 48%，而 GPT-5.5 几乎动不了，只拿了 0.4%；GPT-5.6 Sol 起初也只跑出 7.8% 的极低分。

但 OpenAI 仔细扒了测试日志才发现，不是模型脑子不行，而是官方测试框架把它给「打失忆」了。

每次出手，都把刚才的草稿纸撕掉

ARC-AGI-3 官方为了追求跨模型的公平比较，用了一套极简的通用测试框架，没有任何额外工具。

问题就出在这个框架的设计上。首先，模型每走一步，框架就会自动扔掉它刚才的私有思维链。这意味着 GPT-5.6 Sol 虽然能看到历史操作记录，却根本记不住自己刚才为什么要这么走，走完一步就得把整个局面从零再盘一遍。

其次是历史记录的截断机制。当游戏对话长度超过 17.5 万个字符后，框架会直接把最早的记录扔掉。模型不仅忘了刚才在想什么，连几分钟前自己试过什么动作都丢了。

后来 OpenAI 把测试搬进了自家平时给 ChatGPT 和 Codex 用的 Responses API，顺手开了两个开关：一个是保留推理过程，另一个是用智能上下文压缩代替硬性截断。

结果很夸张。在公开任务集上，GPT-5.6 Sol 的得分直接从 13.3% 蹿到了 38.3%，整整翻了近三倍，距离人类 48% 的平均线已经不远。更关键的是，因为不需要每一步都从头苦思冥想，模型消耗的输出 token 数量直接砍掉了六分之五。

为什么重要

这篇技术复盘看起来是在替自家的模型正名，但我们认为它其实戳破了当前 AI 评测里最大的一个盲区：脱离了工程配置去谈模型智商，根本毫无意义。

很多开发者在调用大模型做长流程 Agent 时，经常觉得模型越跑越笨、账单越跑越贵，很多时候毛病恰恰出在上下文管理上。直接用滑动窗口截断历史记录，或者图省钱直接丢弃思考过程，往往会导致模型反复在同一个坑里打转。OpenAI 借这次实验明明白白地告诉大家，在长推理任务里，省下思考过程反而会花掉更多 token。

对于整个行业来说，这也是给各种公开排行榜提了个醒。各大评测机构偏爱一套框架通测所有模型，但各家模型在训练时依赖的上下文机制已经截然不同。统一用老旧的 Chat Completions 接口去跑分，测出来的可能不是模型本身的实力，而是它在恶劣环境下的抗压极限。

不过这也说明，GPT-5.6 Sol 这种前沿模型的表现极度依赖配套的工程管线。如果你现在打算在自己的项目里用它处理复杂的连续任务，老老实实用 Responses API 并做好上下文压缩是必修课，否则你花大价钱买来的顶级模型，可能大部分算力都在重复犯傻。