OpenAI、GPT-5.6 SolのARC-AGI-3スコアを3倍にした2つのAPI設定を解説

未解決の数学の難問を解き明かし、『ポケットモンスター ファイアレッド』をクリアできる最新モデルが、シンプルな2Dパズルゲームを遊ばせたら正答率8パーセント未満に沈む。先週、OpenAI自身もGPT-5.6 SolのARC-AGI-3ベンチマークスコアを見て頭を抱えました。

ARC-AGI-3は、事前の説明やルールが一切与えられない未知の2Dパズルを通じて、AIの探索能力や推論力を測るベンチマークです。人間の平均スコアは48パーセントに達しますが、旧世代のGPT-5.5は0.4パーセントとほぼ手も足も出ず、最新のGPT-5.6 Solも当初はわずか7.8パーセントしか取れませんでした。

しかしOpenAIが検証ログを掘り下げたところ、原因はモデルの知能ではなく、テスト環境の設定にありました。

1手ごとにメモ帳を破り捨てるテスト環境

ARC-AGI-3の公式ハーネスは、各社のモデルを公平に比較するため、あえて特殊なツールや最適化を省いた汎用的な設計になっていました。

これが裏目に出ていました。まず、モデルが1手動くたびに、思考プロセスである非公開の推論ログがすべて消去されていました。過去の行動ログは残るものの、なぜその手を指したのかという計画や仮説が消えるため、モデルは毎ターン盤面を一から読み直す羽目になっていたのです。

さらに、コンテキストが17万5000文字を超えると古いメッセージを順次破棄するローリング切り捨てが適用されていました。思考だけでなく、過去に試した行動の記録すら失われていく状態でした。

そこでOpenAIは、普段ChatGPTやCodexで使っているResponses APIを導入し、推論の保持とコンパクションの2つの設定を有効化しました。前回のレスポンスIDを引き継いで思考を維持し、古い履歴を単純に捨てるのではなく圧縮して要約する仕組みです。

結果は劇的でした。公開タスクにおけるGPT-5.6 Solの正答率は13.3パーセントから38.3パーセントへと約3倍に跳ね上がり、人間の平均である48パーセントに迫りました。しかも、毎ターン悩む必要がなくなったため、出力トークン数は6分の1に激減しています。

なぜ重要か

今回の検証結果は、単なるスコア自慢にとどまらず、AIの能力評価とエージェント開発における重要な教訓を突きつけています。

長時間のタスクを実行するAIエージェントを作っている開発者にとって、履歴を単純に切り詰めたり、コスト削減のために思考ログを捨てたりすることが、いかに逆効果かが浮き彫りになりました。思考を消すとモデルは同じ試行錯誤を繰り返し、結果として6倍もの出力トークンを無駄遣いすることになります。OpenAIが推奨するように、従来のChat Completions APIから脱却し、コンテキストの圧縮と推論保持を前提にした設計へ切り替える価値は十分にあります。

また、業界全体のベンチマークのあり方にも一石を投じています。公平性を重視するあまり、モデル固有のアーキテクチャを無視した汎用ハーネスで測定すると、実稼働環境と乖離した無意味な数字が出かねません。

裏を返せば、最新の推論モデルはコンテキスト管理のインフラと密結合しているということです。モデル単体の賢さだけで選ぶのではなく、周辺のAPI機能まで含めて使いこなせなければ、本来の性能を引き出せない時代に入ったと言えます。