Appleの「推論崩壊」論文に反論：LLMの限界ではなく評価手法の不備か

アップルが先日発表した論文「思考の錯覚（The Illusion of Thinking）」は、AI業界に大きな波紋を広げました。最先端の推論モデルであっても、複雑なタスクでは推論が完全に崩壊するという厳しい結論を下したためです。

しかし、この研究の前提に異議を唱える反論論文が登場しました。

非営利団体Open Philanthropyの研究者であるアレックス・ローセン氏は、AnthropicのClaude Opusを共著者として「思考の錯覚という錯覚」と題した詳細な反論文を公開しました。

トークン上限と「解けない問題」の罠

ローセン氏の指摘は明快です。アップルの実験は、モデルの真の推論能力の限界ではなく、実験設計の欠陥を測定してしまっているという点です。

最大の欠陥は、出力トークン数の上限を考慮していなかったことです。たとえば8枚以上のハノイの塔では、すべての手順を出力するだけで膨大な文字数が必要になります。モデル側は「パターンは続きますが、トークン節約のためここで停止します」と明記していたにもかかわらず、アップルの自動採点はこれを推論崩壊として処理していました。

さらに、川渡り問題のテストには、数学的に絶対に解けない条件の問題が含まれていました。モデルが矛盾に気づいて回答を拒否したケースまで、不正解としてカウントされていたのです。

評価スクリプトが、思考の失敗と出力の打ち切りを区別できていなかったとローセン氏は批判しています。

コードを書かせると15枚のハノイの塔も正解

そこでローセン氏は、すべての手順を文字で出力させる代わりに、解法を出力するLua言語の再帰関数コードを書かせるテストを実施しました。

結果は対照的でした。Claude、Gemini、OpenAIのo3は、アップルが正答率ゼロと判定した難易度をはるかに超える、15枚のハノイの塔の解法アルゴリズムを難なく正しく記述できました。

本質的な問題は、モデルが推論できるかどうかではなく、人間のテスト側が推論とタイピング作業を区別できているかどうかだったわけです。

なぜ重要か

ユーザーやエンジニアにとっての実践的な教訓は、モデルへの指示出しの方法です。膨大なステップを要するタスクを依頼する際、テキストですべての手順を書き出させようとすると、トークン上限に引っかかり途中で破綻します。手順そのものを出力させるのではなく、処理コードを書かせるべきです。

業界全体にとっても、今回の反論は重い意味を持ちます。アップルの研究は、推論モデルの限界を証明する決定打として各所で引用されていました。しかし実際には、自動評価パイプラインの設計が甘く、単に出力文字数の壁を推論の壁と誤認していた可能性が浮き彫りになりました。

今回の反論によってモデルのすべての課題が解決したわけではありませんが、評価手法そのものを疑う重要性を示した点で、極めて的確な一石だと私たちは考えています。