反驳苹果研究：大模型「推理崩溃」只是测试没做对？

前阵子苹果发了一篇题为《思考的幻觉》的论文，在圈子里激起千层浪。他们的结论很干脆：哪怕是最顶尖的大推理模型，一碰到复杂的规划任务就会全面崩溃。

当时不少看衰 AI 的人拿着这篇论文到处转发，觉得推理模型这套路子算是走到头了。

但这事最近迎来了大反转。非营利机构 Open Philanthropy 的研究员 Alex Lawsen 联合 Anthropic 的 Claude Opus 模型发了一篇反驳论文，题目取得很损，叫《「思考的幻觉」的幻觉》。

到底是 AI 不会算，还是字数超标了

Lawsen 在论文里并没有否认大模型在复杂规划任务上有短板，但他指出，苹果那篇论文根本没分清什么是真正的「推理失败」，什么是「实验设计漏洞」。

第一个硬伤是字数限制。在汉诺塔测试里，圆盘数量一旦达到 8 个以上，要列出所有移动步骤需要耗费巨量 token。苹果把模型在这类题目上的表现判定为「崩溃」，但 Lawsen 翻看原始输出时发现，模型其实很清醒地写了一句话：「规律就是这样，但为了省 token，我就写到这里了。」

评测脚本不管这些，只要没看到完整步骤就直接记零分，这显然不能算推理崩溃。

第二个硬伤更离谱，测试题里居然混进了数学上根本无解的题目。比如在过河问题里，出现了 6 对以上角色、但船的载重完全无法满足过河约束的情况。

一些模型敏锐地发现了问题无解并选择拒绝作答，结果苹果的自动评分系统直接把这判定成了答题失败。

换成写代码，15 层的汉诺塔瞬间解开

为了验证自己的观点，Lawsen 换了一种测试方式。他不再逼着模型像个打字机一样把几十万步的操作硬生生全写出来，而是让它们写一段 Lua 递归函数代码，用算法来输出解法。

结果测试中的 Claude、Gemini 和 OpenAI 的 o3 全都轻松写出了正确的递归算法，直接解出了 15 层的汉诺塔。而在苹果的原版测试里，模型在 8 层以上就全军覆没了。

正如 Lawsen 所说，现在的核心问题不是推理模型到底能不能思考，而是我们现有的评测方法能不能把「推理能力」和「机械打字」区分开来。

为什么重要

这件事对普通开发者和用模型的人来说，最直接的启示是提问方式的改变。如果你需要大模型帮你处理极其复杂的长流程逻辑，千万别让它把几千步的结果一步一步死磕出来，那样极容易撞上输出长度限制，导致回答戛然而止。

更聪明的做法是让它去写代码或者算法框架，把执行交给机器环境，这样才能真正榨出大模型的推理潜力。

在行业层面，这篇反驳论文撕开了当前 AI 评测机制的一个大口子。大厂的基准测试往往高度依赖自动化评分脚本，只看字符串匹不匹配，极其粗糙。苹果的论文被广泛引用为「模型缺乏通用推理能力」的铁证，但现在看起来，很多时候只是评测标准本身设计得不专业。

我们认为，Lawsen 的反击非常漂亮，他精准击中了苹果实验里把「输出长度瓶颈」和「认知逻辑崩塌」混为一谈的硬伤。但这并不代表当下的推理模型就天下无敌了，真正的通用规划能力依然是个巨大的挑战，但至少在给一项技术判死刑之前，评测者得先确保自己的尺子没有歪。