拿《超级马里奥》测 AI：Claude 3.7 夺冠，o1 因想太久频频掉坑

你以为让 AI 去打宝可梦已经够折腾了，加州大学圣迭戈分校的研究人员觉得那还不够难。他们最近把一群主流大模型直接扔进了实时运行的《超级马里奥兄弟》里。

这场测试由加州大学圣迭戈分校的 Hao AI Lab 发起。最后跑出来的成绩单很有意思：Anthropic 家的 Claude 3.7 拿下第一，紧随其后的是 Claude 3.5。反观 Google 的 Gemini 1.5 Pro 和 OpenAI 的 GPT-4o，在水管工的世界里显得非常吃力。

思考几秒钟，马里奥已经摔下悬崖了

这套测试并没有直接给大模型接手柄，而是跑在一个模拟器上，中间由团队自研的 GamingAgent 框架做桥梁。

GamingAgent 会给模型投喂实时的游戏截图，再加上一些基础动作指导，比如看到障碍或怪物就往左移动或者跳跃。模型接收到画面后，要在极短时间内输出 Python 代码来操控马里奥。

研究团队发现，游戏环境强迫模型必须自己学会复杂的走位规划，并形成长线的通关策略。

最反常识的地方出现在推理模型身上。像 OpenAI 的 o1 这种擅长分步慢思考、在各大基准测试里横扫全场的大杀器，在马里奥面前反而垫底了，表现甚至不如普通非推理模型。

原因其实很朴素：o1 遇到问题喜欢深度思考几秒钟。但在即时动作游戏里，战机稍纵即逝，停顿一秒钟的代价就是马里奥直接掉进悬崖，或者一头撞上迎面走来的栗子球。

行业陷入评估危机，刷榜越来越难让人信服

用游戏给 AI 跑分并不新鲜，学术界干这事已经好几十年了。但业内一直有质疑的声音，认为游戏玩得溜根本算不上真正的通用智能。

说白了，游戏环境终究是高度抽象且规则固定的封闭系统，而且还能提供近乎无限的数据让 AI 反复试错，这跟混乱无序的现实世界完全是两码事。

OpenAI 创始团队成员 Andrej Karpathy 就在 X 上公开表示，眼下 AI 行业正在经历一场严重的「评估危机」。

Karpathy 直言，他现在完全不知道该看什么指标才对，简单概括就是，大家根本摸不清这些模型到底有多厉害。

为什么重要

这场马里奥测试看着像个整活项目，但我们认为它抓住了当前大模型落地最致命的一个盲区：即时响应与深思熟虑的天然冲突。

过去半年，所有大厂都在疯狂堆砌模型的思维链长度，试图让 AI 像博士一样一步步推导问题。但只要你把模型放到需要实时反馈的真实场景里，不管是自动驾驶接管、在线客服交互还是无人机控制，反应慢两秒就等于全盘皆输。这一测试提醒了开发者，千万别盲目给所有场景都套上慢思考模型，选型必须看时间容忍度。

它也逼着整个 AI 行业反思当前的评测体系。传统的静态题库早就被各家刷爆甚至污染，大家急需新的评估标尺。但正如 Karpathy 所言，拿游戏来当标尺同样有隐患，因为模拟器里练出来的反应速度，和现实中应对突发状况的通用能力依然隔着一道鸿沟。