xAI 三天重写推理代码：Grok-2 mini 提速一倍，大模型推理更顺畅

刚发布一周的新模型，还没等外界把评测跑完，底层的推理引擎就被推倒重写了。

xAI 开发者 Igor Babuschkin 在社交平台 X 上透露，团队里的两位开发者 Lianmin Zheng 和 Saeed Maleki 仅仅用了三天时间，就基于开源框架 SGLang 把 Grok-2 的推理技术栈从头重写了一遍。

带来的提升相当立竿见影。体积更小、主打轻快响应的 Grok-2 mini，生成速度直接比前一天翻了一倍。而对参数规模庞大、需要跨机器进行多机推理的主力模型 Grok-2，这次重构也让它能够以合理的速度对外吐出结果。Babuschkin 还补充说，换上新架构后，两个模型不仅速度更快，回答准确率甚至还略微上升了一点。

三天换掉引擎，全靠开源框架

让这支小团队在三天内完成大换血的关键，是开源系统 SGLang。

这个采用 Apache 2.0 协议的框架由斯坦福大学、加州大学伯克利分校、德州农工大学以及上海交通大学的研究人员联合开发。它把前端语言和后端运行时打通，通过自动缓存重用和单程序内的并行优化，最高可以实现比现有推理系统高出 6.4 倍的吞吐量。

SGLang 本身不仅支持开源模型生态里的 Llama、Mistral 和多模态模型 LLaVA，也能兼容 OpenAI 的 GPT-4 这类 API 模型。这次 xAI 能够迅速把技术栈全盘切换过去，也印证了这类高性能开源基础设施的通用性。

与速度提升同时到来的，还有外部基准测试排名的刷新。在第三方评测平台 LMSYS Chatbot Arena 的最新榜单上，主力模型 Grok-2 拿下了 1293 分的竞技场得分，在 6686 张有效投票中冲到了全球第二的位置，与 Google 的 Gemini-1.5 Pro 打成平手，仅次于 OpenAI 最新版的 ChatGPT-4o，超越了 5 月版的 GPT-4o。在具体分类中，Grok-2 在数学任务上直接拿下了第一名，在硬提示词、代码编写和指令遵循上也紧随第一梯队。

而速度翻倍的 Grok-2 mini 同样表现不俗，以 1268 分排在总榜第五位，仅排在 GPT-4o mini 和 Claude 3.5 Sonnet 之后。

为什么重要

对于花每月 8 美元订阅 X 服务的普通用户来说，最直接的感知就是不用再对着屏幕干等了。尤其是 Grok-2 mini，在保留大部分核心能力的前提下，速度翻倍意味着日常聊天、快速问答的体验完全上了台阶。如果你平时在 X 上频繁查资料或让 AI 改文案，现在很值得重新打开试一下。

但这事在行业里的震撼，更多来自 xAI 的工程作风。在主流大厂往往需要数周甚至数月排期、反复回归测试的推理系统重构，被两名工程师像打黑客松一样在 72 小时内推向了生产环境。我们认为，这种极速迭代的底气，一方面来自学术界开源框架 SGLang 的高度成熟，另一方面也说明顶尖团队在追赶头部对手时完全不在乎既有包袱，只要有更好的轮子就敢连夜换上。

不过这也透露出 xAI 前期发布的仓促。大模型刚上线时推理效率显然没有调到最优，甚至大号 Grok-2 此前在多机推理上的延迟可能非常吃紧。看起来，尽管 Grok-2 在榜单上冲进了前二、推理瓶颈也暂时借开源之力打通，但它目前依然被牢牢锁在 X 的付费墙内；如何把这种单点工程突破转化成持续稳定的独立开发者生态，会是 xAI 接下来要面对的真正硬仗。