马斯克透露 Grok 4.8:用 C/C++ 重写推理栈,本周小范围推送
马斯克透露 Grok 4.8 已完成预训练并进入强化学习阶段,预计本周晚些时候向部分 Grok Bot 用户小范围测试。团队放弃了原有的 JAX 与 SGLang,用 C/C++ 从头重写了强化学习与推理技术栈。马斯克称其架构底座更扎实,与 4.7 毫无相似之处。

马斯克在社交平台上透露,xAI 的新一代模型 Grok 4.8 已经完成预训练,目前正处于强化学习阶段,评估基准成绩正在逐步爬升。
团队计划在本周晚些时候向部分 Grok Bot 用户进行小范围灰度测试,看看实际表现如何。
甩开现成框架,用 C/C++ 重写底层
这版模型最大的变动不在表面,而是在底层工程架构上。
马斯克表示,团队彻底放弃了原有的 JAX 与 SGLang 框架,完全用 C/C++ 从头重写了整套强化学习和推理技术栈。虽然这耗费了不少额外时间,并且团队还对监督微调数据进行了大量清洗,但成效明显。
按照马斯克的说法,Grok 4.8 与上一代 4.7「毫无相似之处」。他坦言新模型目前还不算惊艳,但底座这次总算打扎实了,未来有望演化成非常特别的产品。
为什么重要
放弃成熟的开源推理生态,转而用纯 C/C++ 手写底层,这很符合马斯克一贯的硬核工程作风。
现有的 Python 推理框架虽然开发快、生态成熟,但在极限并发和超低延迟场景下难免有性能开销。自己重写推理栈,显然是为了把算力和硬件效率压榨到极致。
我们认为,这种底层大修虽然拖慢了发布节奏,但对于拼推理速度和成本的前沿模型竞争来说,把底层地基打牢,后续模型迭代和规模化部署的上限才会更高。普通用户本周晚些时候可以留意自己的 Grok Bot,看看这套新架构到底能带来多大的体感差异。
来源 (2)
- @testingcatalog(在新标签页打开)原文x.com
- @testingcatalog(在新标签页打开)讨论x.com