xAI 三天重寫推理程式碼：Grok-2 mini 提速一倍，大模型推理更順暢

剛釋出一週的新模型，還沒等外界把評測跑完，底層的推理引擎就被推倒重寫了。

xAI 開發者 Igor Babuschkin 在社交平臺 X 上透露，團隊裡的兩位開發者 Lianmin Zheng 和 Saeed Maleki 僅僅用了三天時間，就基於開源框架 SGLang 把 Grok-2 的推理技術棧從頭重寫了一遍。

帶來的提升相當立竿見影。體積更小、主打輕快響應的 Grok-2 mini，生成速度直接比前一天翻了一倍。而對引數規模龐大、需要跨機器進行多機推理的主力模型 Grok-2，這次重構也讓它能夠以合理的速度對外吐出結果。Babuschkin 還補充說，換上新架構後，兩個模型不僅速度更快，回答準確率甚至還略微上升了一點。

三天換掉引擎，全靠開源框架

讓這支小團隊在三天內完成大換血的關鍵，是開源系統 SGLang。

這個採用 Apache 2.0 協議的框架由斯坦福大學、加州大學伯克利分校、德州農工大學以及上海交通大學的研究人員聯合開發。它把前端語言和後端執行時打通，通過自動快取重用和單程式內的並行最佳化，最高可以實現比現有推理系統高出 6.4 倍的吞吐量。

SGLang 本身不僅支援開源模型生態裡的 Llama、Mistral 和多模態模型 LLaVA，也能相容 OpenAI 的 GPT-4 這類 API 模型。這次 xAI 能夠迅速把技術棧全盤切換過去，也印證了這類高效能開源基礎設施的通用性。

與速度提升同時到來的，還有外部基準測試排名的重新整理。在第三方評測平臺 LMSYS Chatbot Arena 的最新榜單上，主力模型 Grok-2 拿下了 1293 分的競技場得分，在 6686 張有效投票中衝到了全球第二的位置，與 Google 的 Gemini-1.5 Pro 打成平手，僅次於 OpenAI 最新版的 ChatGPT-4o，超越了 5 月版的 GPT-4o。在具體分類中，Grok-2 在數學任務上直接拿下了第一名，在硬提示詞、程式碼編寫和指令遵循上也緊隨第一梯隊。

而速度翻倍的 Grok-2 mini 同樣表現不俗，以 1268 分排在總榜第五位，僅排在 GPT-4o mini 和 Claude 3.5 Sonnet 之後。

為什麼重要

對於花每月 8 美元訂閱 X 服務的普通使用者來說，最直接的感知就是不用再對著螢幕乾等了。尤其是 Grok-2 mini，在保留大部分核心能力的前提下，速度翻倍意味著日常聊天、快速問答的體驗完全上了臺階。如果你平時在 X 上頻繁查資料或讓 AI 改文案，現在很值得重新開啟試一下。

但這事在行業裡的震撼，更多來自 xAI 的工程作風。在主流大廠往往需要數週甚至數月排期、反覆迴歸測試的推理系統重構，被兩名工程師像打駭客松一樣在 72 小時內推向了生產環境。我們認為，這種極速迭代的底氣，一方面來自學術界開源框架 SGLang 的高度成熟，另一方面也說明頂尖團隊在追趕頭部對手時完全不在乎既有包袱，只要有更好的輪子就敢連夜換上。

不過這也透露出 xAI 前期釋出的倉促。大模型剛上線時推理效率顯然沒有調到最優，甚至大號 Grok-2 此前在多機推理上的延遲可能非常吃緊。看起來，儘管 Grok-2 在榜單上衝進了前二、推理瓶頸也暫時借開源之力打通，但它目前依然被牢牢鎖在 X 的付費牆內；如何把這種單點工程突破轉化成持續穩定的獨立開發者生態，會是 xAI 接下來要面對的真正硬仗。