xAI 開源 Grok-1：開放 3140 億引數基礎模型權重與架構

xAI 開源了 Grok-1 的完整基礎模型權重和程式碼架構，採用寬鬆的 Apache 2.0 協議。

這是一個從零開始訓練的混合專家架構大模型，總引數量達到 3140 億。這次開放的是 2023 年 10 月完成預訓練的原始檢查點，沒有經過任何針對對話或其他下游任務的微調，拿出來就是純粹的基座模型。

架構規格與關鍵機制

Grok-1 採用了 8 專家混合架構，每個 token 計算時啟用其中 2 個專家。

整網包含 64 層網路，嵌入維度為 6144。注意力機制設計了 48 個查詢頭和 8 個鍵值頭，上下文最大長度為 8192 token。

分詞工具使用的是詞表大小為 131072 的 SentencePiece，同時支援旋轉位置編碼、啟用值分片以及 8 位量化特性。

怎麼跑起來與硬體門檻

官方在 GitHub 倉庫中提供了基於 JAX 的載入和推理執行示例程式碼，用來驗證模型取樣的正確性。

由於模型總引數量高達 3140 億，要在本地測試這套示例程式碼，必須擁有一臺視訊記憶體極其充裕的多卡 GPU 機器。此外，官方明確提醒，倉庫裡目前的 MoE 層實現效率並不高，這是為了避免編寫自定義核函式而優先保證正確性的選擇。

權重檔案的獲取有兩種方式。使用者可以通過官方提供的 Magnet 磁力連結使用 BT 客戶端下載，也可以通過 Hugging Face Hub 工具直接拉取包含完整 ckpt-0 檢查點的倉庫。

執行前需要通過 pip 安裝依賴，並將下載好的檢查點放入 checkpoints 目錄下，執行 run.py 即可載入模型並進行測試輸入取樣。

為什麼重要

我們認為，當前只有具備頂級算力叢集的大型研究機構、基礎設施團隊或雲廠商，才有能力完整部署和基於 Grok-1 進行二次訓練。對於普通開發者或視訊記憶體有限的團隊來說，目前不適合直接在本地跑這套基座。

但這套體量巨大的開源 MoE 權重，為研究混合專家架構超大模型的團隊提供了罕見的原生樣本。特別是在 Apache 2.0 協議下，工程界接下來可能會迅速跟進更高效能的推理最佳化核心與輕量化微調方案。