xAI 开源 Grok-1：开放 3140 亿参数基础模型权重与架构

xAI 开源了 Grok-1 的完整基础模型权重和代码架构，采用宽松的 Apache 2.0 协议。

这是一个从零开始训练的混合专家架构大模型，总参数量达到 3140 亿。这次开放的是 2023 年 10 月完成预训练的原始检查点，没有经过任何针对对话或其他下游任务的微调，拿出来就是纯粹的基座模型。

架构规格与关键机制

Grok-1 采用了 8 专家混合架构，每个 token 计算时激活其中 2 个专家。

整网包含 64 层网络，嵌入维度为 6144。注意力机制设计了 48 个查询头和 8 个键值头，上下文最大长度为 8192 token。

分词工具使用的是词表大小为 131072 的 SentencePiece，同时支持旋转位置编码、激活值分片以及 8 位量化特性。

怎么跑起来与硬件门槛

官方在 GitHub 仓库中提供了基于 JAX 的加载和推理运行示例代码，用来验证模型采样的正确性。

由于模型总参数量高达 3140 亿，要在本地测试这套示例代码，必须拥有一台显存极其充裕的多卡 GPU 机器。此外，官方明确提醒，仓库里目前的 MoE 层实现效率并不高，这是为了避免编写自定义核函数而优先保证正确性的选择。

权重文件的获取有两种方式。用户可以通过官方提供的 Magnet 磁力链接使用 BT 客户端下载，也可以通过 Hugging Face Hub 工具直接拉取包含完整 ckpt-0 检查点的仓库。

运行前需要通过 pip 安装依赖，并将下载好的检查点放入 checkpoints 目录下，执行 run.py 即可载入模型并进行测试输入采样。

为什么重要

我们认为，当前只有具备顶级算力集群的大型研究机构、基础设施团队或云厂商，才有能力完整部署和基于 Grok-1 进行二次训练。对于普通开发者或显存有限的团队来说，目前不适合直接在本地跑这套基座。

但这套体量巨大的开源 MoE 权重，为研究混合专家架构超大模型的团队提供了罕见的原生样本。特别是在 Apache 2.0 协议下，工程界接下来可能会迅速跟进更高性能的推理优化核心与轻量化微调方案。