跳到正文
IFAI

大模型

马斯克宣布 Grok 3 预训练完成:算力是 Grok 2 的 10 倍

首次发布 传播指数 55

马斯克在 X 上宣布,xAI 旗下 Grok 3 的预训练已经完成,即将正式推出。据他透露,本次训练消耗的算力达到了 Grok 2 的 10 倍。这意味着 xAI 正全力扩充算力集群,准备正面迎战顶尖大模型。

马斯克宣布 Grok 3 预训练完成:算力是 Grok 2 的 10 倍
图:tomshardware.com

AI 圈里的算力军备竞赛,从来都是谁手里的卡多谁说话声音大。

马斯克在社交平台 X 上宣布,xAI 旗下的新一代大语言模型 Grok 3 已经完成了预训练阶段,并且很快就会正式推出。

按照马斯克的说法,Grok 3 在预训练阶段消耗的算力,达到了上一代 Grok 2 的整整 10 倍。

马斯克是在转发一位普通用户的推文时顺带公布这个消息的。那位用户提到,自己在连续使用四周 Grok 之后退订了 ChatGPT,觉得 Grok 更稳定也更快,甚至喊话苹果让 Apple Intelligence 接入 Grok。

10 万张显卡堆出来的庞然大物

虽然马斯克本人没有展开公布技术细节,但业内普遍指出,这次 Grok 3 的预训练正是由 xAI 搭建的 Colossus 超级计算集群完成的。

这个集群配备了大约 10 万张英伟达 H100 GPU,原本就是为了加速超大规模 AI 模型训练而专门打造的。10 倍于前代的算力消耗,正好与这个硬件规模对得上。

除了庞大的算力,Grok 3 在训练数据上也继续吃到了自家生态的红利,直接吸收了 X 平台用户产生的大量实时数据。

而且 10 万张卡还不是终点。据媒体报道,xAI 计划在接下来的几个月里把 Colossus 扩建到 20 万张显卡,混合搭配 H100 和 H200,用来训练下一代的 Grok Next。更长远的规划里,他们甚至想部署超过 100 万张 GPU。

为什么重要

对于普通用户和关注 AI 的人来说,Grok 3 最直接的看点在于它能不能在推理能力上追平甚至超越 GPT-4 级别的模型。如果它真能保持前代的高响应速度,同时把逻辑思考和准确度提上去,订阅用户手里的主力工具确实可能多一个选择。

在行业竞争层面上,xAI 这种近乎野蛮的算力堆叠速度,正在逼迫 OpenAI、Google DeepMind 和 Anthropic 加快脚步。从搭建 Colossus 到训完 Grok 3,xAI 展现出的工程推进效率相当惊人。

我们认为,马斯克走的是一条极其直接的暴力美学路线。用最顶级的物理集群搭配 X 的一手活数据,在工程速度上确实抢出了优势。

但这种做法的隐患也很明显。完全依赖庞大算力去硬冲千亿甚至万亿参数,边际效益能持续多久是个问号。模型真正要走向通用人工智能,光靠算力堆砌是不够的,核心的推理架构突破才是下半场真正的硬仗。

来源 (2)

  1. [1]
    @elonmusk(在新标签页打开)原文twitter.com
  2. [2]

话题追踪xAI Grok 3 开发与发布

这个话题的历次新闻,最新的在上面。

  1. 马斯克预告 Grok 3.5:下周开启内测,主打硬核第一性原理推理
  2. xAI 发布 Grok 3 Mini:自带推理过程,价格仅为主流模型的五分之一
  3. xAI 上线 Grok 3 API:旗舰与 Mini 双版本开放,对标 Claude 3.7
  4. xAI 发布 Grok 3 系列:20 万张 GPU 练出推理版,硬刚 o3-mini
  5. xAI 发布 Grok 3:算力翻 10 倍,带深度推理和 DeepSearch

每日 AI 内容精选