跳到正文
IFAI

大模型

马斯克预告 Grok 2 于 8 月发布:清洗训练数据,年底还要上 Grok 3

首次发布 传播指数 41

Elon Musk 透露 xAI 将于 8 月推出下一代大模型 Grok 2。该版本着重提升实时知识处理与推理能力,并花大力气清洗网络训练数据以减少污染。Musk 还表示,计划在年底前推出动用 10 万张 Nvidia H100 训练的 Grok 3。

马斯克预告 Grok 2 于 8 月发布:清洗训练数据,年底还要上 Grok 3
图:coinspeaker.com

网上充斥着 AI 生成的垃圾内容,现在各大模型团队最头疼的,反而是被这些数据污染了训练集。

马斯克在社交平台上透露,xAI 正在全力清理网络抓取数据中的大模型生成痕迹,而即将于 8 月上线的 Grok 2,会在去除这类数据污染方面取得巨大进步。

不仅如此,马斯克还顺带画了一张更大的饼:年底前他们还会推出性能更强悍的 Grok 3。

照着科幻片做助理,先把训练集洗一遍

去年 11 月 xAI 推出首代 Grok 与 OpenAI 的 ChatGPT 正面竞争,随后迭代到 Grok 1.5。这一次马斯克把 Grok 2 的对标灵感拉到了科幻作品上,提到它参考了《钢铁侠》里的贾维斯以及《银河系漫游指南》。

新模型的核心改进集中在实时知识处理和推理能力上,官方在 MATH 和 HumanEval 等基准测试上的表现都有所提升,同时继续整合实时网页搜索和图像生成功能。

但马斯克眼下最在意的还是数据质量。他之前就多次批评过竞争对手使用的数据源不够干净,这次坦言把大语言模型生成的废话从互联网训练数据中剥离出来极其费力,而 Grok 2 的重点就是在这方面彻底整顿。

年底堆十万张卡,硬砸 Grok 3

8 月先看 Grok 2,但 xAI 显然把真正的大招押在年底的 Grok 3 上。

据报道,Grok 3 计划动用 10 万张英伟达 H100 显卡的算力集群来进行训练,试图用超大规模的硬件算力把模型性能顶到新高。

支撑这个计划的底层硬件正在迅速就位。戴尔科技首席执行官迈克尔·戴尔此前已经证实,戴尔正在与英伟达合作打造专门的 AI 工厂,全力为马斯克和 xAI 的 Grok 系列模型研发提供算力支持。

为什么重要

对于一直关注 X 平台功能或者订阅了 Premium 的用户来说,Grok 2 究竟能不能打,8 月就能见分晓。如果它在推理和数学基准上的提升属实,大家在社交平台上获得的实时解答会少很多胡言乱语,更接近一个能干实事的私人助手。

从行业竞争来看,马斯克走了一条双管齐下的路:一边是在数据端做减法,把网络上反刍的 AI 垃圾信息洗掉;另一边是在算力端做暴力加法,直接拉拢戴尔和英伟达搭 10 万张 H100 的超大集群。

我们认为,把精力放在清洗互联网数据污染上,这一步抓得很准。随着全网 AI 生成文本泛滥,谁能保留高密度的纯净语料,谁才能避免模型近亲繁殖导致的退化。

不过,年底推出 Grok 3 的节奏非常紧凑。把 10 万张卡的大规模集群在极短时间内拉通训练,无论工程稳定性还是能源消耗都是巨大考验,马斯克的时间表能不能按时兑现,看起来依然存在变数。

来源 (1)

  1. [1]
    coinspeaker.com(在新标签页打开)原文coinspeaker.com

话题追踪xAI Grok 模型开发与基础设施建设

这个话题的历次新闻,最新的在上面。

  1. 马斯克启用全球最强 AI 集群:10 万张液冷 H100 训下代 Grok
  2. 马斯克预告 Grok 2 于 8 月发布:清洗训练数据,年底还要上 Grok 3本条
  3. 造超算训 Grok 3:马斯克拉上 Dell 和超微组装服务器机架

每日 AI 内容精选