跳到正文
IFAI

大模型

馬斯克宣佈 Grok 3 預訓練完成:算力是 Grok 2 的 10 倍

首次發布 傳播指數 55

馬斯克在 X 上宣佈,xAI 旗下 Grok 3 的預訓練已經完成,即將正式推出。據他透露,本次訓練消耗的算力達到了 Grok 2 的 10 倍。這意味著 xAI 正全力擴充算力叢集,準備正面迎戰頂尖大模型。

馬斯克宣佈 Grok 3 預訓練完成:算力是 Grok 2 的 10 倍
圖:tomshardware.com

AI 圈裡的算力軍備競賽,從來都是誰手裡的卡多誰說話聲音大。

馬斯克在社交平臺 X 上宣佈,xAI 旗下的新一代大語言模型 Grok 3 已經完成了預訓練階段,並且很快就會正式推出。

按照馬斯克的說法,Grok 3 在預訓練階段消耗的算力,達到了上一代 Grok 2 的整整 10 倍。

馬斯克是在轉發一位普通使用者的推文時順帶公佈這個訊息的。那位使用者提到,自己在連續使用四周 Grok 之後退訂了 ChatGPT,覺得 Grok 更穩定也更快,甚至喊話蘋果讓 Apple Intelligence 接入 Grok。

10 萬張顯示卡堆出來的龐然大物

雖然馬斯克本人沒有展開公佈技術細節,但業內普遍指出,這次 Grok 3 的預訓練正是由 xAI 搭建的 Colossus 超級計算叢集完成的。

這個叢集配備了大約 10 萬張輝達 H100 GPU,原本就是為了加速超大規模 AI 模型訓練而專門打造的。10 倍於前代的算力消耗,正好與這個硬體規模對得上。

除了龐大的算力,Grok 3 在訓練資料上也繼續吃到了自家生態的紅利,直接吸收了 X 平臺使用者產生的大量即時資料。

而且 10 萬張卡還不是終點。據媒體報道,xAI 計劃在接下來的幾個月裡把 Colossus 擴建到 20 萬張顯示卡,混合搭配 H100 和 H200,用來訓練下一代的 Grok Next。更長遠的規劃裡,他們甚至想部署超過 100 萬張 GPU。

為什麼重要

對於普通使用者和關注 AI 的人來說,Grok 3 最直接的看點在於它能不能在推理能力上追平甚至超越 GPT-4 級別的模型。如果它真能保持前代的高響應速度,同時把邏輯思考和準確度提上去,訂閱使用者手裡的主力工具確實可能多一個選擇。

在行業競爭層面上,xAI 這種近乎野蠻的算力堆疊速度,正在逼迫 OpenAI、Google DeepMind 和 Anthropic 加快腳步。從搭建 Colossus 到訓完 Grok 3,xAI 展現出的工程推進效率相當驚人。

我們認為,馬斯克走的是一條極其直接的暴力美學路線。用最頂級的物理叢集搭配 X 的一手活資料,在工程速度上確實搶出了優勢。

但這種做法的隱患也很明顯。完全依賴龐大算力去硬衝千億甚至萬億引數,邊際效益能持續多久是個問號。模型真正要走向通用人工智慧,光靠算力堆砌是不夠的,核心的推理架構突破才是下半場真正的硬仗。

來源 (2)

  1. [1]
    @elonmusk(在新分頁開啟)原文twitter.com
  2. [2]

話題追蹤xAI Grok 3 開發與釋出

這個話題的歷次新聞,最新的在上面。

  1. 馬斯克預告 Grok 3.5:下週開啟內測,主打硬核第一性原理推理
  2. xAI 釋出 Grok 3 Mini:自帶推理過程,價格僅為主流模型的五分之一
  3. xAI 上線 Grok 3 API:旗艦與 Mini 雙版本開放,對標 Claude 3.7
  4. xAI 釋出 Grok 3 系列:20 萬張 GPU 練出推理版,硬剛 o3-mini
  5. xAI 釋出 Grok 3:算力翻 10 倍,帶深度推理和 DeepSearch

每日 AI 內容精選