馬斯克預告 Grok 2 於 8 月釋出:清洗訓練資料,年底還要上 Grok 3
Elon Musk 透露 xAI 將於 8 月推出下一代大模型 Grok 2。該版本著重提升即時知識處理與推理能力,並花大力氣清洗網路訓練資料以減少汙染。Musk 還表示,計劃在年底前推出動用 10 萬張 Nvidia H100 訓練的 Grok 3。

網上充斥著 AI 生成的垃圾內容,現在各大模型團隊最頭疼的,反而是被這些資料汙染了訓練集。
馬斯克在社交平臺上透露,xAI 正在全力清理網路抓取資料中的大模型生成痕跡,而即將於 8 月上線的 Grok 2,會在去除這類資料汙染方面取得巨大進步。
不僅如此,馬斯克還順帶畫了一張更大的餅:年底前他們還會推出效能更強悍的 Grok 3。
照著科幻片做助理,先把訓練集洗一遍
去年 11 月 xAI 推出首代 Grok 與 OpenAI 的 ChatGPT 正面競爭,隨後迭代到 Grok 1.5。這一次馬斯克把 Grok 2 的對標靈感拉到了科幻作品上,提到它參考了《鋼鐵俠》裡的賈維斯以及《銀河系漫遊指南》。
新模型的核心改進集中在即時知識處理和推理能力上,官方在 MATH 和 HumanEval 等基準測試上的表現都有所提升,同時繼續整合即時網頁搜尋和影像生成功能。
但馬斯克眼下最在意的還是資料質量。他之前就多次批評過競爭對手使用的資料來源不夠乾淨,這次坦言把大語言模型生成的廢話從網際網路訓練資料中剝離出來極其費力,而 Grok 2 的重點就是在這方面徹底整頓。
年底堆十萬張卡,硬砸 Grok 3
8 月先看 Grok 2,但 xAI 顯然把真正的大招押在年底的 Grok 3 上。
據報道,Grok 3 計劃動用 10 萬張輝達 H100 顯示卡的算力叢集來進行訓練,試圖用超大規模的硬體算力把模型效能頂到新高。
支撐這個計劃的底層硬體正在迅速就位。戴爾科技執行長邁克爾·戴爾此前已經證實,戴爾正在與輝達合作打造專門的 AI 工廠,全力為馬斯克和 xAI 的 Grok 系列模型研發提供算力支援。
為什麼重要
對於一直關注 X 平臺功能或者訂閱了 Premium 的使用者來說,Grok 2 究竟能不能打,8 月就能見分曉。如果它在推理和數學基準上的提升屬實,大家在社交平臺上獲得的即時解答會少很多胡言亂語,更接近一個能幹實事的私人助手。
從行業競爭來看,馬斯克走了一條雙管齊下的路:一邊是在資料端做減法,把網路上反芻的 AI 垃圾資訊洗掉;另一邊是在算力端做暴力加法,直接拉攏戴爾和輝達搭 10 萬張 H100 的超大叢集。
我們認為,把精力放在清洗網際網路資料汙染上,這一步抓得很準。隨著全網 AI 生成文本氾濫,誰能保留高密度的純淨語料,誰才能避免模型近親繁殖導致的退化。
不過,年底推出 Grok 3 的節奏非常緊湊。把 10 萬張卡的大規模叢集在極短時間內拉通訓練,無論工程穩定性還是能源消耗都是巨大考驗,馬斯克的時間表能不能按時兌現,看起來依然存在變數。
來源 (1)
- coinspeaker.com(在新分頁開啟)原文coinspeaker.com
話題追蹤xAI Grok 模型開發與基礎設施建設
- 馬斯克啟用全球最強 AI 叢集:10 萬張液冷 H100 訓下代 Grok
- 馬斯克預告 Grok 2 於 8 月釋出:清洗訓練資料,年底還要上 Grok 3本則
- 造超算訓 Grok 3:馬斯克拉上 Dell 和超微組裝伺服器機架