xAIの「Grok 3」、事前学習が完了　マスク氏「Grok 2の10倍の計算能力を投入」

イーロン・マスク氏はxAI の次世代大規模言語モデル Grok 3 の事前学習が完了し、まもなくリリースされると X 上で明らかにしました。

マスク氏によると、Grok 3 の事前学習には前世代モデル Grok 2 と比較して 10 倍の計算リソースが投入されたとのことです。

この発表は、あるユーザーが Grok を 4 週間使った結果 ChatGPT のサブスクリプションを解約したと投稿した内容に返信する形で行われました。そのユーザーは Grok の信頼性と処理速度を高く評価していました。

10 万基の H100 を投入した計算基盤

マスク氏は詳細な技術仕様には触れていませんが、時期や経緯から見て、Grok 3 は xAI の巨大スパコンクラスタ Colossus 上で事前学習が行われたと見られています。

Colossus は約 10 万基の Nvidia H100 GPU を備えており、超大規模 AI プロジェクトの加速を目的に構築されました。Grok 2 の 10 倍という計算リソースの規模は、このインフラの稼働実績と合致しています。

また Grok 3 は、学習データとして X ユーザーが投稿した膨大なリアルタイムデータも活用しています。

さらに xAI は今後数か月以内に、Colossus を H100 および H200 を組み合わせた 20 万基規模へ拡張し、次の Grok Next の事前学習に備える計画です。長期的には 100 万基以上の GPU を搭載したクラスタの構築も視野に入れていると報じられています。

なぜ重要か

ユーザーにとって Grok 3 は、GPT-4 クラスのフロンティアモデルと正面から競合できる性能を持つかどうかの試金石になります。高速な応答性を保ったまま論理的思考力や精度が向上していれば、日常的な作業ツールとして有力な選択肢になり得ます。

業界全体にとっても、xAI の驚異的なハードウェア配備と開発スピードは、OpenAI や Google DeepMind、Anthropic に対する強いプレッシャーになります。わずかな期間で 10 万基規模のクラスタを立ち上げてモデルを完成させた実行力は特筆すべき点です。

当社としては、計算パワーを極限まで集中させる xAI の戦略は非常に明快で勢いがあると考えます。ただし、計算量を 10 倍にしたことで知能や推論能力がどこまで本質的に伸びるのか、単なる力任せのスケールアップがもたらす費用対効果の限界は慎重に見極める必要があります。