xAIが「Grok-1.5」発表、12万8000トークンの長文脈と推論強化を実現

イーロン・マスク氏率いる xAI は、推論能力を大幅に高め、128K トークンのコンテキスト長に対応した新モデル「Grok-1.5」を発表しました。

わずか2週間前に旧世代にあたる Grok-1 の重みとアーキテクチャをオープンソース公開したばかりですが、早くも次期モデルの投入となります。数日以内に 𝕏 上の初期テスターおよび既存の Grok 利用者向けに順次提供が開始される予定です。

数学・コーディング性能の大幅向上と128K対応

Grok-1.5 で最も目を引くのは、前バージョンからの性能向上幅です。難関高校数学レベルを含む MATH ベンチマークでは、Grok-1 の 23.9% から 50.6% へとスコアが倍増しました。

初等数学を扱う GSM8K でも 62.9% から 90% へと大きく伸ばしています。コード生成能力を測る HumanEval では 74.1% を記録し、比較対象とされた Claude 3 Sonnet の 73% や Gemini Pro 1.5 の 71.9%、さらに2023年3月時点の GPT-4 の 67% を上回りました。

総合的な知識を測る MMLU は 81.3% で、Mistral Large と同等水準に達していますが、Claude 3 Opus の 86.8% には及んでいません。

また、処理可能なコンテキスト長は従来の16倍となる128,000トークンに拡大されました。長文から特定の情報を探し出す Needle In A Haystack 評価では、128K の範囲全体において完璧な情報抽出結果を達成したとしています。

今回の発表では基盤技術の詳細も明かされました。xAI は JAX、Rust、Kubernetes をベースとした独自の分散学習スタックを構築しており、故障したノードを自動検出して除外する仕組みや、チェックポイント保存および再起動の最適化により、大規模 GPU クラスタでの稼働率を最大化していると説明しています。

なぜ重要か

𝕏 のプレミアムユーザーにとって、Grok は単なるおしゃべり相手から、長大な文書の要約やプログラミングを任せられる実用的なアシスタントへと一気に進化することになります。

業界全体から見れば、xAI の開発スピードの速さが際立ちます。過去モデルのオープン化で注目を集めた直後に、推論性能を強化した新版を投入することで、開発競争の最前線に食らいつき続ける姿勢を明確に示しました。

同社が JAX と Rust を用いて学習インフラを自前で磨き上げている点は極めて堅実だと考えられます。大規模学習における最大のボトルネックであるハードウェア障害による停止時間を抑え込んでいることは、今後のモデル開発でも大きな武器になるはずです。

一方で、比較対象の GPT-4 が2023年春の初期バージョンである点や、Claude 3 Opus には依然として及ばないスコアがある点など、フロンティアモデルの完全な首位奪取にはまだ距離があります。日常利用でどこまで安定した挙動を示せるかが今後の焦点です。