xAIが推論スタックを刷新、Grok-2 miniの生成速度が2倍に向上

モデル公開からわずか1週間足らずで、基盤となる推論システムが丸ごと作り直されました。

xAIのエンジニアであるIgor Babuschkin氏がX上で明かしたところによると、同社の開発者であるLianmin Zheng氏とSaeed Maleki氏の2名が、オープンソースの推論フレームワークSGLangを用いて、わずか3日間で推論スタックをゼロから完全に書き直しました。

その効果は劇的です。軽量版モデルであるGrok-2 miniの応答速度は前日比で2倍に高速化しました。さらに、複数マシンをまたぐマルチホスト推論が必要な大型モデルのGrok-2本編についても、実用的な速度で処理結果を返せるようになったと説明されています。Babuschkin氏によれば、高速化にとどまらず、両モデルとも回答の精度がわずかに向上したとのことです。

オープンソースSGLangがもたらした突破口

短期間での全面刷新を可能にしたSGLangは、Apache 2.0ライセンスで公開されている高性能フレームワークです。

スタンフォード大学、カリフォルニア大学バークレー校、テキサスA&M大学、上海交通大学の研究者らによって開発されました。フロントエンド言語とバックエンド実行環境を統合し、自動キャッシュ再利用やプログラム内の並列処理を最適化することで、既存システム比で最大6.4倍のスループットを実現します。LlamaやMistral、LLaVAのほか、GPT-4などのAPI連携モデルにも幅広く対応しています。

速度改善と並行して、外部ベンチマークの順位も公表されました。第三者評価機関LMSYSのChatbot Arenaにおいて、Grok-2は6686票の評価をもとにスコア1293を獲得し、世界2位につけました。これはGoogleのGemini-1.5 Proと同点であり、ChatGPT-4oの最新版に次ぐ位置です。数学タスクでは単独1位を獲得したほか、コード生成や指示追従でも上位を維持しています。小型版のGrok-2 miniも7266票でスコア1268を獲得し、5位につけています。

なぜ重要か

月額8ドルのX有料プランを利用しているユーザーにとって、今回の改善は待ち時間の短縮として即座に実感できます。特にGrok-2 miniは高速応答に強みを持つため、文章の要約や日常的な検索補助として実用性が大きく跳ね上がりました。現時点でXを契約しているなら、試してみる価値は十分にあります。

業界の視点から見ると、大学発のオープンソース基盤が巨大テック企業の独自基盤を短期間で置き換えられる水準に達している点が際立ちます。通常なら数か月かかる本番推論環境の全面移行を、わずか2名の技術者が72時間でやり切ったスピード感は、xAIの極端なアジリティを示しています。

一方で、この動きはリリース当初のインフラがマルチホスト推論の負荷に耐えかねていた実態も物語っています。オープンソースの力を借りて直近のボトルネックを乗り越えた判断は極めて合理的ですが、Xの課金機能の中に閉じた現状のままでは、真のプラットフォーム競争で競合を突き放すにはまだ課題が残ると考えられます。