SemiAnalysis分析：Google Geminiの計算力、年内にGPT-4の5倍へ

世間がOpenAIとMicrosoftの動きに目を奪われている間に、最大の手札を握った巨人が目を覚ましました。

半導体調査機関のSemiAnalysisが公開した最新レポートによると、Googleは次世代モデル「Gemini」の学習を急ピッチで進めています。その事前学習における計算量（FLOPS）は、年内にもGPT-4の5倍に達し、現行のインフラ増強ペースが続けば来年末には20倍に跳ね上がる見通しです。

Googleは検索事業を守るあまり出遅れたと見られていましたが、計算インフラの観点から見ればまったく別の景色が広がっています。

「GPU富裕層」と「GPU貧困層」の残酷な格差

レポートは現在のAIエコシステムを「GPU富裕層（GPU-Rich）」と「GPU貧困層（GPU-Poor）」に二分して描いています。

富裕層に属するのはOpenAI、Google、Anthropic、Meta、Inflection、Xといった一握りの企業だけです。彼らは2万枚以上のA100やH100を保有し、トップ研究者たちは個人的な実験のために数千枚単位のGPUを自由に動かしています。いまやシリコンバレーでは、扱えるGPUの数が人材獲得の最大の武器になっています。

一方で、多くのスタートアップやオープンソース開発者はGPU貧困層に追いやられています。SemiAnalysisは、彼らが不十分なVRAMと格闘しながら、ベンチマークのスコア稼ぎや無意味な微調整に貴重な時間を浪費していると手厳しく批判しています。

本来オープン側が注力すべきは、投機的デコーディングやMoE（Mixture of Experts）のような効率化技術、あるいは10兆トークン規模の高品質データセットの整備です。しかし現実は、スタイルだけを整えた実用に耐えないモデルの量産に終始していると指摘します。

HuggingFaceやTogether、MosaicMLを買収したDatabricksといった有力企業ですら、世界トップレベルの研究者を抱えながらも計算リソースが桁違いに不足しており、貧困層に分類されています。

Nvidiaの支配を崩せる唯一の対抗馬

現在、世界中のAI投資は実質的にNvidiaの銀行口座へと吸い込まれ続けています。さらにNvidia自身も「DGX Cloud」を通じて大企業顧客を直接囲い込み始めています。

この寡占を打ち破れる可能性がある唯一の存在がGoogleです。

GoogleはNvidiaのGPUに頼り切る必要がありません。自社開発のアクセラレータTPU、特にコードネーム「Viperfish」と呼ばれる新世代TPUv5の量産を猛烈な勢いで進めています。旧型のTPUv4や推論向けのTPUv5eを除外しても、TPUv5の配備ペースだけで他社を圧倒する計算基盤を構築しつつあります。

なぜ重要か

この分析が突きつけているのは、最先端の大規模言語モデル開発が純粋な資本集約型の重工業であるという現実です。コミュニティの熱意や小手先のファインチューニングだけで、巨大な計算力を持つフロンティアラボに対抗するのはほぼ不可能です。

スタートアップや開発者にとっては、自前でゼロから事前学習を挑むハードルが決定的に高くなったことを意味します。勝負すべきは無駄なベンチマーク競争ではなく、投機的デコーディングの実装やエッジ環境での低遅延推論といった、泥臭く実利のあるエンジニアリング領域です。

業界全体にとって最大の焦点は、Googleがこの圧倒的な計算力を実際の製品競争力に変えられるかどうかです。Googleの弱点は常にインフラではなく、既存の広告ビジネスを守ろうとする意思決定の遅さにありました。どれほど計算量を注ぎ込んでも、創造性を削ぎ落とさずに市場へ送り出す度胸がなければ、強力な暖房設備を動かしているのと変わりません。