Googleが第8世代TPUを発表：学習用「8t」と推論用「8i」の2系統展開へ

大規模言語モデルの学習と、複数の自律型エージェントを協調動作させる推論では、求められるハードウェアの要件が根本から異なります。これまで多くのクラウド事業者が単一のプロセッサで双方をカバーしようとしてきましたが、その限界も見え始めていました。

Google は 4 月 22 日、年次イベント Google Cloud Next において、第 8 世代となるカスタム AI チップを発表しました。今回最大の変更点は、学習特化型の TPU 8t と、推論・エージェント処理に特化した TPU 8i という 2 つの専用アーキテクチャに完全に分離した点です。

Google DeepMind と共同設計された両チップは、年内に一般提供が開始される予定です。

100 万基規模の学習と、遅延を削る推論

学習向けの TPU 8t は、フロンティアモデルの開発期間を数カ月から数週間へ短縮することを目的に開発されました。単一のスーパーポッド構成で 9600 基のチップと 2PB の共有広帯域メモリを束ね、前世代 Ironwood 比で約 3 倍となる 121 ExaFlops の演算性能を叩き出します。

大規模クラスタで課題となるハードウェア障害に対しては、光回線スイッチングなどを組み合わせた自律復旧機能を搭載。処理を中断することなく障害リンクを迂回し、実効稼働率 97% 以上を維持します。新設計の Virgo ネットワークにより、単一の論理クラスタで最大 100 万基規模までのほぼ線形なスケーリングが可能とされています。

対する TPU 8i は、推論やエージェントのワークロードに照準を合わせています。エージェント間の連携による遅延の蓄積を防ぐため、288GB の高帯域メモリに加え、前世代の 3 倍となる 384MB のオンチップ SRAM を搭載。KV キャッシュをチップ上に保持することでメモリの壁を打破します。

ホスト CPU には Google 自社製 Arm プロセッサの Axion を採用し、MoE モデル向けのインターコネクト帯域幅を 19.2 Tb/s に倍増させました。これによりチップ内レイテンシを最大 5 分の 1 に低減し、前世代比で電力あたりのコストパフォーマンスを 80% 改善したとしています。

ソフトウェア面では JAX や MaxText に加え、PyTorch、vLLM、SGLang をネイティブサポートし、ベアメタル環境も提供されます。米金融大手の Citadel Securities などがすでに導入を決めています。

ただし、これで NVIDIA と完全に袂を分かつわけではありません。TechCrunch によると、Google Cloud は年内に NVIDIA の最新チップ Vera Rubin も提供予定で、ネットワーク技術 Falcon でも協業を続けています。半導体アナリストの Patrick Moorhead 氏は X にて、2016 年の初代 TPU 登場時に NVIDIA の脅威になると予測したが、同社は今や時価総額 5 兆ドル規模に達したと冗談交じりに振り返っています。

なぜ重要か

AI が単なるチャットボットから自律型エージェントへと移行する中、企業にとって最大の頭痛の種は推論コストと応答速度です。TPU 8i が主張する 80% の費用対効果改善は、日常的に大量のトークンを処理する事業者にとって見逃せません。すでにオープンソースの推論エンジンを採用している開発者なら、提供開始後に試す価値は十分にあります。

ハードウェアを学習用と推論用に明確に切り分けた Google の判断は、極めて理にかなっていると私たちは考えます。巨大な分散並列を要する学習と、低遅延とキャッシュ効率が命となるエージェント推論を同一のシリコンで満たそうとすれば、必ずどこかに妥協が生じるからです。

もっとも、CUDA が築いた強固なソフトウェア資産を崩すのは容易ではありません。Google 自身が Vera Rubin の導入を継続している事実が、その依存度の高さを物語っています。それでも、自社製 Arm CPU から冷却技術、モデル設計までを垂直統合した今回の TPU は、クラウドインフラにおける Google の対抗軸を着実に強固なものにしています。