Google、推論特化型の第7世代TPU「Ironwood」を発表

最先端 AI の競争において、最大の課題は「学習」から「推論」へと急速に移り変わっています。

思考プロセスを踏む推論モデルや自律型エージェントは、答えを出すまでに何度も自問自答を繰り返すため、従来の何倍もの計算資源を消費します。こうした課題に対応するため、Google は Google Cloud Next 25 にて、第 7 世代となる自社製 AI アクセラレーター「Ironwood」を発表しました。

今年後半に提供開始が予定されている Ironwood は、Google が初めて「推論時代向け」と銘打った TPU です。

メモリ帯域のボトルネックを打破

近年の思考型モデルや Mixture of Experts（MoE）では、演算能力そのものよりもチップ間の通信遅延やメモリ容量が壁になります。

Ironwood はこのボトルネックを直接解消しにきました。チップ 1 個あたりの広帯域メモリ（HBM）は 192 GB と、前世代の Trillium に比べて 6 倍に拡大しています。メモリ帯域幅も 4.5 倍となる毎秒 7.37 TB に達しました。

チップ間を接続する Inter-Chip Interconnect（ICI）帯域は双方向で毎秒 1.2 TB へと 1.5 倍に引き上げられました。さらに、検索や推薦システムで多用される巨大な埋め込み処理を高速化するため、強化された SparseCore も内蔵されています。

スパコンを圧倒する 9,216 基ポッド構成

提供形態としては、256 基構成と 9,216 基構成の 2 種類のポッドが用意されます。

水冷式の 9,216 基ポッド全体では 42.5 エクサフロップスの処理性能を誇り、約 10 MW の電力を消費します。これは現時点で世界最速のスーパーコンピューターである El Capitan（1.7 エクサフロップス）の 24 倍を超える計算能力にあたります。単体チップのピーク性能は 4,614 TFLOPs です。

性能の引き上げと同時に、省電力性にも注力されています。Trillium 比でワットあたり性能は 2 倍に改善され、2018 年の初代 Cloud TPU と比較すると電力効率は約 30 倍、性能は約 3,600 倍に達したと説明されています。

なぜ重要か

Ironwood の登場は、ハイパースケーラー各社が直面している「推論コストの爆発」に対する Google 流の回答だと私たちは考えます。

Gemini などの思考モデルはユーザー体験を高める一方で、日常的な検索や業務処理で動かすには膨大な計算コストがかかります。Google 自身、利用者が 5 億人を超える主要 15 サービスすべてに Gemini を組み込んでおり、自社製高効率チップなしには事業採算を維持できない局面に入っています。

ユーザーや開発者にとっては、今年後半から Google Cloud 上で大規模な MoE モデルや推論エージェントをより低遅延かつ割安に動かせる選択肢ができる点がメリットです。チップ単体で 192 GB という大容量メモリを備えているため、モデルの分割配置にかかるオーバーヘッドも抑えられます。

一方で懸念されるのはエコシステムの囲い込みです。Ironwood の真価を発揮するには Google 独自の Pathways などの環境に依存する必要があり、他社クラウドや汎用 GPU への移行は一段と難しくなります。自社製シリコンの経済性を武器に、Google Cloud への定着を促す狙いが透けて見えます。