Google Cloud 釋出第五代自研 TPU：每美元訓練效能翻倍，支援萬卡擴充套件

大家都在搶輝達 GPU 的時候，Google 掏出了自家打磨多年的秘密武器。

在 Cloud Next 年度大會上，Google Cloud 正式推出了第五代定製晶片 TPU，專門用來跑 AI 模型的訓練和推理。

Google 在 2021 年公佈了第四代 TPU，但直到 2022 年才真正交到開發者手裡。這次拿出第五代，Google 把全部心思都花在了刀刃上：能效和價效比。

算力翻倍，還能把數萬張晶片連起來

比起上一代，第五代 TPU 主打一個幫客戶省錢。

根據 Google 官方給出的資料，在每一美元的花費下，第五代 TPU 的訓練效能提升了 2 倍，推理效能更是直接拔高了 2.5 倍。

Google Cloud 負責計算與機器學習基礎設施的副總裁兼總經理 Mark Lohmeyer 直言，這是他們迄今為止最具價效比、也是最容易用上的雲端 TPU。

光單卡變強還不夠，這次最大的升級在叢集擴充套件能力上。

以往受限於物理架構，算力很難無限堆疊。Mark Lohmeyer 表示，新一代技術允許使用者打破單個 TPU Pod 或單個物理叢集的界限。

也就是說，單個超大 AI 任務現在可以跨越多個物理叢集，直接排程數萬顆 TPU 晶片一起工作，而且成本依然可控。

自研不夠，下月還送上 H100

除了自研的第五代 TPU，Google 也沒把路走窄。

在同一場大會上，Google Cloud 宣佈將在下個月讓 Nvidia H100 GPU 正式面向開發者商用，搭載在自家的 A3 系列虛擬機器裡。

用 Google 的話說，不管是喜歡雲端 GPU 還是偏好自家 TPU，他們要給不同需求的 AI 開發者提供足夠的靈活性和選擇權。

為什麼重要

對正在訓練大模型的開發者和企業來說，算力貴、算力缺是眼下最要命的痛點。Google 給出 2 倍到 2.5 倍的每美元價效比提升，意味著花同樣的預算，模型可以多跑幾輪迭代，或者把推理部署的成本大幅砍下來。

更關鍵的是對數萬顆晶片的跨叢集擴充套件支援。大模型引數量越來越恐怖，單機或單 Pod 很快就會撞牆，能平滑跨叢集擴充套件，才算拿到了入局超大模型訓練的門票。

我們認為，Google 這步棋下得非常務實。一邊亮出第五代 TPU 展示自研硬體肌肉，證明自己不完全依賴輝達；另一邊又在下個月迅速把輝達 H100 推向商用，不把輝達生態的客戶往外推。

這種雙軌策略一方面能緩解行業 GPU 供應鏈緊缺的壓力，另一方面也給了雲廠商博弈的籌碼。不過自研晶片的生態遷移成本向來不低，開發者願不願為了價效比從 CUDA 體系切過來，依然是 Google 接下來要面對的現實阻力。