Google 釋出第八代 TPU：推訓分家，TPU 8t 與 8i 直指智慧體時代

過去做大模型硬體，大家習慣用同一種晶片通吃訓練和推理。但隨著 AI 智慧體動不動就要多步推理、幾隻 agent 協同跑複雜工作流，這種一刀切的架構越來越吃力。

4 月 22 日的 Google Cloud Next 大會上，Google 正式端出了第八代 TPU。有意思的是，這次他們不再搞單打獨鬥，而是直接拆成了兩顆各司其職的專用晶片：專攻大模型訓練的 TPU 8t，以及專門負責推理的 TPU 8i。

這也是 Google 第一次拉上 DeepMind 深度協同定製硬體，兩款晶片預計都會在今年晚些時候正式上線。

訓練堆到百萬卡，推理死磕延遲

負責訓練的 TPU 8t，目標是把前沿模型的開發週期從幾個月壓縮到幾週。它的單 superpod 規模直接拉到了 9600 顆晶片，塞進 2 PB 的共享高頻寬記憶體，整 pod 算力達到 121 ExaFlops，算力差不多是上一代 Ironwood 的 3 倍。

為了避免硬體故障導致整個叢集停擺，Google 給 8t 塞進了一整套 RAS 容錯設計。系統能即時監控幾萬顆晶片，遇到壞掉的互連鏈路會自動繞路而不中斷任務，還能通過光路交換無感重構硬體，把有效算力利用率拉到了 97% 以上。靠著新的 Virgo 網路，理論上它可以在單個邏輯集群裡把近線性擴充套件推到 100 萬顆晶片。

另一邊的 TPU 8i 則完全衝著推理和 agent 場景去。智慧體互動最怕延遲累積，8i 拿出了 288 GB 的高頻寬記憶體，片上 SRAM 也翻了 3 倍做到 384 MB，專門用來兜住推理時的 KV 快取，讓活躍資料全在片上跑。

此外，8i 首次換上了 Google 自家的 Axion Arm 架構 CPU 作為主機，針對 MoE 架構把互連頻寬拉到了 19.2 Tb/s，還新增了片上集合通訊加速引擎，把片上延遲砍掉了最多 5 倍。Google 稱其價效比相比上一代直接提升了 80%，同樣預算能多接將近一倍的訪問量。

生態方面，Citadel Securities 已經開始用它跑業務。兩款晶片除了支援 JAX 和 MaxText，也原生跑得通 PyTorch、SGLang 和 vLLM，並且提供裸金屬訪問。

不過，這並不意味著 Google 要徹底和輝達掀桌子。據 TechCrunch 報道，Google 雲今年晚些時候照樣會上線輝達最新的 Vera Rubin 晶片，雙方甚至還在合作推進 Falcon 網路技術。知名晶片分析師 Patrick Moorhead 就在 X 上調侃，自己早在 2016 年第一代 TPU 出來時就預測輝達要遭殃，結果現在輝達市值都快奔著 5 萬億美元去了。

為什麼重要

在很多人的印象裡，買算力就是買 GPU。但隨著大模型從單純的單次問答變成需要反覆思考、呼叫工具的智慧體，推理成本和網路延遲正在迅速吃掉企業的利潤。對開發者和企業來說，TPU 8i 的 80% 價效比提升非常實在，如果你的業務已經大量依賴 vLLM 或 SGLang 跑開源模型，等到下半年開放後，完全值得把一部分推理流量切過去測測成本。

我們認為，Google 這次最聰明的做法，是終於放下了通用晶片的執念，在矽片層面把訓練和推理徹底切開。訓模型要的是暴力互連和容錯兜底，而智慧體推理拼的是片上快取和極低延遲，硬揉在一塊只會互相妥協。

當然，隱患也不是沒有。自研晶片再強，也擺脫不了生態黏性的重力。輝達築起的 CUDA 生態依然穩固，這也是為什麼 Google 一邊推 TPU，一邊還得老老實實採購 Vera Rubin。但看起來，雲廠商自己做定製加速晶片的路線已經越走越深，隨著 DeepMind 和自研 Arm CPU 的全棧接入，Google 至少在自家的地盤上，打出了足夠硬氣的議價籌碼。