Google 发布第八代 TPU：推训分家，TPU 8t 与 8i 直指智能体时代

过去做大模型硬件，大家习惯用同一种芯片通吃训练和推理。但随着 AI 智能体动不动就要多步推理、几只 agent 协同跑复杂工作流，这种一刀切的架构越来越吃力。

4 月 22 日的 Google Cloud Next 大会上，Google 正式端出了第八代 TPU。有意思的是，这次他们不再搞单打独斗，而是直接拆成了两颗各司其职的专用芯片：专攻大模型训练的 TPU 8t，以及专门负责推理的 TPU 8i。

这也是 Google 第一次拉上 DeepMind 深度协同定制硬件，两款芯片预计都会在今年晚些时候正式上线。

训练堆到百万卡，推理死磕延迟

负责训练的 TPU 8t，目标是把前沿模型的开发周期从几个月压缩到几周。它的单 superpod 规模直接拉到了 9600 颗芯片，塞进 2 PB 的共享高带宽内存，整 pod 算力达到 121 ExaFlops，算力差不多是上一代 Ironwood 的 3 倍。

为了避免硬件故障导致整个集群停摆，Google 给 8t 塞进了一整套 RAS 容错设计。系统能实时监控几万颗芯片，遇到坏掉的互连链路会自动绕路而不中断任务，还能通过光路交换无感重构硬件，把有效算力利用率拉到了 97% 以上。靠着新的 Virgo 网络，理论上它可以在单个逻辑集群里把近线性扩展推到 100 万颗芯片。

另一边的 TPU 8i 则完全冲着推理和 agent 场景去。智能体交互最怕延迟累积，8i 拿出了 288 GB 的高带宽内存，片上 SRAM 也翻了 3 倍做到 384 MB，专门用来兜住推理时的 KV 缓存，让活跃数据全在片上跑。

此外，8i 首次换上了 Google 自家的 Axion Arm 架构 CPU 作为主机，针对 MoE 架构把互连带宽拉到了 19.2 Tb/s，还新增了片上集合通信加速引擎，把片上延迟砍掉了最多 5 倍。Google 称其性价比相比上一代直接提升了 80%，同样预算能多接将近一倍的访问量。

生态方面，Citadel Securities 已经开始用它跑业务。两款芯片除了支持 JAX 和 MaxText，也原生跑得通 PyTorch、SGLang 和 vLLM，并且提供裸金属访问。

不过，这并不意味着 Google 要彻底和英伟达掀桌子。据 TechCrunch 报道，Google 云今年晚些时候照样会上线英伟达最新的 Vera Rubin 芯片，双方甚至还在合作推进 Falcon 网络技术。知名芯片分析师 Patrick Moorhead 就在 X 上调侃，自己早在 2016 年第一代 TPU 出来时就预测英伟达要遭殃，结果现在英伟达市值都快奔着 5 万亿美元去了。

为什么重要

在很多人的印象里，买算力就是买 GPU。但随着大模型从单纯的单次问答变成需要反复思考、调用工具的智能体，推理成本和网络延迟正在迅速吃掉企业的利润。对开发者和企业来说，TPU 8i 的 80% 性价比提升非常实在，如果你的业务已经大量依赖 vLLM 或 SGLang 跑开源模型，等到下半年开放后，完全值得把一部分推理流量切过去测测成本。

我们认为，Google 这次最聪明的做法，是终于放下了通用芯片的执念，在硅片层面把训练和推理彻底切开。训模型要的是暴力互连和容错兜底，而智能体推理拼的是片上缓存和极低延迟，硬揉在一块只会互相妥协。

当然，隐患也不是没有。自研芯片再强，也摆脱不了生态黏性的重力。英伟达筑起的 CUDA 生态依然稳固，这也是为什么 Google 一边推 TPU，一边还得老老实实采购 Vera Rubin。但看起来，云厂商自己做定制加速芯片的路线已经越走越深，随着 DeepMind 和自研 Arm CPU 的全栈接入，Google 至少在自家的地盘上，打出了足够硬气的议价筹码。