Google 第六代 TPU Trillium 正式可用：训练提速 4 倍，曾用于炼出 Gemini 2.0

当所有人都在为英伟达的最新 GPU 抢破头、算着漫长交期的时候，Google 把自家秘密武器的底牌翻了过来。

Google 正式宣布第六代自研张量处理器 Trillium（即 TPU v6e）在 Google Cloud 上全面商用。这颗芯片此前一直作为内部底座存在，前不久刚刚亮相的 Gemini 2.0，就是在成千上万颗 Trillium 上跑出来的。

现在，任何企业和初创团队都可以直接租用这套算力了。

堆芯片容易，不掉速才见真章

比起上一代入门主力 TPU v5e，Trillium 在规格上的账面数字非常扎实。单芯片峰值算力提升了 4.7 倍，高带宽内存容量和芯片间互联带宽双双翻倍，整机能效比也提了 67%。

但这代芯片最可怕的地方不是单卡多强，而是集群规模拉大之后几乎不掉速。

很多做大模型训练的团队都知道，把几千张卡连在一起时，通信损耗往往会吃掉很大一部分算力。Google 这次在单个 Jupiter 网络结构下塞进了超过 10 万颗 Trillium 芯片，对分带宽达到每秒 13 Petabits。

在实际测试中，用 12 个 Pod 共 3072 颗芯片训练类似 GPT-3 级别的模型时，线性扩展效率达到了 99%。就算规模翻倍到 6144 颗芯片，效率依然有 94%。

为了解决超大模型的显存瓶颈，Trillium 还把主机内存做到了 v5e 的 3 倍。在训练拥有 4050 亿参数的 Llama 3.1 时，通过把部分数据卸载到主机内存，模型的算力利用率直接提高了 50% 以上。

从推荐系统到文生图的全面通吃

除了常规的稠密模型，现在的架构越来越偏向混合专家网络，也就是大家常说的 MoE。Trillium 在 MoE 模型训练上的速度比 v5e 快了 3.8 倍。

训练之外，推理成本往往是很多团队后期最大的开销。Google 拿 Stable Diffusion XL 做测试，Trillium 的离线生成吞吐提升了 3.1 倍，跑 Llama 2 的每秒 token 输出也接近翻倍。

有意思的是，Google 还给它塞进了第三代 SparseCore。这是一种专门跑稀疏计算的协处理器，让那些重度依赖 Embedding 的经典推荐系统模型，性能直接提升了 2 到 5 倍。

像 AI21 Labs 这样的老牌模型团队，已经开始用 Trillium 迭代自家的 Jamba 系列模型，目的很直接：在拿到更强算力的同时，把单 token 的训练成本打下来。

为什么重要

对于正在被 GPU 账单压得喘不过气的大模型团队和应用开发者来说，Trillium 的全面开放是一场及时的降雨。在同等支出下，Trillium 的训练性价比比上一代 v5p 提升了最高 2.5 倍，推理性价比提升了 1.4 倍。如果你正在微调大模型，或者要跑大规模的图像生成与推荐业务，现在很值得在 Google Cloud 上开一小块集群实测一下。

在行业层面，这看起来是 Google 对英伟达生态发起的最有力一次自卫反击。过去很多团队离不开英伟达，核心是 CUDA 生态绑得太死。Google 这一趟通过优化 XLA 编译器以及对 JAX、PyTorch 的原生支持，正在把软硬件协同的迁移门槛降到极低，这会倒逼其他云厂商加速自研芯片的商业化落地。

我们认为，Google 最聪明的地方在于没有把 Trillium 做成只服务于前沿大语言模型的专用玩具，而是把推荐系统、多模态生成、MoE 架构和集群调度打包成了一整套方案。不过隐患也显而易见：一旦把底层完全押注在 Google Cloud 和 TPU 的网络架构上，团队的多云部署和跨平台迁移灵活性就会打折扣。这笔性价比账怎么算，终究取决于企业对单一云巨头的绑定容忍度。