Google 第六代 TPU Trillium 正式可用：訓練提速 4 倍，曾用於煉出 Gemini 2.0

當所有人都在為輝達的最新 GPU 搶破頭、算著漫長交期的時候，Google 把自家秘密武器的底牌翻了過來。

Google 正式宣佈第六代自研張量處理器 Trillium（即 TPU v6e）在 Google Cloud 上全面商用。這顆晶片此前一直作為內部底座存在，前不久剛剛亮相的 Gemini 2.0，就是在成千上萬顆 Trillium 上跑出來的。

現在，任何企業和初創團隊都可以直接租用這套算力了。

堆晶片容易，不掉速才見真章

比起上一代入門主力 TPU v5e，Trillium 在規格上的賬面數字非常紮實。單晶片峰值算力提升了 4.7 倍，高頻寬記憶體容量和晶片間互聯頻寬雙雙翻倍，整機能效比也提了 67%。

但這代晶片最可怕的地方不是單卡多強，而是叢集規模拉大之後幾乎不掉速。

很多做大模型訓練的團隊都知道，把幾千張卡連在一起時，通訊損耗往往會吃掉很大一部分算力。Google 這次在單個 Jupiter 網路結構下塞進了超過 10 萬顆 Trillium 晶片，對分頻寬達到每秒 13 Petabits。

在實際測試中，用 12 個 Pod 共 3072 顆晶片訓練類似 GPT-3 級別的模型時，線性擴充套件效率達到了 99%。就算規模翻倍到 6144 顆晶片，效率依然有 94%。

為了解決超大模型的視訊記憶體瓶頸，Trillium 還把主機記憶體做到了 v5e 的 3 倍。在訓練擁有 4050 億引數的 Llama 3.1 時，通過把部分資料解除安裝到主機記憶體，模型的算力利用率直接提高了 50% 以上。

從推薦系統到文生圖的全面通吃

除了常規的稠密模型，現在的架構越來越偏向混合專家網路，也就是大家常說的 MoE。Trillium 在 MoE 模型訓練上的速度比 v5e 快了 3.8 倍。

訓練之外，推理成本往往是很多團隊後期最大的開銷。Google 拿 Stable Diffusion XL 做測試，Trillium 的離線生成吞吐提升了 3.1 倍，跑 Llama 2 的每秒 token 輸出也接近翻倍。

有意思的是，Google 還給它塞進了第三代 SparseCore。這是一種專門跑稀疏計算的協處理器，讓那些重度依賴 Embedding 的經典推薦系統模型，效能直接提升了 2 到 5 倍。

像 AI21 Labs 這樣的老牌模型團隊，已經開始用 Trillium 迭代自家的 Jamba 系列模型，目的很直接：在拿到更強算力的同時，把單 token 的訓練成本打下來。

為什麼重要

對於正在被 GPU 賬單壓得喘不過氣的大模型團隊和應用開發者來說，Trillium 的全面開放是一場及時的降雨。在同等支出下，Trillium 的訓練價效比比上一代 v5p 提升了最高 2.5 倍，推理價效比提升了 1.4 倍。如果你正在微調大模型，或者要跑大規模的影像生成與推薦業務，現在很值得在 Google Cloud 上開一小塊叢集實測一下。

在行業層面，這看起來是 Google 對輝達生態發起的最有力一次自衛反擊。過去很多團隊離不開輝達，核心是 CUDA 生態綁得太死。Google 這一趟通過最佳化 XLA 編譯器以及對 JAX、PyTorch 的原生支援，正在把軟硬體協同的遷移門檻降到極低，這會倒逼其他雲廠商加速自研晶片的商業化落地。

我們認為，Google 最聰明的地方在於沒有把 Trillium 做成只服務於前沿大語言模型的專用玩具，而是把推薦系統、多模態生成、MoE 架構和叢集排程打包成了一整套方案。不過隱患也顯而易見：一旦把底層完全押注在 Google Cloud 和 TPU 的網路架構上，團隊的多雲部署和跨平臺遷移靈活性就會打折扣。這筆價效比賬怎麼算，終究取決於企業對單一雲巨頭的繫結容忍度。