Google 釋出第七代 TPU Ironwood：首款專為推理設計的自研晶片

過去大半年，幾乎所有做大模型的人都在為一個新問題頭疼：模型會「思考」了，但算力吃不消了。

以前大模型回答問題，敲完回車幾百個字就吐出來了；現在的推理模型要在背後反覆檢索、自我糾錯、多步推理，消耗的算力比過去暴漲。在 Google Cloud Next 25 大會上，Google 拿出了應對這個局面的關鍵武器：第七代 TPU 晶片 Ironwood。

這也是 Google 第一次明確把一款 TPU 定義為「專為推理時代而生」的晶片，預計在今年晚些時候正式上線。

專治「愛思考」的模型

Ironwood 最核心的升級，全部衝著現代大模型的痛點去：記憶體和吞吐頻寬。

大模型推理最怕卡在資料搬運上。Ironwood 單顆晶片塞進了 192 GB 的高頻寬記憶體（HBM），是上一代 Trillium 的整整 6 倍。它的記憶體頻寬達到每秒 7.37 TB，也是上一代的 4.5 倍。

晶片之間的互聯頻寬提升到雙向每秒 1.2 TB。同時，Google 還給它配了增強版的 SparseCore，專門用來加速搜尋排序和超大規模嵌入計算。

堆出這種規格，目的只有一個：讓大引數量模型和混合專家架構（MoE）把更多引數直接留在快取記憶體裡，儘量少在晶片和主存之間倒騰資料。

單個叢集幹出 24 倍超級計算機的算力

面向企業部署，Google 提供了兩種規格：基礎的 256 晶片配置，以及頂配的 9,216 晶片叢集。

那個全液冷的 9,216 晶片叢集，佔了將近 10 兆瓦的電力，算力總計達到 42.5 Exaflops。這個數字相當於全球頭號超級計算機 El Capitan（1.7 Exaflops）的 24 倍還多。單顆晶片的峰值算力為 4,614 TFLOPs。

算力雖然拉得極高，但功耗效率成了最大亮點。Ironwood 的每瓦效能比去年的 Trillium 翻了一倍；如果和 2018 年 Google 的初代雲端 TPU 比，能效比提高了近 30 倍，效能更是狂飆了 3,600 倍。

軟體層面，Google 搬出了 DeepMind 開發的 Pathways 執行時，聲稱能把數十萬顆 Ironwood 串聯在一起協同工作，給接下來的 Gemini 2.5 系列模型和科學計算打底。

為什麼重要

我們認為，Ironwood 的亮相標誌著雲巨頭之間的 AI 戰火徹底燒到了「後訓練與推理端」。

過去兩年行業比拼的是誰能買到更多輝達卡去訓基礎模型，而現在比的是誰能把推理成本降下來，讓每天幾十億次的 AI 互動跑得起。Google 自家的 Gemini 已經接入了 15 個使用者數過 5 億的產品，如果全用昂貴的通用 GPU 跑推理，成本賬根本算不過來。

對開發者和企業來說，這意味著未來用 Google Cloud 跑超大 MoE 架構或複雜推理智慧體，單位成本和延遲有希望顯著下降。尤其 192 GB 的視訊記憶體規格，讓很多大模型可以直接單卡或小叢集部署，省去了極度複雜的切片開銷。

但這套體系的隱患同樣明顯：它被牢牢鎖死在 Google 的生態裡。無論是 Pathways 執行時還是 TPU 架構，遷移門檻都極高，使用者很難像用通用 GPU 那樣在不同雲廠商之間無縫橫跳。Google 正在用極具吸引力的能效比和算力引數，構築一條排他性極強的護城河。