報道稱 OpenAI 採用 Google TPU：分攤輝達依賴，降低推理成本

商場上沒有永遠的敵人，只有買不起的算力。

哪怕 OpenAI 和 Google 在大模型前線打得不可開交，到了算力賬單面前，大家還是得坐下來談生意。據路透社援引知情人士訊息，OpenAI 已經開始租用 Google 的 TPU 晶片，用來跑 ChatGPT 等產品的推理任務。這不僅是 OpenAI 首次在底層硬體上大規模走出 Nvidia 的懷抱，也讓 Google Cloud 拿到了一張意味深長的訂單。

每天一億人線上，算力賬單扛不住了

OpenAI 並不是想徹底甩掉 Nvidia，這件事的真正推手其實是成本。

現在 ChatGPT 每天有超過 1 億活躍使用者在提問，龐大的推理呼叫正在瘋狂吞噬資源。據估算，OpenAI 每年的算力預算高達 400 億美元，其中很大一部分開銷都花在日常推理上。

如果全都用 Nvidia 最頂級的 GPU 來扛日常對話，成本實在太高了。於是 OpenAI 盯上了 Google 的 TPU。

這次通過 Google Cloud 租用的並不是 Google 最頂級的訓練晶片，而是代號為 Trillium 的第六代 TPU v6e。這款晶片專門針對穩態推理做了最佳化，吞吐量高，運營成本卻明顯低於頂配 GPU，正適合應付成千上萬普通使用者的日常閒聊。

有意思的是，Google 的外部客戶名單正在迅速變長。除了 OpenAI，蘋果、Anthropic 以及 Ilya Sutskever 創立的 Safe Superintelligence，都在向 Google 租 TPU。

微軟後院借火，還得越過 CUDA 這座山

對 OpenAI 來說，這也是在給自己找退路。

目前 OpenAI 的算力底座依然死死綁在微軟 Azure 上，畢竟微軟是它最大的金主。但過去兩年 GPU 嚴重供不應求，加上單片價格高企，把所有身家押在單一供應商身上的風險越來越大。引入 Google，至少能讓它在面對 Nvidia 和微軟時多一點議價籌碼。

不過，換晶片從來不是拔掉插頭換上一張卡那麼簡單。

AI 行業過去十幾年幾乎完全構築在 Nvidia 的 CUDA 生態之上，從底層運算元到上層工具鏈，全都為輝達量身定製。Google 雖然有自己的軟體棧，但 OpenAI 究竟能把多大比例的業務順利搬到 TPU 上，目前誰心裡也沒底。路透社報道稱，Google 對此拒絕置評，OpenAI 也並未立即回應。

為什麼重要

我們認為，這筆交易最耐人尋味的地方，在於 AI 基礎設施的軍備競賽正在悄悄換軌道。

過去兩年大家拼的是誰手裡的 H100 更多，誰能訓出更大的模型。但隨著 ChatGPT 這類產品日常活躍突破 1 億，競爭的重心已經從訓練轉向了推理。訓練是一次性重資產投入，推理卻是每天一睜眼就要付現錢的流水賬，誰能把單次回答的成本壓低幾分錢，誰才能在商業上活下去。

對行業來說，這也是 Nvidia 鐵板一塊的護城河第一次出現肉眼可見的裂痕。當 OpenAI 這樣的標杆客戶都開始用 Google TPU 跑推理，其他算力吃緊的獨角獸必然會跟進。這會倒逼晶片廠商不再只卷峰值效能，而是去拼單位吞吐成本。

看起來，OpenAI 這一步走得相當精明：用對手的便宜算力，來養自己的大模型，順便敲打一下微軟和 Nvidia。但隱患在於，同時周旋在微軟、Google 和 Nvidia 三個巨頭之間，既要解決多架構軟體適配的工程噩夢，又要在地緣商業博弈中走鋼絲。算力多元化固然好，但在巨頭夾縫裡求平衡的代價，恐怕也不便宜。