Hugging Face 接入谷歌雲 TPU：每小時 1.38 美元起，一鍵跑開源大模型

想在雲端跑個開源大模型，大家的第一反應往往是去搶 NVIDIA 顯示卡。不過從現在開始，你在 Hugging Face 上部署模型時多了一個挺有意思的新選項：Google 自家造的 TPU 晶片。

Hugging Face 宣佈正式將 Google Cloud TPU v5e 接入旗下的 Inference Endpoints 和 Spaces。開發者不需要自己去 Google Cloud 配繁瑣的網路或例項，點幾下滑鼠就能直接把開源模型掛在 TPU 上跑起來。

1.38 美元起步，三檔算力可選

這次 Hugging Face 開放的硬體是 Google 的 TPU v5e。部署時在後臺選 Google Cloud Platform，節點切到 us-west1，就能看到三種規格。

入門檔是 v5litepod-1，配單核 TPU 和 16 GB 記憶體，每小時 1.375 美元。官方表示跑 20 億引數（2B）以內的輕量模型毫無壓力。

再往上是 4 核、64 GB 記憶體的 v5litepod-4，價格是每小時 5.50 美元，官方推薦中大型模型直接選這一檔，能省去記憶體不夠的麻煩。最高規格是 8 核、128 GB 記憶體的 v5litepod-8，每小時 11 美元，算力拉滿後推理延遲也是最低的。

除了後端部署服務 Inference Endpoints，供大家展示應用的 Spaces 也上線了同樣的配置。如果你在 Spaces 上做了一個 AI Demo，直接進設定選好對應的規格就能升級換代。

開源工具鋪路，點幾下就能跑

硬體進駐只是第一步，大模型要從 GPU 遷到 TPU 上跑，過去最頭疼的就是軟體棧適配。為了解決這個問題，Hugging Face 聯合 Google 推出了名為 Optimum TPU 的開源庫。

在後端，Inference Endpoints 依靠 Optimum TPU 配合自家的文本生成推理框架 TGI，把在 TPU 上託管大模型的流程打包妥當。

目前平臺已經首批打通了 Gemma、Llama 和 Mistral 三大主流模型架構。開發者不需要從頭折騰 XLA 編譯或者改底層程式碼，幾個點選就能把開源大模型拉起來。

為什麼重要

我們認為，這件事情最顯眼的價值，就是給被 GPU 價格和缺卡困擾的開發者鬆了鬆綁。如果你的應用只是想長期掛在線上跑推理，TPU v5e 提供了一條非常實在的替代路線，每小時不到 1.4 美元就能起步，拿來跑 2B 的輕量端側模型或者給 Demo 當後端，成本控制起來會舒服很多。

從行業角度看，這是 Google 和 Hugging Face 生態繫結的一步妙棋。以前開源社群基本是 NVIDIA CUDA 的天下，很多個人開發者和小型團隊根本沒動力去試 TPU。現在把門檻降到「在網頁後臺選個下拉選單」，等於直接把 Google 的自研晶片塞進了全球最活躍的開源 AI 大本營。

不過在我們看來，它也並不是萬能解藥。目前支援的架構還侷限在 Gemma、Llama 和 Mistral 等主流架構上，自定義程度極高的複雜流水線可能還得依賴傳統 GPU 環境。但只要 Optimum TPU 保持迭代，NVIDIA 在開源推理託管上的壟斷局面，看起來確實被撬開了一道結實的口子。