Hugging Face 接入谷歌云 TPU：每小时 1.38 美元起，一键跑开源大模型

想在云端跑个开源大模型，大家的第一反应往往是去抢 NVIDIA 显卡。不过从现在开始，你在 Hugging Face 上部署模型时多了一个挺有意思的新选项：Google 自家造的 TPU 芯片。

Hugging Face 宣布正式将 Google Cloud TPU v5e 接入旗下的 Inference Endpoints 和 Spaces。开发者不需要自己去 Google Cloud 配繁琐的网络或实例，点几下鼠标就能直接把开源模型挂在 TPU 上跑起来。

1.38 美元起步，三档算力可选

这次 Hugging Face 开放的硬件是 Google 的 TPU v5e。部署时在后台选 Google Cloud Platform，节点切到 us-west1，就能看到三种规格。

入门档是 v5litepod-1，配单核 TPU 和 16 GB 内存，每小时 1.375 美元。官方表示跑 20 亿参数（2B）以内的轻量模型毫无压力。

再往上是 4 核、64 GB 内存的 v5litepod-4，价格是每小时 5.50 美元，官方推荐中大型模型直接选这一档，能省去内存不够的麻烦。最高规格是 8 核、128 GB 内存的 v5litepod-8，每小时 11 美元，算力拉满后推理延迟也是最低的。

除了后端部署服务 Inference Endpoints，供大家展示应用的 Spaces 也上线了同样的配置。如果你在 Spaces 上做了一个 AI Demo，直接进设置选好对应的规格就能升级换代。

开源工具铺路，点几下就能跑

硬件进驻只是第一步，大模型要从 GPU 迁到 TPU 上跑，过去最头疼的就是软件栈适配。为了解决这个问题，Hugging Face 联合 Google 推出了名为 Optimum TPU 的开源库。

在后端，Inference Endpoints 依靠 Optimum TPU 配合自家的文本生成推理框架 TGI，把在 TPU 上托管大模型的流程打包妥当。

目前平台已经首批打通了 Gemma、Llama 和 Mistral 三大主流模型架构。开发者不需要从头折腾 XLA 编译或者改底层代码，几个点击就能把开源大模型拉起来。

为什么重要

我们认为，这件事情最显眼的价值，就是给被 GPU 价格和缺卡困扰的开发者松了松绑。如果你的应用只是想长期挂在线上跑推理，TPU v5e 提供了一条非常实在的替代路线，每小时不到 1.4 美元就能起步，拿来跑 2B 的轻量端侧模型或者给 Demo 当后端，成本控制起来会舒服很多。

从行业角度看，这是 Google 和 Hugging Face 生态绑定的一步妙棋。以前开源社区基本是 NVIDIA CUDA 的天下，很多个人开发者和小型团队根本没动力去试 TPU。现在把门槛降到「在网页后台选个下拉菜单」，等于直接把 Google 的自研芯片塞进了全球最活跃的开源 AI 大本营。

不过在我们看来，它也并不是万能解药。目前支持的架构还局限在 Gemma、Llama 和 Mistral 等主流架构上，自定义程度极高的复杂流水线可能还得依赖传统 GPU 环境。但只要 Optimum TPU 保持迭代，NVIDIA 在开源推理托管上的垄断局面，看起来确实被撬开了一道结实的口子。