跳到正文
IFAI

行业动态

Hugging Face 联手 Google Cloud:建专属 CDN,原生支持 TPU

首次发布 传播指数 40

Hugging Face 宣布与 Google Cloud 深化战略合作。双方将构建专属 CDN 网关以大幅缩短模型下载耗时,并在开源库中原生支持 Google TPU。此外,平台还将接入 VirusTotal 与 Mandiant 技术,直接增强开源模型的供应链安全。

Hugging Face 联手 Google Cloud:建专属 CDN,原生支持 TPU
图:huggingface.co

如果你最近在云端部署过大模型,大概率踩过同一个坑:明明敲几行命令就能跑,光是把几十吉字节的权重文件拖进服务器,就得干等半天。

这个问题现在有了新解法。Hugging Face 和 Google Cloud 宣布深化战略合作,双方不仅要在底层直接互通,还要把模型下载和部署的链路彻底压扁。

过去三年里,Google Cloud 用户对 Hugging Face 的调用量翻了整整十倍。现在每个月光是从云上拉取模型,流量就高达数十 PB,伴随着数十亿次请求。为了接住这么大的吞吐量,两家公司拿出了几个实打实的改动。

专属 CDN 进驻,TPU 也要平替 GPU

最立竿见影的变化,是双方联合搭建的 CDN 网关。这个网关结合了 Hugging Face 的 Xet 存储传输技术与 Google Cloud 的网络架构,把开源模型和数据集直接缓存进 Google 的云网络。

这意味着无论你是用 Vertex AI 的 Model Garden 点两下部署,还是在 GKE、Cloud Run 或者 Compute Engine 虚拟机里搭环境,都不用再慢吞吞地走公网下载,首字生成延迟和部署等待时间都会大幅缩短。

算力方面也有了明确的倾斜。Hugging Face 官方的 Inference Endpoints 托管服务,将直接接入 Google Cloud 的算力资源,并承诺带来更新的实例规格与直接降价。

更值得关注的是 TPU。Google 自研的第七代 TPU 正在加速铺开,双方打算在 Hugging Face 的核心库里提供原生支持,让开发者在开源模型上用 TPU 就像用 GPU 一样自然。

安全层面上,Google 还拉来了 VirusTotal、Google Threat Intelligence 和 Mandiant,准备对 Hugging Face 社区里的数百万个模型、数据集以及 Spaces 空间做全方位的恶意软件与后门排查。

为什么重要

这项合作最直接的受益者,是那些受够了漫长冷启动和高昂推理账单的中小团队。如果开源模型直接缓存在云厂商内网,镜像拉取和拉权重的摩擦力几乎被抹平了。而 Inference Endpoints 降价加上 TPU 选项的放开,很可能会给一直被英伟达 GPU 溢价绑架的开发者提供一个极具性价比的备选方案。

对行业来说,这也代表着云厂商拉拢开发者的逻辑变了。以前云巨头喜欢把自己包装成闭门全家桶,想把用户死死锁在自家生态里;但在开源模型规模突破 200 万的今天,谁对开源生态的支持更丝滑,开发者才会把生产环境搬到谁家。

我们认为,Google 这步棋下得很准。借助 Hugging Face 这一开源大本营的 1000 万开发者基础,Google 顺理成章地给自家的 TPU 软件生态找了一个最大的练兵场。不过这也带来了一个潜在隐患:开源社区的资源分布可能会向少数头部云厂商集中,小团队未来在跨云迁移时,恐怕会遇到更多隐形的架构壁垒。

来源 (1)

  1. [1]
    huggingface.co(在新标签页打开)原文huggingface.co

每日 AI 内容精选