跳到正文
IFAI

產業動態

Hugging Face 聯手 Google Cloud:建專屬 CDN,原生支援 TPU

首次發布 傳播指數 40

Hugging Face 宣佈與 Google Cloud 深化戰略合作。雙方將構建專屬 CDN 閘道器以大幅縮短模型下載耗時,並在開源庫中原生支援 Google TPU。此外,平臺還將接入 VirusTotal 與 Mandiant 技術,直接增強開源模型的供應鏈安全。

Hugging Face 聯手 Google Cloud:建專屬 CDN,原生支援 TPU
圖:huggingface.co

如果你最近在雲端部署過大模型,大機率踩過同一個坑:明明敲幾行命令就能跑,光是把幾十吉位元組的權重檔案拖進伺服器,就得乾等半天。

這個問題現在有了新解法。Hugging Face 和 Google Cloud 宣佈深化戰略合作,雙方不僅要在底層直接互通,還要把模型下載和部署的鏈路徹底壓扁。

過去三年裡,Google Cloud 使用者對 Hugging Face 的呼叫量翻了整整十倍。現在每個月光是從雲上拉取模型,流量就高達數十 PB,伴隨著數十億次請求。為了接住這麼大的吞吐量,兩家公司拿出了幾個實打實的改動。

專屬 CDN 進駐,TPU 也要平替 GPU

最立竿見影的變化,是雙方聯合搭建的 CDN 閘道器。這個閘道器結合了 Hugging Face 的 Xet 儲存傳輸技術與 Google Cloud 的網路架構,把開源模型和資料集直接快取進 Google 的雲網絡。

這意味著無論你是用 Vertex AI 的 Model Garden 點兩下部署,還是在 GKE、Cloud Run 或者 Compute Engine 虛擬機器裡搭環境,都不用再慢吞吞地走公網下載,首字生成延遲和部署等待時間都會大幅縮短。

算力方面也有了明確的傾斜。Hugging Face 官方的 Inference Endpoints 託管服務,將直接接入 Google Cloud 的算力資源,並承諾帶來更新的例項規格與直接降價。

更值得關注的是 TPU。Google 自研的第七代 TPU 正在加速鋪開,雙方打算在 Hugging Face 的核心庫裡提供原生支援,讓開發者在開源模型上用 TPU 就像用 GPU 一樣自然。

安全層面上,Google 還拉來了 VirusTotal、Google Threat Intelligence 和 Mandiant,準備對 Hugging Face 社群裡的數百萬個模型、資料集以及 Spaces 空間做全方位的惡意軟體與後門排查。

為什麼重要

這項合作最直接的受益者,是那些受夠了漫長冷啟動和高昂推理賬單的中小團隊。如果開源模型直接快取在雲廠商內網,映象拉取和拉權重的摩擦力幾乎被抹平了。而 Inference Endpoints 降價加上 TPU 選項的放開,很可能會給一直被輝達 GPU 溢價綁架的開發者提供一個極具價效比的備選方案。

對行業來說,這也代表著雲廠商拉攏開發者的邏輯變了。以前雲巨頭喜歡把自己包裝成閉門全家桶,想把使用者死死鎖在自家生態裡;但在開源模型規模突破 200 萬的今天,誰對開源生態的支援更絲滑,開發者才會把生產環境搬到誰家。

我們認為,Google 這步棋下得很準。藉助 Hugging Face 這一開源大本營的 1000 萬開發者基礎,Google 順理成章地給自家的 TPU 軟體生態找了一個最大的練兵場。不過這也帶來了一個潛在隱患:開源社群的資源分佈可能會向少數頭部雲廠商集中,小團隊未來在跨雲遷移時,恐怕會遇到更多隱形的架構壁壘。

來源 (1)

  1. [1]
    huggingface.co(在新分頁開啟)原文huggingface.co

每日 AI 內容精選