Cloudflare 推出邊緣 AI 套件：按需呼叫就近 GPU，主打降本與低延遲

現在想把一個 AI 功能塞進自己的 App 裡，開發者的典型日常大概是這樣的：先找雲廠商租幾塊昂貴的 GPU，再挑一家向量資料庫服務商，接著還得部署一套監控和快取工具來看住賬單。一通拼湊下來，成本和延遲雙雙起飛。

做邊緣網路起家的 Cloudflare 打算把這攤雜活全包了。9 月 27 日，Cloudflare 正式推出了一整套邊緣 AI 開發工具，核心包含三個產品：Workers AI、Vectorize 和 AI Gateway，直接瞄準了 AI 模型在部署和執行環節的高昂成本與複雜架構。

把大模型搬到離使用者最近的地方

這次打頭陣的是 Workers AI。簡單來說，它讓開發者不需要自己買卡或長期租用虛擬機器，就能直接按需呼叫 Cloudflare 合作伙伴託管的近端 GPU 來跑模型推理。

為了解決速度問題，Workers AI 靠微軟支援的 ONNX 工具包來做跨框架轉換。系統會自動根據頻寬、延遲和本地化限制，把推理任務排程到最合適的物理位置。

在模型庫方面，開發者可以直接呼叫 Meta 的 Llama 2 等大語言模型，也能執行語音識別、影像分類或情感分析模型。Cloudflare 明確承諾，推理產生的資料會留在原本的伺服器區域，且使用者輸入的 Prompt 不會被拿去訓練模型。

生態夥伴也拉攏得很快。Hugging Face 成了它的首發無伺服器 GPU 部署夥伴，專門為其最佳化生成式模型；Databricks 則計劃通過開源機器學習管理平臺 MLflow 把推理能力接入 Workers AI，Cloudflare 本身也會成為 MLflow 的活躍貢獻者。

配套上線的另外兩款工具也很有針對性。Vectorize 是個向量資料庫，能直接存 Workers AI 提取出的資料向量，也相容 OpenAI 或 Cohere 生成的嵌入資料，優勢同樣是依靠邊緣網路壓低查詢延遲。AI Gateway 則是一套可觀測性看板，除了監控請求量、耗時和整體賬單，還自帶快取和限流功能。如果使用者經常問同樣的問題，直接讀快取響應就行，不用每次都去燒一次大模型的呼叫費。

為什麼重要

我們認為，Cloudflare 這次做的事，切中了當前生成式 AI 落地最尷尬的一個斷層：概念很美好，但工程實現太瑣碎、太貴。

對開發者和中小團隊來說，最大的價值是把「跑模型」這件事變成了即開即用的邊緣函式。過去你可能要為閒置的 GPU 例項支付昂貴的固定包月費，現在有了按量付費的無伺服器 GPU 和內建響應快取，冷啟動一個 AI 小應用的門檻被大幅拉低。再加上資料留在本地、不出境的特性，很多受制於資料合規的跨國業務也能省去不少麻煩。

在行業層面，這看起來是邊緣雲向傳統中心化雲廠商發起的一次精準偷襲。AWS、微軟 Azure 和 Google Cloud 習慣了兜售昂貴的中心機房算力，而 Cloudflare 憑藉遍佈全球的網路節點，在網路延遲和地理位置排程上天生有優勢。它不跟巨頭拼訓練萬億引數基座模型的大叢集，而是死守在離使用者最近的最後一公里做推理。

不過，事情也沒有 Cloudflare 宣傳的那麼輕巧。雖然 CEO Matthew Prince 強調他們是少數讓客戶只為實際計算買單的廠商，但像 GPTCache 這樣的開源方案早就存在，Vercel 等對手也在做邊緣限流。邊緣 GPU 的單卡算力和吞吐量在面對複雜邏輯和超長上下文時，到底能不能穩住效能表現，目前依然要打個問號。但無論如何，把 AI 工具鏈封裝成簡單易用的水電管道，絕對是行業走得最聰明的一步棋。