Hugging Face 接入 Groq：在 Hub 上直接呼叫極速 LPU 推理

以前想在 Hugging Face 上找開源模型跑跑看，最讓人頭疼的就是推理速度：點一下執行，光等第一句輸出就要愣神幾秒。

現在這個痛點有了新解法。Hugging Face 宣佈正式接入 Groq，將其加入官方的推理服務商（Inference Providers）陣容中。開發者現在不僅能在網頁端直接體驗，還能通過官方 SDK 調取 Groq 的算力。

告別 GPU 排隊，換上 LPU 引擎

Groq 最出名的底盤是自研的語言處理單元（LPU）。不同於傳統 GPU 為平行計算設計的架構，LPU 專門針對大語言模型這種按序生成 token 的場景做了最佳化，主打超低延遲和高吞吐。

這次接入支援了一系列主流開源模型，包括 Meta 最新的 Llama 4 系列（比如 Llama-4-Scout-17B-16E-Instruct）以及 Qwen 的 QWQ-32B 等對話和文本模型。

在呼叫方式上，開發者有兩種選擇。第一種是走 Hugging Face 官方路由，直接用已有的 HF Token 鑑權，不需要單獨去 Groq 註冊申請 API 金鑰。第二種是填入自己申請的 Groq API 金鑰，直接向 Groq 發起請求。

程式碼層面的改動極小。Python 開發者只要在即將釋出的 huggingface_hub v0.33.0 或原始碼構建版本中，把 provider 引數指定為 groq 即可；JavaScript 開發者也能通過官方的 @huggingface/inference 庫實現完全相同的無縫呼叫。

計費怎麼算，羊毛怎麼薅

很多人關心計費模式。如果你繫結自己的 Groq 金鑰，費用自然走 Groq 賬戶扣款；如果選擇走 Hugging Face 路由代扣，Hugging Face 表示只按 Groq 的官方標準費率透傳扣除，目前不加收任何額外中間服務費（未來可能會探討分成合作）。

普通註冊使用者本身帶有少量免費推理額度，可以用來日常輕度測試。

此外，Hugging Face PRO 會員每月會贈送 2 美元的推理點數，這筆額度可以直接在 Groq 以及其他推理服務商之間通用。

為什麼重要

開源模型在過去一年效能追得極緊，但落地時最大的門檻從來不只是權重本身，而是跑起來有多貴、多慢。

對於獨立開發者和小型團隊來說，過去為了追求極致的生成速度，往往要在 Hugging Face 找模型、再去第三方服務商開賬號配置環境，整個流程割裂且折騰。現在直接在 Hugging Face 模型頁面和 SDK 裡一鍵切換 Groq，大大降低了試水超高速推理的門檻。如果你正在搭建需要毫秒級響應的語音助手、即時補全外掛或客服 Agent，這個整合非常值得馬上去改幾行程式碼試一下。

對行業而言，Hugging Face 的角色正在從單純的模型託管倉庫，徹底轉變為聚合各種底層算力路由的超級分發樞紐。它不綁死特定硬體，把輝達 GPU、Groq LPU 以及各路雲廠商放在同一個下拉選單裡任由開發者挑選。

我們認為，Groq 這步棋下得非常聰明。雖然 Groq 的晶片跑推理極快，但在開發者生態的觸達上一直弱於雲巨頭。藉著 Hugging Face 這一開源 AI 的第一流量入口，Groq 幾乎零門檻地把自己塞到了成千上萬開發者的呼叫程式碼裡。隱患在於，走平臺透傳路由目前沒有任何溢價，未來平臺如果開始抽成，開發者的遷移成本極低，隨時可以換回直連或者切到其他低價提供商。