Hugging Face 揭秘 H4 團隊：僅用兩人打造 Zephyr 等開源模型

Hugging Face 內部的 H4 團隊把做開源對話模型的整套秘訣整理成了配方和開原始碼，讓任何人都能按圖索驥訓練出媲美 ChatGPT 的小尺寸模型。

這個專案源自一個僅有兩名工程師的迷你團隊。H4 的名字代表「有用、誠實、無害和 Hugging Face 擁抱」（helpful, honest, harmless and huggy）。他們在今年 1 月 ChatGPT 走紅後組建，核心目標是用開源資源復現對話能力，主攻大模型對齊研究。

兩人團隊怎麼跑出 Zephyr

H4 最知名的成果是 Zephyr-7B-α。他們拿法國初創團隊 Mistral 釋出的 Mistral 7B 底座模型，通過對齊微調改造成專注於對話的開源模型。此外，他們還改造過阿布扎比技術創新研究所的 Falcon-40B，讓它能更自然地響應人類日常語言。

負責這個專案的兩位機器學習工程師 Lewis Tunstall 和 Ed Beeching 都在歐洲遠端辦公。團隊雖然極小，但背靠的算力並不縮水。他們訓練模型用的是 Hugging Face 專屬的輝達 GPU 叢集，擁有超過 1000 張 A100。

與此同時，他們並非完全單打獨鬥，內部有模型測試與評測團隊協作，外部還拉上了 LMSYS 和 LlamaIndex 聯合釋出。Beeching 表示，保持兩人規模是刻意為之的策略，這樣可以在變化極快的研究領域保持足夠的靈活性。

開源到什麼程度，去哪找

H4 不只放權重。團隊本月剛剛釋出了一份開源手冊，裡面收錄了構建 Zephyr 所用的全部原始碼和資料集。

他們把研究重點放在測試行業與社群提出的各種對齊新方法上，驗證哪些方案在實際應用中真正奏效。團隊計劃後續每釋出一個新模型，就把對應的訓練程式碼同步更新到這本手冊裡。

至於商業化，H4 本身不追求直接變現，也沒有把它當作直接賣錢的工具。不過 Tunstall 承認，這些研究成果會直接反哺到 Hugging Face 面向企業的 Expert Acceleration Program 中，幫助付費企業客戶搭建定製化 AI 方案。

為什麼重要

我們認為，H4 最大的價值不是證明了兩個人能做模型，而是把大模型對齊從「玄學調優」變成了人人可複製的開源工作流。對開發者和獨立團隊來說，這本手冊直接給出了跑通 7B 級別對話模型的完整路線圖，免去了自己摸索資料配比和對齊步驟的大量試錯成本。

在行業層面，它也給開源大模型立了個新標杆。過去開源社群大多隻能照搬大廠論文，而 H4 依託千卡算力和透明程式碼，把最前沿的對齊實驗公開發布。儘管 1000 張 A100 的訓練門檻普通人依然摸不到，但至少在方法論和資料端，開源世界擁有了隨時能跑起來的高質量藍本。