Hugging Face 揭秘 H4 團隊:僅用兩人打造 Zephyr 等開源模型
TechCrunch 報道 Hugging Face 旗下僅有兩名成員的 H4 團隊,正專注於大模型對齊研究。他們此前打造了熱門的 Zephyr-7B-α 等開源模型,團隊雖小但呼叫了千張 A100 GPU,並把訓練程式碼與資料集整合成手冊免費公開。
TechCrunch 報道 Hugging Face 旗下僅有兩名成員的 H4 團隊,正專注於大模型對齊研究。他們此前打造了熱門的 Zephyr-7B-α 等開源模型,團隊雖小但呼叫了千張 A100 GPU,並把訓練程式碼與資料集整合成手冊免費公開。
Hugging Face 宣佈全面整合阿布扎比 TII 開源的 Falcon 系列模型。Falcon-40B 採用 Apache 2.0 協議且允許商用,在開源排行榜上擊敗 LLaMA-65B 登頂。得益於 Multi-Query Attention,其推理視訊記憶體大幅降低,7B 版本甚至可在消費級顯示卡及 Mac 上執行。