Hugging Face 揭秘 H4 团队：仅用两人打造 Zephyr 等开源模型

Hugging Face 内部的 H4 团队把做开源对话模型的整套秘诀整理成了配方和开源代码，让任何人都能按图索骥训练出媲美 ChatGPT 的小尺寸模型。

这个项目源自一个仅有两名工程师的迷你团队。H4 的名字代表「有用、诚实、无害和 Hugging Face 拥抱」（helpful, honest, harmless and huggy）。他们在今年 1 月 ChatGPT 走红后组建，核心目标是用开源资源复现对话能力，主攻大模型对齐研究。

两人团队怎么跑出 Zephyr

H4 最知名的成果是 Zephyr-7B-α。他们拿法国初创团队 Mistral 发布的 Mistral 7B 底座模型，通过对齐微调改造成专注于对话的开源模型。此外，他们还改造过阿布扎比技术创新研究所的 Falcon-40B，让它能更自然地响应人类日常语言。

负责这个项目的两位机器学习工程师 Lewis Tunstall 和 Ed Beeching 都在欧洲远程办公。团队虽然极小，但背靠的算力并不缩水。他们训练模型用的是 Hugging Face 专属的英伟达 GPU 集群，拥有超过 1000 张 A100。

与此同时，他们并非完全单打独斗，内部有模型测试与评测团队协作，外部还拉上了 LMSYS 和 LlamaIndex 联合发布。Beeching 表示，保持两人规模是刻意为之的策略，这样可以在变化极快的研究领域保持足够的灵活性。

开源到什么程度，去哪找

H4 不只放权重。团队本月刚刚发布了一份开源手册，里面收录了构建 Zephyr 所用的全部源代码和数据集。

他们把研究重点放在测试行业与社区提出的各种对齐新方法上，验证哪些方案在实际应用中真正奏效。团队计划后续每发布一个新模型，就把对应的训练代码同步更新到这本手册里。

至于商业化，H4 本身不追求直接变现，也没有把它当作直接卖钱的工具。不过 Tunstall 承认，这些研究成果会直接反哺到 Hugging Face 面向企业的 Expert Acceleration Program 中，帮助付费企业客户搭建定制化 AI 方案。

为什么重要

我们认为，H4 最大的价值不是证明了两个人能做模型，而是把大模型对齐从「玄学调优」变成了人人可复制的开源工作流。对开发者和独立团队来说，这本手册直接给出了跑通 7B 级别对话模型的完整路线图，免去了自己摸索数据配比和对齐步骤的大量试错成本。

在行业层面，它也给开源大模型立了个新标杆。过去开源社区大多只能照搬大厂论文，而 H4 依托千卡算力和透明代码，把最前沿的对齐实验公开发布。尽管 1000 张 A100 的训练门槛普通人依然摸不到，但至少在方法论和数据端，开源世界拥有了随时能跑起来的高质量蓝本。