Stability AI 发布 Stable Beluga 2：仅用一成合成数据微调登顶榜首

Stable Beluga 1 和 Stable Beluga 2 是 Stability AI 与旗下 CarperAI 实验室推出的开源指令微调大语言模型。它们能帮你处理复杂的逻辑推理、理解细微的语言语义，以及解答法律、数学等专业领域的深度问题。

两款模型之前在内部的代号叫 FreeWilly，向微软经典的 Orca 论文致敬。团队后来将其改名为白鲸 Beluga，原因是白鲸比凶猛的虎鲸更温和，团队在模型微调中专门针对无害性做了大量对齐与红队测试。

仅用一成合成数据微调

Stable Beluga 最亮眼的技术点在于微调数据的高效利用。它的训练思路直接借鉴了微软 Orca 论文中让模型学习 GPT-4 复杂解释轨迹的方法，但数据源完全不同。

团队没有去堆砌几百万量级的数据，而是利用 Enrico Shippole 制作的高质量指令，合成生成了一个仅包含约 60 万条数据的数据集。这个规模只有原版 Orca 论文数据集的 10% 左右。

为了保证测试成绩不掺水，团队仔细过滤了这批合成数据，严格剔除了所有来自 ARC-Challenge 等常见基准测试的样本，避免了测试集泄露。这种用极小样本量换取极高推理质量的做法，大幅降低了训练微调的算力成本与碳足迹。

登顶开源榜首与硬件规格

尽管训练样本只有原版的一成，Stable Beluga 的性能却直接刷新了开源记录。在 EleutherAI 的评估框架以及 AGIEval、GPT4ALL 等零样本基准测试中，两款模型都表现出极强的解题能力。

截至 7 月 27 日，Hugging Face 独立复现并公布的 Open LLM Leaderboard 榜单上，基于 LLaMA 2 70B 微调的 Stable Beluga 2 直接登顶全球第一，而基于第一代 LLaMA 65B 的 Stable Beluga 1 也稳居第四。

在规格与获取方式上，Stable Beluga 2 属于 70B 参数量级的自回归大模型，目前已在 Hugging Face 开源社区完整开放模型权重。想要在本地跑起来，需要准备充足的显存资源，通常需要多张专业显卡或采用高比例量化技术。

而基于旧版 LLaMA 65B 的 Stable Beluga 1 则因为 Meta 原版的授权限制，只提供了差量权重（delta weights），需要用户结合原始 LLaMA 权重自行合并还原。

需要注意的是，两款模型均采用非商业的 Stable Beluga Research License 协议发布，目前仅供学术和技术研究使用，不能直接用于商业落地。

为什么重要

对于做模型微调的研究者和开发者来说，Stable Beluga 提供了一个非常漂亮的范式参考。它证明了不需要动辄几百万条数据做粗暴灌洗，只要数据质量足够高、生成提示足够精细，用 60 万条高质量合成数据同样能把 70B 底座榨出顶级推理能力。

不过，它目前最大的限制在于非商业许可证和 70B 的庞大体积。如果你想快速体验目前开源领域最顶尖的推理水平，可以直接去 Hugging Face 下载尝试；但如果你指望拿它直接做商业产品，现阶段可能还需要等待后续商用版本或借鉴其合成数据方案自行训练。