Stable LM Zephyr 3B 发布：3B 轻量模型，边缘设备也能流畅跑

Stable LM Zephyr 3B 是一个 30 亿参数的轻量级对话大模型，专门针对指令遵循和问答任务进行了偏好微调。它的体积比常见的 7B 模型小了 60%，最大特点就是不需要高端显卡，能在普通的边缘设备或消费级硬件上流畅响应。

它能做什么

虽然体量只有 3B，但它覆盖的文本生成场景相当全面。

日常的问答互动、文本总结、文案创意写作自不用说，它还可以用于教学内容设计和个性化内容生成，甚至能针对输入的特定数据进行归纳分析。

开发团队已经放出了模型权重，同时提供了一份专门针对推理速度优化的示例 Notebook，方便想要在本地部署的开发者快速跑通。

它是怎么炼成的

这个模型是此前 Stable LM 3B-4e1t 的衍生版本，训练管线的灵感直接来自 Hugging Face 的 Zephyr 7B。

它的训练主要分为两步。第一步是在多个指令数据集上做监督微调，涵盖了 UltraChat、MetaMathQA、Evol Wizard 以及 Capybara 数据集，把基础能力底子打扎实。

第二步则是用直接偏好优化（DPO）算法进行对齐训练。对齐使用的数据集来自 OpenBMB 团队的 UltraFeedback，包含 64000 条 Prompt 及对应的模型回复。

此前像 Zephyr-7B、Neural-Chat-7B 以及 Tulu-2-DPO-70B 都成功验证了 DPO 的效果，而 Stable LM Zephyr 则是业内最早将这一整套方法搬到 3B 超小体量上的模型之一。

跑分表现如何

根据官方公布的基准测试，在 MT Bench 和 AlpacaEval 上，Stable LM Zephyr 3B 在上下文相关性、连贯性和语言准确性方面都表现不错。

官方数据显示，它的综合表现甚至能和一些体量远大于它的模型掰手腕，比如 Falcon-4b-Instruct、WizardLM-13B-v1、Llama-2-70b-chat 以及 Claude-V1。

不过需要留意的是授权条款。该模型目前采用非商业许可证发布，只允许个人研究和非商业用途。如果想在商业产品中落地，必须单独联系团队获取商业授权。

为什么重要

如果你手头没有昂贵的专业显卡，或者想把 AI 助手塞进手机、轻薄笔记本这类端侧设备，Stable LM Zephyr 3B 是一个非常实在的选择。它证明了通过扎实的数据集筛选和 DPO 对齐，3B 级别的小模型也能在日常对话与指令执行上做到可用。

不过，对比 70B 级别或者闭源前沿模型，它在复杂逻辑推理和深层世界知识上依然会有天然瓶颈，大家不必盲目迷信跑分。我们认为它最聪明的做法是把大模型成熟的训练方法论迅速下放到端侧，但非商用许可证会让想要直接拿它做商业化工具的开发者多一层顾虑。