Stable LM Zephyr 3B 釋出：3B 輕量模型，邊緣裝置也能流暢跑

Stable LM Zephyr 3B 是一個 30 億引數的輕量級對話大模型，專門針對指令遵循和問答任務進行了偏好微調。它的體積比常見的 7B 模型小了 60%，最大特點就是不需要高階顯示卡，能在普通的邊緣裝置或消費級硬體上流暢響應。

它能做什麼

雖然體量只有 3B，但它覆蓋的文本生成場景相當全面。

日常的問答互動、文本總結、文案創意寫作自不用說，它還可以用於教學內容設計和個性化內容生成，甚至能針對輸入的特定資料進行歸納分析。

開發團隊已經放出了模型權重，同時提供了一份專門針對推理速度最佳化的示例 Notebook，方便想要在本地部署的開發者快速跑通。

它是怎麼煉成的

這個模型是此前 Stable LM 3B-4e1t 的衍生版本，訓練管線的靈感直接來自 Hugging Face 的 Zephyr 7B。

它的訓練主要分為兩步。第一步是在多個指令資料集上做監督微調，涵蓋了 UltraChat、MetaMathQA、Evol Wizard 以及 Capybara 資料集，把基礎能力底子打紮實。

第二步則是用直接偏好最佳化（DPO）演算法進行對齊訓練。對齊使用的資料集來自 OpenBMB 團隊的 UltraFeedback，包含 64000 條 Prompt 及對應的模型回覆。

此前像 Zephyr-7B、Neural-Chat-7B 以及 Tulu-2-DPO-70B 都成功驗證了 DPO 的效果，而 Stable LM Zephyr 則是業內最早將這一整套方法搬到 3B 超小體量上的模型之一。

跑分表現如何

根據官方公佈的基準測試，在 MT Bench 和 AlpacaEval 上，Stable LM Zephyr 3B 在上下文相關性、連貫性和語言準確性方面都表現不錯。

官方資料顯示，它的綜合表現甚至能和一些體量遠大於它的模型掰手腕，比如 Falcon-4b-Instruct、WizardLM-13B-v1、Llama-2-70b-chat 以及 Claude-V1。

不過需要留意的是授權條款。該模型目前採用非商業許可證釋出，只允許個人研究和非商業用途。如果想在商業產品中落地，必須單獨聯絡團隊獲取商業授權。

為什麼重要

如果你手頭沒有昂貴的專業顯示卡，或者想把 AI 助手塞進手機、輕薄筆記本這類端側裝置，Stable LM Zephyr 3B 是一個非常實在的選擇。它證明了通過紮實的資料集篩選和 DPO 對齊，3B 級別的小模型也能在日常對話與指令執行上做到可用。

不過，對比 70B 級別或者閉源前沿模型，它在複雜邏輯推理和深層世界知識上依然會有天然瓶頸，大家不必盲目迷信跑分。我們認為它最聰明的做法是把大模型成熟的訓練方法論迅速下放到端側，但非商用許可證會讓想要直接拿它做商業化工具的開發者多一層顧慮。