Stability AI 開源語言模型 Stable LM：主打輕量高效，本地也能跑

Stable LM 是 Stability AI 開源的輕量級語言模型套件，專為本地裝置和邊緣硬體設計，能用來寫文本、寫程式碼或搭建獨立的 AI 助手應用。

這次上線的 Alpha 版本包含 30 億（3B）和 70 億（7B）兩個引數版本，後續還會補充 150 億到 650 億引數的更大規格。

它是怎麼訓練出來的

Stable LM 之所以能在小身材下保持不錯的效果，核心在於訓練資料量足夠大。

它基於非營利機構 EleutherAI 的 The Pile 資料集做實驗升級，新資料集的規模擴充套件到了 1.5 萬億 token，是原版 The Pile 的 3 倍。官方表示稍後會公開完整的資料集細節。

Stability AI 此前曾參與 EleutherAI 的 GPT-J、GPT-NeoX 以及 Pythia 套件的開源工作，近期社群裡的 Cerebras-GPT 和 Dolly-2 也都建立在這些成果之上。Stable LM 沿用了這套經驗。

除了基礎模型，團隊還同步放出了指令微調版本（Fine-tuned）。這批對話研究模型結合了 Alpaca、GPT4All、Dolly、ShareGPT 和 HH 等 5 個開源對話資料集進行調優。

開源規格與怎麼跑起來

在授權協議上，基礎版和微調版有明確區分。

基礎模型（Base models）採用 CC BY-SA-4.0 許可證，不管是商業專案還是學術研究，都可以自由檢視、修改和部署。

微調版本為了遵循 Stanford Alpaca 的規範，採用非商業性質的 CC BY-NC-SA 4.0 許可證，目前僅限科研測試。

相比動輒 1750 億引數的 GPT-3，3B 和 7B 的模型體量非常小，普通使用者的消費級顯示卡甚至邊緣裝置就能直接跑起來。

目前程式碼和權重已經全部上傳到了 Stability AI 的 GitHub 倉庫，團隊接下來還會上線眾包 RLHF 計劃，並與 Open Assistant 社群合作建立用於 AI 助手的開源資料集。

為什麼重要

對於想做本地化部署、或者對資料隱私極度敏感的獨立開發者來說，Stable LM 很值得第一時間下載拉取。它最大的意義在於擺脫了對雲端大廠 API 的依賴，在本地機器上就能完成程式碼輔助和日常文本處理。

和同類的小型開源模型相比，它的優勢在於 1.5 萬億 token 的紮實喂料以及基礎版本開放了商用許可權。不過我們認為，小引數模型在複雜邏輯和多輪深度推理上必然存在物理上限，如果要落地嚴肅的生產環境，最好搭配特定領域的微調資料來補足短板。