Stability AI 开源语言模型 Stable LM：主打轻量高效，本地也能跑

Stable LM 是 Stability AI 开源的轻量级语言模型套件，专为本地设备和边缘硬件设计，能用来写文本、写代码或搭建独立的 AI 助手应用。

这次上线的 Alpha 版本包含 30 亿（3B）和 70 亿（7B）两个参数版本，后续还会补充 150 亿到 650 亿参数的更大规格。

它是怎么训练出来的

Stable LM 之所以能在小身材下保持不错的效果，核心在于训练数据量足够大。

它基于非营利机构 EleutherAI 的 The Pile 数据集做实验升级，新数据集的规模扩展到了 1.5 万亿 token，是原版 The Pile 的 3 倍。官方表示稍后会公开完整的数据集细节。

Stability AI 此前曾参与 EleutherAI 的 GPT-J、GPT-NeoX 以及 Pythia 套件的开源工作，近期社区里的 Cerebras-GPT 和 Dolly-2 也都建立在这些成果之上。Stable LM 沿用了这套经验。

除了基础模型，团队还同步放出了指令微调版本（Fine-tuned）。这批对话研究模型结合了 Alpaca、GPT4All、Dolly、ShareGPT 和 HH 等 5 个开源对话数据集进行调优。

开源规格与怎么跑起来

在授权协议上，基础版和微调版有明确区分。

基础模型（Base models）采用 CC BY-SA-4.0 许可证，不管是商业项目还是学术研究，都可以自由查看、修改和部署。

微调版本为了遵循 Stanford Alpaca 的规范，采用非商业性质的 CC BY-NC-SA 4.0 许可证，目前仅限科研测试。

相比动辄 1750 亿参数的 GPT-3，3B 和 7B 的模型体量非常小，普通用户的消费级显卡甚至边缘设备就能直接跑起来。

目前代码和权重已经全部上传到了 Stability AI 的 GitHub 仓库，团队接下来还会上线众包 RLHF 计划，并与 Open Assistant 社区合作建立用于 AI 助手的开源数据集。

为什么重要

对于想做本地化部署、或者对数据隐私极度敏感的独立开发者来说，Stable LM 很值得第一时间下载拉取。它最大的意义在于摆脱了对云端大厂 API 的依赖，在本地机器上就能完成代码辅助和日常文本处理。

和同类的小型开源模型相比，它的优势在于 1.5 万亿 token 的扎实喂料以及基础版本开放了商用权限。不过我们认为，小参数模型在复杂逻辑和多轮深度推理上必然存在物理上限，如果要落地严肃的生产环境，最好搭配特定领域的微调数据来补足短板。