Stability AI 发布首款编程模型 Stable Code Alpha

做 Stable Diffusion 出名的 Stability AI，这回把目光从画画移到了写代码上。

Stability AI 正式发布了 Stable Code Alpha 3B。这是这家公司拿出来的首个专门针对编程场景的生成式大模型产品，主打的是日常编码辅助，以及帮初学者上手写代码。

别看名字里带着 3B（30 亿参数），体量算不上庞大，但 Stability AI 并没有只扔出来一个单体模型，而是打包了一套组合拳。

三个模型各司其职，训了 5600 亿 Token

这套产品其实由三个不同的模型协同工作组成，分别对应基础底座、复杂任务指令微调以及长上下文补全。

首先是基础模型（Base model）。它的底模训练数据选用了 BigCode 项目的 stack-dataset (v1.2)，随后团队在其超算集群上，针对 Python、Go、Java、JavaScript、C、C++ 以及 Markdown 等主流语言进行了深度训练，整个训练过程总共吞下了 5600 亿个 Token 的代码数据。

有了底模之后，团队专门打造了一个指令模型（Instruction model）。为了让它能听懂复杂任务的指令，Stability AI 用了大约 12 万条 Alpaca 格式的代码指令与回答对，对基础模型进行了微调。

第三个则是专门针对单行和多行自动补全的长上下文模型。换句话说，写代码时的代码联想和跨文件理解，主要靠它来顶。

16k 上下文，一口气读五个 Python 文件

写代码最怕模型「记性差」，前面刚定义完类，后面补全就胡说八道。针对这个痛点，Stable Code 的长上下文窗口版本拉到了 16000 个 Token。

Stability AI 表示，这个上下文长度是此前市面上已发布的开源模型的 2 到 4 倍。落实到具体工作流里，它允许开发者一次性把相当于 5 个中等大小的 Python 文件放进窗口里，让模型同时做审查、修改或者补全建议。

在基准测试上，官方使用了业内标准的 HumanEval 基准，以 pass@1 和 pass@10 作为指标，将它与参数规模和训练数据量相近的模型进行了横向对比。

官方明确表示，做这款工具的目标是降低写代码的门槛，希望能帮到全球「下一个十亿软件开发者」学习编程并用 AI 解决日常问题。

为什么重要

我们认为，Stable Code Alpha 3B 最大的价值在于它把参数量严格卡在了 3B 这个门槛上。对个人开发者和普通用户来说，这几乎意味着你不需要租昂贵的云端 GPU，只要一块主流显存的消费级显卡甚至稍好的笔记本，就有机会把它跑在本地。

把模型拆成底模、指令微调和长上下文三个版本的思路很聪明。轻量级模型如果试图通吃所有任务往往容易翻车，而把 16k 窗口专门留给补全模型，把 12 万条指令数据做成专门的对话版本，能让有限的算力发挥出最大的效能。

不过隐患也同样明显。3B 的规模虽然轻巧，但在处理深层逻辑、大型架构设计或冷门编程语言时，能力天花板很可能会来得非常快。虽然 16k 窗口能塞下 5 个文件，但它在长上下文里的注意力提取能力是否真的经得起复杂工程考验，依然需要实际开发场景来检验。

从行业来看，这说明开源代码助手的门槛正在被进一步打掉。它不仅逼着同类轻量级模型比拼上下文长度，也让本地化、隐私友好的 IDE 辅助插件有了更现成、更低成本的底座选择。