Stability AI 釋出首款程式設計模型 Stable Code Alpha

做 Stable Diffusion 出名的 Stability AI，這回把目光從畫畫移到了寫程式碼上。

Stability AI 正式釋出了 Stable Code Alpha 3B。這是這家公司拿出來的首個專門針對程式設計場景的生成式大模型產品，主打的是日常編碼輔助，以及幫初學者上手寫程式碼。

別看名字裡帶著 3B（30 億引數），體量算不上龐大，但 Stability AI 並沒有只扔出來一個單體模型，而是打包了一套組合拳。

三個模型各司其職，訓了 5600 億 Token

這套產品其實由三個不同的模型協同工作組成，分別對應基礎底座、複雜任務指令微調以及長上下文補全。

首先是基礎模型（Base model）。它的底模訓練資料選用了 BigCode 專案的 stack-dataset (v1.2)，隨後團隊在其超算叢集上，針對 Python、Go、Java、JavaScript、C、C++ 以及 Markdown 等主流語言進行了深度訓練，整個訓練過程總共吞下了 5600 億個 Token 的程式碼資料。

有了底模之後，團隊專門打造了一個指令模型（Instruction model）。為了讓它能聽懂複雜任務的指令，Stability AI 用了大約 12 萬條 Alpaca 格式的程式碼指令與回答對，對基礎模型進行了微調。

第三個則是專門針對單行和多行自動補全的長上下文模型。換句話說，寫程式碼時的程式碼聯想和跨檔案理解，主要靠它來頂。

16k 上下文，一口氣讀五個 Python 檔案

寫程式碼最怕模型「記性差」，前面剛定義完類，後面補全就胡說八道。針對這個痛點，Stable Code 的長上下文視窗版本拉到了 16000 個 Token。

Stability AI 表示，這個上下文長度是此前市面上已釋出的開源模型的 2 到 4 倍。落實到具體工作流裡，它允許開發者一次性把相當於 5 箇中等大小的 Python 檔案放進窗口裡，讓模型同時做審查、修改或者補全建議。

在基準測試上，官方使用了業內標準的 HumanEval 基準，以 pass@1 和 pass@10 作為指標，將它與引數規模和訓練資料量相近的模型進行了橫向對比。

官方明確表示，做這款工具的目標是降低寫程式碼的門檻，希望能幫到全球「下一個十億軟體開發者」學習程式設計並用 AI 解決日常問題。

為什麼重要

我們認為，Stable Code Alpha 3B 最大的價值在於它把引數量嚴格卡在了 3B 這個門檻上。對個人開發者和普通使用者來說，這幾乎意味著你不需要租昂貴的雲端 GPU，只要一塊主流視訊記憶體的消費級顯示卡甚至稍好的筆記本，就有機會把它跑在本地。

把模型拆成底模、指令微調和長上下文三個版本的思路很聰明。輕量級模型如果試圖通吃所有任務往往容易翻車，而把 16k 視窗專門留給補全模型，把 12 萬條指令資料做成專門的對話版本，能讓有限的算力發揮出最大的效能。

不過隱患也同樣明顯。3B 的規模雖然輕巧，但在處理深層邏輯、大型架構設計或冷門程式語言時，能力天花板很可能會來得非常快。雖然 16k 視窗能塞下 5 個檔案，但它在長上下文裡的注意力提取能力是否真的經得起復雜工程考驗，依然需要實際開發場景來檢驗。

從行業來看，這說明開原始碼助手的門檻正在被進一步打掉。它不僅逼著同類輕量級模型比拼上下文長度，也讓本地化、隱私友好的 IDE 輔助外掛有了更現成、更低成本的底座選擇。