跳到正文
IFAI

大模型

Stability AI 釋出 Stable Code Instruct 3B:30 億引數跑贏 CodeLlama 7B

首次發布 傳播指數 47

Stability AI 釋出指令微調程式碼模型 Stable Code Instruct 3B。該模型僅 30 億引數,但在多項程式設計任務中超過了 CodeLlama 7B Instruct,低配置硬體即可執行。模型權重已在 Hugging Face 開放,商用需購買會員。

Stability AI 釋出 Stable Code Instruct 3B:30 億引數跑贏 CodeLlama 7B
圖:stability.ai

Stable Code Instruct 3B 是 Stability AI 基於 Stable Code 3B 打造的指令微調程式碼模型。它只有 30 億引數,卻能通過自然語言互動幫你寫程式碼、補全程式碼、做數學推理以及解答日常開發問題。

它能做什麼

這個模型不只是個程式碼補全工具,它經過了專門的指令微調,能夠理解複雜且微妙的自然語言提示。

基於 Stack Overflow 2023 開發者調查的反饋,它重點訓練了最熱門的程式語言,包括 Python、JavaScript、Java、C、C++ 和 Go,同時覆蓋了 SQL、PHP 和 Rust。

有意思的是,即便在訓練集裡沒有包含的語言(例如 Lua)上,它依然展現出了不錯的測試表現。官方認為這得益於它對底層程式設計邏輯的理解與遷移能力。

除了常規的程式碼生成,它還支援 FIM(Fill in the Middle,中間填空補全)、資料庫查詢編寫、程式碼翻譯、程式碼解釋,以及處理圍繞軟體開發的技術敘事與數學邏輯任務。

越級挑戰的表現

體積小是它的最大特點,但效能並沒有縮水。

在 Multi-PL 等基準測試中,Stable Code Instruct 3B 的程式碼補全準確率和跨語言通用性,不僅超越了 DeepSeek-Coder Instruct 1.3B,還顯著超越了體積比它大一倍多的 CodeLlama 7B Instruct。

在部分軟體工程相關任務中,它的表現甚至可以媲美 150 億引數的 StarChat 15B。

因為引數量僅有 30 億,它對硬體配置的要求非常低。開發者不需要昂貴的高效能伺服器,在普通的消費級裝置或本地開發機上就能流暢部署和執行。

怎麼獲取與授權限制

目前該模型的權重和程式碼已經完整上傳到了 Hugging Face,配套的技術報告也一併公開。

在授權模式上,非商業用途可以直接免費下載使用;如果需要將其整合到商業產品或業務流程中,則需要購買 Stability AI Membership 會員資格。

為什麼重要

對於個人開發者或者受限於隱私不能使用雲端 Copilot 的小團隊來說,Stable Code Instruct 3B 是一個非常划算的選擇。你終於可以在本地筆記本上跑一個反應極快、效果不輸 7B 模型的程式設計助手,記憶體佔用還極小。

我們認為,它再次證明了程式碼小模型依靠高質量資料和指令微調,完全可以越級打狗。不過需要留意的是,商用會員授權增加了企業的合規與訂閱成本,想要商用的小團隊需要權衡這個門檻。

來源 (1)

  1. [1]
    stability.ai(在新分頁開啟)原文stability.ai

每日 AI 內容精選