跳到正文
IFAI

大模型

Stability AI 发布 Stable Code Instruct 3B:30 亿参数跑赢 CodeLlama 7B

首次发布 传播指数 47

Stability AI 发布指令微调代码模型 Stable Code Instruct 3B。该模型仅 30 亿参数,但在多项编程任务中超过了 CodeLlama 7B Instruct,低配置硬件即可运行。模型权重已在 Hugging Face 开放,商用需购买会员。

Stability AI 发布 Stable Code Instruct 3B:30 亿参数跑赢 CodeLlama 7B
图:stability.ai

Stable Code Instruct 3B 是 Stability AI 基于 Stable Code 3B 打造的指令微调代码模型。它只有 30 亿参数,却能通过自然语言交互帮你写代码、补全代码、做数学推理以及解答日常开发问题。

它能做什么

这个模型不只是个代码补全工具,它经过了专门的指令微调,能够理解复杂且微妙的自然语言提示。

基于 Stack Overflow 2023 开发者调查的反馈,它重点训练了最热门的编程语言,包括 Python、JavaScript、Java、C、C++ 和 Go,同时覆盖了 SQL、PHP 和 Rust。

有意思的是,即便在训练集里没有包含的语言(例如 Lua)上,它依然展现出了不错的测试表现。官方认为这得益于它对底层编程逻辑的理解与迁移能力。

除了常规的代码生成,它还支持 FIM(Fill in the Middle,中间填空补全)、数据库查询编写、代码翻译、代码解释,以及处理围绕软件开发的技术叙事与数学逻辑任务。

越级挑战的表现

体积小是它的最大特点,但性能并没有缩水。

在 Multi-PL 等基准测试中,Stable Code Instruct 3B 的代码补全准确率和跨语言通用性,不仅超越了 DeepSeek-Coder Instruct 1.3B,还显著超越了体积比它大一倍多的 CodeLlama 7B Instruct。

在部分软件工程相关任务中,它的表现甚至可以媲美 150 亿参数的 StarChat 15B。

因为参数量仅有 30 亿,它对硬件配置的要求非常低。开发者不需要昂贵的高性能服务器,在普通的消费级设备或本地开发机上就能流畅部署和运行。

怎么获取与授权限制

目前该模型的权重和代码已经完整上传到了 Hugging Face,配套的技术报告也一并公开。

在授权模式上,非商业用途可以直接免费下载使用;如果需要将其集成到商业产品或业务流程中,则需要购买 Stability AI Membership 会员资格。

为什么重要

对于个人开发者或者受限于隐私不能使用云端 Copilot 的小团队来说,Stable Code Instruct 3B 是一个非常划算的选择。你终于可以在本地笔记本上跑一个反应极快、效果不输 7B 模型的编程助手,内存占用还极小。

我们认为,它再次证明了代码小模型依靠高质量数据和指令微调,完全可以越级打狗。不过需要留意的是,商用会员授权增加了企业的合规与订阅成本,想要商用的小团队需要权衡这个门槛。

来源 (1)

  1. [1]
    stability.ai(在新标签页打开)原文stability.ai

每日 AI 内容精选