跳到正文
IFAI

开源项目

Hugging Face 联手 ServiceNow 发布 StarCoder:150 亿参数开源代码模型

首次发布 传播指数 49

Hugging Face 与 ServiceNow 联合发布代码生成模型 StarCoder。该模型参数量达 150 亿,覆盖 80 多种编程语言,使用经筛选的开源数据集训练。最值得关注的是,它允许包括企业在内的所有人免费商用,直接为收费的 GitHub Copilot 提供了透明、可微调的开源替代品。

Hugging Face 联手 ServiceNow 发布 StarCoder:150 亿参数开源代码模型
图:techcrunch.com

StarCoder 是一个拥有 150 亿参数的开源代码大模型。简单来说,它是目前最成熟的 GitHub Copilot 开源替代品,而且允许你免费拿去商用或本地部署。

它能做什么

StarCoder 覆盖了 80 多种主流编程语言。它支持直接接入 VS Code 编辑器,除了常规的代码补全,还能像对话助手一样听懂基础指令,比如「生成一个应用界面」或是帮你解释复杂的遗留代码。

根据团队的说法,StarCoder 的代码生成能力已经追平甚至超过了早期驱动 GitHub Copilot 的 OpenAI 模型。虽然刚上线时的功能生态还比不上商业成熟产品,但它最大的优势在于完全透明,支持任意微调。

怎么训练出来的

该模型由 Hugging Face 与 ServiceNow 联合发起的 BigCode 项目打造,动用了 512 张英伟达 V100 GPU,历时数天完成训练。

训练数据来自包含 1900 万个合规代码仓库、6 TB 以上代码的开源数据集 The Stack。和那些直接在互联网上无差别抓取代码的闭源模型不同,团队在数据清洗上下了很大功夫。

他们移除了名字、邮箱、IP 地址、密码密钥等个人敏感信息,还利用恶意代码检测工具剔除了包含已知漏洞的文件。同时,他们也给开源作者提供了退出机制,不想被拿去训练的开发者可以申请撤出代码。

怎么上手与使用限制

项目没有藏私,StarCoder 的代码库、训练框架、数据过滤方案、评测套件和分析脚本目前都已经在 GitHub 上完全公开。

它使用的是 OpenRAIL-M 许可证,允许包括企业在内的所有人免版权费商用。唯一的限制在于合规红线,比如明文禁止将它用于生成或分发恶意软件。当然,团队在技术报告中也提醒,模型依然可能偶尔漏网吐出错误逻辑或有缺陷的代码,使用时必须保持人工审查。

为什么重要

如果你一直想用 Copilot,但受限于按月收费或者公司明令禁止把代码传给外部 API,StarCoder 是目前最值得上手的自建方案。团队能把它拉进内网服务器,用自己的私有业务代码做微调,不必担心核心资产泄露。

对行业而言,它给被闭源大厂垄断的 AI 编程赛道撕开了一个口子。一个合规、干净且高性能的开源底座,足以让整个社区在此基础上衍生出针对不同垂直语言和框架的应用生态。

来源 (1)

  1. [1]
    techcrunch.com(在新标签页打开)原文techcrunch.com

每日 AI 内容精选