Replit 开源 Code V1.5 3B：30 亿参数，代码补全超越 CodeLlama 7B

Replit Code V1.5 3B 是 Replit 开源的一个轻量级代码生成模型。它的参数量只有 30 亿，专门针对代码补全任务打造，允许开发者免费用于商业微调。

如果你想在本地设备或私有云里搭建低延迟的代码辅助工具，不想依赖外部闭源 API，这个模型就是一个很合适的基础底座。

它能做什么

该模型在 1 万亿 token 的代码数据上训练完成，数据源选自拥有宽松开源许可的 The Stack 数据集，以及 StackExchange 上的公开技术问答。

训练团队做了一套严密的数据清洗流程，包括代码质量启发式过滤、语法解析检查，并移除了有害和粗俗内容。

在语言支持上，它覆盖了 Replit 平台上最常用的 30 种编程语言，并专门训练了一个 32K 大小的词表，用来保证分词效率与覆盖面。

在评测基准方面，它在 3B 级别的 HumanEval 和 Multi-PLe 测试中拿下了同级别领先的成绩。Replit 表示，只要在公开代码数据上稍加微调，它的表现就能直接超越参数量翻倍的 CodeLlama 7B。

怎么跑起来与技术细节

为了兼顾低推理延迟和高生成质量，该模型在架构上集成了 Grouped Query Attention 与 Flash Attention Triton 内核，并采用了 ALiBi 位置编码。

在训练过程中，团队使用了 LionW 优化器、学习率冷却策略以及 QKV 裁剪技术，从而保证了小参数模型下的训练稳定性。

想要上手非常简单，模型权重已经托管在 Hugging Face，名字是 replit/replit-code-v1_5-3b。

通过主流的 Hugging Face transformers 库，调用 AutoTokenizer 和 AutoModelForCausalLM 即可直接加载运行。官方还提供了针对 GPU 的 Triton 内核优化说明，便于进一步压榨推理速度。

在协议方面，Replit 明确表示允许用于商业微调，没有严苛的商业使用条款限制。

为什么重要

我们认为，Replit Code V1.5 3B 的价值在于把小尺寸代码模型的性价比推到了一个新台阶。

对于个人开发者和中小团队来说，7B 甚至更大的模型在本地显卡或低配服务器上部署成本依然偏高。3B 参数的模型则能在极低的显存占用下提供快速响应，微调后还能越级打平甚至超过 7B 模型，非常适合用来做特定语言或项目代码库的专属自动补全插件。

不过需要留意的是，它专注于单行或局部代码补全，并不适合直接拿来做多轮对话式的复杂软件架构设计。用对场景，它会是一把小巧顺手的好工具。