Replit 開源 Code V1.5 3B：30 億引數，程式碼補全超越 CodeLlama 7B

Replit Code V1.5 3B 是 Replit 開源的一個輕量級程式碼生成模型。它的引數量只有 30 億，專門針對程式碼補全任務打造，允許開發者免費用於商業微調。

如果你想在本地裝置或私有云裡搭建低延遲的程式碼輔助工具，不想依賴外部閉源 API，這個模型就是一個很合適的基礎底座。

它能做什麼

該模型在 1 萬億 token 的程式碼資料上訓練完成，資料來源選自擁有寬鬆開源許可的 The Stack 資料集，以及 StackExchange 上的公開技術問答。

訓練團隊做了一套嚴密的資料清洗流程，包括程式碼質量啟發式過濾、語法解析檢查，並移除了有害和粗俗內容。

在語言支援上，它覆蓋了 Replit 平臺上最常用的 30 種程式語言，並專門訓練了一個 32K 大小的詞表，用來保證分詞效率與覆蓋面。

在評測基準方面，它在 3B 級別的 HumanEval 和 Multi-PLe 測試中拿下了同級別領先的成績。Replit 表示，只要在公開程式碼資料上稍加微調，它的表現就能直接超越引數量翻倍的 CodeLlama 7B。

怎麼跑起來與技術細節

為了兼顧低推理延遲和高生成質量，該模型在架構上集成了 Grouped Query Attention 與 Flash Attention Triton 核心，並採用了 ALiBi 位置編碼。

在訓練過程中，團隊使用了 LionW 最佳化器、學習率冷卻策略以及 QKV 裁剪技術，從而保證了小引數模型下的訓練穩定性。

想要上手非常簡單，模型權重已經託管在 Hugging Face，名字是 replit/replit-code-v1_5-3b。

通過主流的 Hugging Face transformers 庫，呼叫 AutoTokenizer 和 AutoModelForCausalLM 即可直接載入執行。官方還提供了針對 GPU 的 Triton 核心最佳化說明，便於進一步壓榨推理速度。

在協議方面，Replit 明確表示允許用於商業微調，沒有嚴苛的商業使用條款限制。

為什麼重要

我們認為，Replit Code V1.5 3B 的價值在於把小尺寸程式碼模型的價效比推到了一個新臺階。

對於個人開發者和中小團隊來說，7B 甚至更大的模型在本地顯示卡或低配伺服器上部署成本依然偏高。3B 引數的模型則能在極低的視訊記憶體佔用下提供快速響應，微調後還能越級打平甚至超過 7B 模型，非常適合用來做特定語言或專案程式碼庫的專屬自動補全外掛。

不過需要留意的是，它專注於單行或區域性程式碼補全，並不適合直接拿來做多輪對話式的複雜軟體架構設計。用對場景，它會是一把小巧順手的好工具。