Replit、新コード生成AI「Replit Code V1.5 3B」をHugging Faceで公開

Replit Code V1.5 3Bは、Replitがオープンソースとして公開した軽量なコード生成AIモデルです。パラメータ数は30億（3B）で、コード補全タスクに特化して設計されており、商用微調整（ファインチューニング）にも厳格な制限なしで利用できます。

外部の商用APIにコードを送信せず、ローカル環境や自社サーバーで低遅延の補全ツールを動かしたい開発者に適したベースモデルです。

何ができるのか

本モデルは、許諾条件の緩やかなThe StackデータセットとStackExchangeの公開コンテンツから収集された、1兆トークンのコードデータで学習されています。

データの選別には構文解析チェックや品質ヒューリスティック、不適切な表現の除去などが組み込まれており、高いデータ品質が保たれています。

対応言語はReplitで最も使われている30言語を網羅し、専用に設計された32Kサイズの語彙テーブルを備えています。

ベンチマーク性能では、3BクラスのHumanEvalおよびMulti-PLeでトップクラスのスコアを記録。さらに公開コードで微調整した場合、パラメータ数が倍以上あるCodeLlama 7Bを上回る性能を発揮します。

仕組みと動かし方

推論の高速化と品質維持のため、Grouped Query Attention（GQA）とFlash Attention Tritonカーネル、ALiBi位置エンコーディングを採用しています。

学習にはLionWオプティマイザや学習率クールダウン、QKVクリッピングといった最新手法が投入され、安定した訓練が行われました。

モデルの重みはHugging Face（replit/replit-code-v1_5-3b）で入手可能です。transformersライブラリを用いれば数行のPythonコードですぐに呼び出せます。

GPU上でさらに推論速度を高めるためのTritonカーネル最適化手順もREADMEで案内されています。

なぜ重要か

Replit Code V1.5 3Bは、小型コードモデルの実用性を大きく引き上げたと言えます。

個人開発者や中小規模の開発チームにとって、7B以上のモデルを常時運用するのはGPUリソースの観点から負担になりがちです。3Bモデルであれば省メモリかつ低遅延で動作し、独自コードで微調整すれば上位モデルに匹敵する補全精度が得られます。

対話型のチャット用途ではなく補全機能に絞られている点には注意が必要ですが、エディタ連携のインライン補全用途としては非常に扱いやすい選択肢です。