Phindの独自コード生成モデル、GPT-4超えの精度を5倍の高速性で実現

Phind Modelは、CodeLlama-34Bをベースにファインチューニングされたオープンソースのコード生成モデルです。GPT-4に匹敵するコーディング精度を維持しながら、GPT-3.5並みの高速応答と16kコンテキストウィンドウを実現しています。

何ができるのか

コーディング能力を測るHumanEvalベンチマークにおいて、Phind Model V7は74.7%のスコアを記録し、GPT-4の成績を上回りました。

高度なプログラミングの質問に対して、GPT-4が約50秒要していた回答時間を約10秒にまで短縮できます。スニペットの生成やエラー修正、技術的な解説まで幅広く対応可能です。

ただし開発元によると、完全に正しいコードを出力するまでにGPT-4よりも追加の対話ターンが必要になる場合があり、現在も精度改善が続けられています。

5倍の高速化の仕組みと仕様

この高速出力は、NVIDIAの最新ハードウェアと最適化ライブラリの組み合わせによって実現されています。

NVIDIA H100環境上でTensorRT-LLMライブラリを活用することにより、単一ストリームで毎秒最大100トークンのスループットを達成しました。当時のGPT-4が毎秒約20トークンだったのに対し、実質5倍の速度向上となります。

また、16kの長大なコンテキスト長をサポートしているため、巨大なソースコードやAPI仕様書、長いログをそのまま入力できます。

モデルの重みファイルはHugging Face上でオープンソースとして一般公開されています。

どこで試せるか

自前で環境を用意できる場合は、Hugging Faceから重みファイルを直接ダウンロードしてローカルやクラウド上で展開できます。

手軽に使いたい場合は、Phindの公式サイトでWeb検索アシスタントとして利用できます。1日10件まで無料で利用できるため、毎月20ドルのChatGPT Plusを契約しなくても試すことが可能です。

さらに公式のVisual Studio Code拡張機能も無償提供されています。ショートカット操作で選択コードの参照検索、コードのリライト、ターミナル出力のエラー解析などをエディタ内から直接呼び出せます。

なぜ重要か

開発作業において、AIの待ち時間は思考を途切れさせる大きな要因です。GPT-4と同等水準のコードがわずか10秒で返ってくる体験は、日々の開発テンポを大きく改善します。

34Bクラスのオープンモデルであっても、推論最適化を徹底すれば商用の巨大プロプライエタリモデルを実用速度で凌駕できることを証明した好例です。普段からコードのデバッグやリファクタリングを頻繁に行うエンジニアなら、試してみる価値は十分にあります。