大規模言語モデルに訪れた「Stable Diffusion」の瞬間：LLaMA が手元のノート PC で動く

llama.cpp は、Meta の大規模言語モデル「LLaMA」を手元の MacBook や Raspberry Pi などの一般的なハードウェア上でローカル動作させるためのオープンソース C/C++ 推論エンジンです。

これまで GPT-3 クラスのモデルを動かすには、1枚あたり8000ドル以上する NVIDIA A100 GPU が複数枚必要でした。llama.cpp は「4bit 量子化」を導入することで、その常識を覆しました。

できることと動作環境

4bit 量子化を適用することで、7B パラメータモデルのディスク容量は約 4GB、GPT-3 に匹敵するとされる 13B モデルでも 8GB 未満にまで圧縮されます。

これにより、クラウドの API や高額なワークステーションに頼ることなく、個人のラップトップ上でテキスト生成を行えるようになります。

検証では、MacBook 上で 7B モデルおよび 13B モデルがスムーズに動作することが確認されています。さらにコミュニティの手によって、4GB メモリを搭載した Raspberry Pi 4 上で 7B モデルを約 10 秒/token で動作させた事例や、Google Pixel 6 上で約 26 秒/token で動かした報告も登場しています。スタンフォード大学からも指示追従モデル「Alpaca」が公開されるなど、周辺環境は急速に広がっています。

仕組みと利用上の注意点

作者は、OpenAI の音声認識モデルを移植した「whisper.cpp」で知られる開発者の Georgi Gerganov 氏です。llama.cpp は外部ライブラリへの依存がなく、純粋な C/C++ でゼロから実装されています。

注意点として、Meta が公開した LLaMA の重みは研究用途限定であり、商用利用は禁止されています。GitHub 上の PR 経由で非公式な BitTorrent リンクが出回るなど実質的に世界中に拡散した状態ですが、法的なライセンス制約は依然として存在します。また、クラウド側にあるセーフティフィルタが存在しないため、ハルシネーションや不適切な出力への対策はすべて利用者の責任となります。

ソースコードは GitHub で公開されており、README に従って重みを変換・コンパイルすれば、ターミナルからすぐに試すことが可能です。

なぜ重要か

私たちは、このプロジェクトが AI の主導権を巨大テック企業のクラウドから個人の手に引き戻したと考えています。

開発者やクリエイターにとって、API の利用料やトークン課金を気にせず、完全オフラインで GPT-3 級の言語モデルを実験できる環境が整った価値は計り知れません。オープンソース界隈における自律的な技術革新を決定づけるマイルストーンです。