Cactusが超小型モデル「Needle 2」発表：45Mパラメータ、28MBメモリで動作

Cactus Needle 2は、わずか4500万パラメータで構成された超小型AIモデルです。GPUを持たない非力な端末でも完全オフラインで動作し、ツール呼び出しやハードウェア制御をこなすために開発されました。

現在のオープンソースLLMは、最小クラスでも数十億パラメータがあり、動作には数ギガバイトのVRAMが必要です。しかしNeedle 2なら、安価なシングルボードコンピュータや型落ちスマートフォンでも余裕で動きます。

何ができるのか

Needle 2の得意分野は、OpenAI形式の関数呼び出しや端末機能の操作、短文からの特定データ抽出といった限定的な処理です。

当然ながら、複雑な論理的推論や長時間の自律エージェント処理をこなす知能はありません。そうした作業を任せようとすると破綻します。

賢い対話相手というよりは、ユーザーの自然言語指示を端末のアクションへ瞬時に変換する、組み込み機器向けの神経網のような存在です。

極限の省サイズと動作速度

スペックは規格外に軽量です。モデル全体がわずか14MBのバイナリにパッケージ化されており、実行時のメモリ消費量は約28MBに収まります。

GPUのVRAMは一切不要で、低消費電力なCPUだけで高速に処理を回せます。

生成速度も極めて高速です。Raspberry Pi 5環境で毎秒500トークン、200ドル以下の格安Androidスマートフォンで毎秒約700トークンを記録します。さらにVRデバイス上では毎秒1500トークンに達します。

この軽さを支えるのが、オープンソースのCactus推論エンジンです。CおよびC++で実装されたゼロコピー計算グラフ、ARM NEON SIMD向けカスタムカーネル、独自の回転量子化技術が組み込まれています。ローカルでの確信度が低い場合は、自動的にクラウドの大型モデルへ処理を引き継ぐハイブリッド機構も備えています。

動かし方

モデルとエンジンはGitHub上で完全に公開されています。Mac環境であれば、Homebrewを使ってbrew install cactus-compute/cactus/cactusを実行するだけで環境構築が完了します。

Linux端末でもリポジトリをcloneしてセットアップスクリプトを実行し、cactus run Cactus-Compute/needleコマンドを打てばすぐに動かせます。

cactus serveコマンドを用いればOpenAI互換のHTTPサーバーが立ち上がるため、既存のローカルアプリと連携させるのも簡単です。

なぜ重要か

IoT機器やスマート家電、ロボットを開発しているエンジニアにとって、Needle 2は今すぐ試す価値があるツールです。これまでクラウド通信に頼るしかなかった数千円台の端末に、通信コストゼロかつミリ秒単位で応答するローカル言語インターフェースを直接組み込めるようになります。

汎用的な賢さを競うのではなく、エッジ端末でのツール呼び出しに特化して極限まで削ぎ落とした設計は、非常に賢明だと感じます。高度なタスクには使えない割り切りがあるものの、端末側で即座に動くトリガー役として、エッジAIの現実的な解を示しています。