CactusがNeedle 3を公開：わずか8〜29MB、マイコンでも動く小型基盤モデル

ローカル環境で AI を動かすという話になると、大抵は数十 GB の VRAM を積んだ高性能マシンや、軽量化しても数 GB を占有するモデルが思い浮かびます。しかし、スマートウォッチで簡単なメモを取ったり、ロボット掃除機に「キッチンを掃除して寝室には入るな」と指示したりする程度なら、デバイスの中に博識な哲学者を住まわせる必要はありません。

Cactus は超小型デバイス向け基盤モデル「Needle 3」をリリースしました。最大の特徴はその驚異的なサイズで、バイナリ全体でわずか 8〜29 MB しかありません。パラメータ数は 2900 万から 1 億 2100 万で、従来の Transformer ではなく独自開発の Simple Attention Network を採用しています。

会話を捨てて「道具の操作」に全振りする

Needle 3 がここまで極端に小さいのは、明確な割り切りを行っているからです。一般的な雑談や文章生成の能力を完全に削ぎ落とし、ツールの呼び出し、構造化データの抽出、そしてテキスト埋め込みの処理に全計算リソースを集中させました。

つまり、人生相談には乗ってくれませんが、機械を操作させれば抜群の正確さを発揮します。Cactus によれば、モバイル端末におけるツール呼び出しテストにおいて、Needle 3 は自身の 10 倍のサイズを持つモデルを上回り、情報抽出でも 2〜3 倍大きなモデルと同等の精度を叩き出しました。ユーザーの曖昧な発話から適切な関数と引数を正しく選び出し、該当するツールが存在しない場合は適当な推測をせず空の結果を返します。

構造化抽出も強力で、スキーマを定義してテキストを渡すだけで、領収書や予約情報、通知メッセージなどを正確な JSON 形式へと変換します。スマートウォッチや AR グラス、車載インフォテインメントなどでも、ネット回線を一切使わずにローカルで完結します。

2層から20層まで伸縮する「インテリジェンス・ラダリング」

デバイスごとに別々のモデルを用意して最適化するのは開発者にとって大きな負担です。そこで Needle 3 は「インテリジェンス・ラダリング」（Intelligence laddering）という柔軟な構造を取り入れました。

モデルの各層が段階的に能力を高めるサブネットワークとなっており、開発者はハードウェアのスペックに応じて 2 層から最大 20 層まで自由に稼働規模を選択できます。非力なマイコンでは消費電力を抑えるために 2 層だけを動かし、処理能力に余裕があるスマホや Raspberry Pi では 20 層まで開放して精度を高めるといった使い分けが、単一の重みデータで実現します。

3600 亿（360B）トークンの独自構造化データで事前学習され、CQ2 量子化が施されています。Raspberry Pi 5 上でのテストでは、プリフィルが毎秒 1000〜10000 トークン、デコードが毎秒 400〜4000 トークンという高速動作を記録しました。推論エンジンは 1 MB 未満で、macOS、Windows、Linux、Android、iOS、WebAssembly など多彩な環境をサポートしています。ファインチューニングの効率も高く、4 層のサブネットワークを特定タスクで 1 エポック学習させるだけで DeepSeek V4 Flash に匹敵する精度を発揮します。

なぜ重要か

業界全体が数千億パラメータの巨大モデルやマルチモーダル競争に熱中するなか、Needle 3 が見せた徹底的な特化と軽量化は非常に賢明なアプローチだと評価できます。

これまで IoT やスマート家電は、クラウドを介した音声認識による遅延やサーバーコスト、プライバシーリスクに悩まされるか、少しの言い回しの違いで動かなくなる硬直したコマンド認識に甘んじるしかありませんでした。Needle 3 がわずか 8 MB というサイズで高精度なツール呼び出しを実現したことで、安価なマイコンであっても自然言語を解釈し、オフラインで安全にハードウェアを動かせる道が開かれました。

ハードウェア開発者や個人開発者にとっても、クラウド通信の設計や従量課金を気にすることなく、デバイスのファームウェア内にローカル AI を直接組み込めるメリットは絶大です。

もちろん、一般的な常識や論理的推論を求める用途には全く使えず、スキーマの書き方次第で精度が大きく左右されるという制約はあります。しかし、スマート家電に哲学を語らせる必要がない以上、素早く確実にボタンを押してくれる軽量な頭脳として、これ以上ない現実解を提供していると言えます。