Edge0：SSDをメモリ代わりに活用、35B MoEモデルがわずか2.5GBメモリで動作

Edge0は、ストレージをメモリのように活用するオープンソースのストリーミングMoE推論フレームワークです。モデル全体をRAMに常駐させるのではなく、SSDから必要なエキスパート重みを動的に読み込むことで、35B規模の疎性MoEモデルをわずか約2.5GBのアクティブメモリで動作させます。

Macをはじめ、iPhone、Android、Windowsに対応しており、Qwen3.6-35B-A3Bベースの35Bモデルと、Ling 3.0ベースの8Bモデルという2つの構成が提供されています。

仕組みと工夫

通常の推論ではモデル全体の重みをすべてメモリに配置する必要があります。しかしMoEモデルでは、1つのトークンを生成する際に動作するパラメータはごく一部です。たとえば35Bモデルでも、実際に同時に使われるのは約3Bパラメータ程度にすぎません。

Edge0はこの特性を活かし、エキスパート重みをSSD上に配置してmmapで必要に応じてストリーミングします。これにより、ピークメモリ使用量はモデルの総パラメータ数ではなく、同時に呼び出されるエキスパートの数だけに縛られます。

ストレージからの読み出し遅延を解消するため、Edge0には次のステップで使われるエキスパートを1手先読みする「Prerouter」が組み込まれています。計算処理の裏で先回りして重みを読み込むことで、デコードのスループットを最大59%向上させています。

また、モデルはINT4に量子化されており、35Bモデルのディスクサイズは約23GBです。量子化による精度低下は、蒸留によって訓練された「Recover-LoRA」を適用することで補っています。OpenCompassのベンチマークでは、元のFP16ベースモデルと比較して平均スコアの低下を3.9ポイントに抑えており、MMLU-Proではベースを上回る結果を出しています。

スペックと動作速度

M4 Pro搭載のMac mini（メモリ24GB）で計測したところ、35Bモデルのデコード速度は毎秒14.9から17.7トークンを記録し、推論時のMLXアロケータのピークメモリは約2.9GBでした。

8Bモデルの場合はディスクサイズが約4.2GBで、デコード速度は毎秒23.9から25.3トークン、ピークメモリはわずか1.0GBにとどまります。

リポジトリ内には、macOS向けのRust実装、iOS向けのSwift実装、Android向けのKotlinエンジン、Windows向けのC++およびVulkanエンジンがすでに公開されています。全プラットフォームを統一する推論レイヤーは2026年第4四半期に登場する予定です。

現時点でPythonフレームワークはMLXをバックエンドとしており、Apple Silicon搭載Macのみをサポートしています。CUDA対応はロードマップに含まれています。

試し方

コードはGitHubで公開されており、モデル重みとアダプタはHugging FaceおよびModelScopeから取得できます。

Macで動かす場合は、リポジトリをクローンしてPython 3.12などの仮想環境を作成し、必要なパッケージをインストールします。付属のスクリプトを使ってモデルディレクトリを取得すると、ベースモデルと専用のLoRAおよびPrerouterファイルが一括で揃います。

準備ができたら、ターミナルで edge0 demo edge0-35b を実行するだけで対話デモが立ち上がります。edge0 serve を使えば、OpenAI互換のローカルAPIサーバーとして常駐させることも可能です。

なぜ重要か

端末上で賢いローカルモデルを動かそうとするとき、最大の壁は常にメモリ容量でした。Apple Siliconのメモリ増設コストは高く、一般的なスマートフォンでは大容量モデルの読み込みすら困難です。Edge0は、予測アルゴリズムを上手く組み合わせることで、手頃なSSDを活用してその壁を突破できることを示しました。

手元のPCやモバイル端末で実用的なローカルAIを試したい開発者にとっては、今すぐ触る価値のあるツールです。コンテキスト長が伸びた際のKVキャッシュによるメモリ消費には注意が必要ですが、エッジ推論の効率化アプローチとして極めて合理的で実用的な試みだと評価できます。