オープンソース推論エンジン「Strata」公開：12GBのVRAMで千億級モデルを動作可能に

Strataは、一般的な12GB VRAM搭載のPC上で、1000億パラメータ級の大規模モデルを直接動かすことができるオープンソースのローカル推論エンジンです。

MITライセンスのもとで完全公開されており、アカウント登録不要でWindows、Linux、macOS向けにすぐに導入できます。

どうやって動かしているのか

千億級パラメータの巨大モデルを動かすには本来、高価なデータセンター向けGPUやマルチGPU環境が不可欠でした。

StrataはGPUメモリ、メインメモリ、高速SSDを連携させる独自の3層階層実行アーキテクチャを採用しています。

混合エキスパート構成のモデルにおいて、最も頻繁に使われるエキスパートをVRAMに常駐させ、モデル全体をメインメモリに配置し、メモリに収まらない分はSSDから直接読み出します。

GPU、RAM、SSDが協調して推論と投機的サンプリングを進めることで、一般的なグラフィックボードのVRAM制限を回避しています。

対応モデルとハードウェア性能

主な対応モデルは125BパラメータのQwen3.8-Flash-Next、Qwen3.6-35B-A3B、そしてDeepSeekV4.1-Flash-1017です。

Qwen3.8-Flash-Nextのフルバージョンは12GB VRAMと64GB RAMの組み合わせで動作します。32GB RAMの環境でも、軽量化されたCoder版を動かすことが可能です。

SSDを活用するDeepSeekV4.1-Flash-1017の場合、空きストレージ容量が重要になり、量子化形式に応じて約245GBから280GBの空き領域を必要とします。

対応ハードウェアも幅広く、NVIDIA GeForce RTX 20、30、40、50シリーズをはじめ、AMD Radeon RX 7000、9000、AI PRO R9700、Intel Arc、64GB以上のメモリを積んだApple Silicon Macに対応します。

実測速度としては、DeepSeekの2.00 bpw設定時、RTX 3060と46GB RAMの構成で秒間9から11トークン、RTX 5070と64GB RAMの構成で秒間4から6トークンを出力します。AMD Ryzen AI Max搭載機ではコード生成で秒間19から21トークンを記録しています。

セットアップと外部ツールの連携

利用方法はシンプルです。各OS向けのインストーラーが用意されているほか、ターミナルからスクリプト一行で導入してstrata launchを実行するだけでモデルの取得と起動が行えます。

また、OpenAIおよびAnthropicのAPIと互換性のあるローカルエンドポイントを提供しています。

strata connectコマンドを使えば、Claude Code、Codex CLI、OpenCode、Hermes Agentといった既存の開発ツールにそのままローカル環境を接続できます。

なぜ重要か

データのプライバシーを重視する開発者や、API利用料を抑えて日常的なコーディングや自動化タスクを回したいユーザーにとって、すぐに試す価値の高いツールです。

単にモデルを極端に圧縮してVRAMに押し込む従来の手法と異なり、ストレージを含めた階層活用を行うアプローチは非常に合理的です。データ転送速度の物理的な制約があるためクラウド並みの超高速生成は望めませんが、個人環境で千億級モデルを実用速度で扱える意義は小さくありません。