ISTA-DASLabがDeepSeek-V4.1量子化版公開、12GB GPUで763Bモデルが動作

ISTA-DASLabが公開した「DeepSeek-V4.1-Flash-1017」のGSQ-RCO量子化版は、763Bパラメータの巨大MoEモデルをわずか12GB VRAMの単一コンシューマーGPUでローカル実行できるパッケージです。

ラインナップはIQ1_M（1.75 bpw）、IQ2_XXS（2.00 bpw）、IQ2_XS（2.25 bpw）の3種類で、いずれも標準的なGGUF形式で提供されます。専用最適化されたStrataエンジンと組み合わせることで、高価なサーバー用GPUを並べることなく、日常的なマシンで最先端クラスのモデルを動かせます。

763Bモデルを12GBで動かす仕組み

従来の均一な量子化では、すべてのテンソルに同じビット幅を適用するため、2ビット前後の極低ビットでは急激な精度崩壊が起きがちでした。

今回のアプローチはGSQとRCOの2つの技術を組み合わせています。GSQはGumbel-Softmax緩和を用いてスカラー量子化のグリッド配置を最適化し、GGUF互換性を保ちながらベクトル量子化に近い精度を引き出します。一方のRCOは、総容量制限をリーマン多様体上の制約として定式化し、損失に対する感度に応じてテンソルごとに異なる量子化精度を勾配探索で割り当てます。

DeepSeek-V4.1-Flashの大半のパラメータは384基のルーティングエキスパートに集中しています。探索アルゴリズムはこのエキスパート部分を思い切って1〜2ビット台に圧縮する一方、注意機構などの密な層には高めのビット幅を残しています。

さらにメモリ消費を抑える工夫として、約111GBあるEngramルックアップテーブルを独立した共有ファイルとして切り離しました。トークンごとに1行だけスパースに参照されるため、SSD上にメモリマップしたまま読み出せばよく、VRAMにもメインメモリにも常駐させる必要がありません。12GBのGPUと46〜64GBのシステムRAM、高速SSDがあれば動作し、RTX 3060環境ではIQ2_XXSが毎秒約8〜10トークンで動いたと報告されています。

2ビットでもベースモデルと互角の性能

ベンチマーク結果は、極限の圧縮にもかかわらず極めて高い精度を維持しています。公式のFP8/FP4ベースモデルを相手に、推論強度50の設定でAIME25、GPQA-Diamond、LiveCodeBench v6の3つを測定しています。

推奨ビルドであるIQ2_XXSは、AIME25で100.00、GPQA-Diamondで90.91、LiveCodeBench v6で89.71を記録し、すべての指標でベースモデルと完全一致する100.0%のタスク復元率を示しました。最も小さい1.75 bpwのIQ1_MでもAIME25で満点を維持し、全体平均で98.7%の性能を保っています。

テキスト推論だけでなく、専用のビジョンプロジェクター（mmproj）を読み込むことでマルチモーダル入力にも対応し、推論強度設定やプロンプトテンプレートも組み込み済みです。

動かす手順と入手先

モデルの重みと変換用スクリプトはHugging Faceですべてオープンに公開されています。

もっとも簡単な起動方法はStrataエンジンを使う手順です。公式スクリプトでStrataを導入した後、モデル名にist-das-2.00bpwを指定して起動すれば、必要なファイルが自動取得され、localhost上にOpenAI互換APIが立ち上がります。

llama.cppを使う場合はb11870以降のビルドが必要です。対象のシャードと共通Engramファイルをダウンロードし、第6シャードへのシンボリックリンクを作成すれば、通常どおりllama-cliやllama-serverから読み込めます。10月27日以前の旧ファイルを落としていた場合でも、軽量な変換スクリプトを使えばローカルで即座に新フォーマットへ更新できます。

なぜ重要か

これまで700B級の大規模モデルをローカルで動かすには、数百万円規模のハードウェア投資が前提でした。今回の非均一量子化とストレージ活用の設計は、そのハードルを一気にミドルレンジの12GBグラフィックボードまで引き下げています。

APIコストやプライバシーを気にせず、巨大な知能を自分の環境で検証したいエンジニアにとって、IQ2_XXSは試す価値の高い選択肢です。数百GBのストレージ確保やメモリ帯域による速度上限はあるものの、極低ビット量子化の実用性を証明する大きな前進と言えます。