ISTA-DASLab 開源 DeepSeek-V4.1 量化版：12GB 視訊記憶體跑 763B 大模型

ISTA-DASLab 開源的 DeepSeek-V4.1-Flash-1017 GSQ-RCO 量化版，讓你在單張 12GB 視訊記憶體的消費級顯示卡上，就能跑起這個擁有 763B 引數的超大 MoE 模型。

專案提供了 IQ1_M（1.75 bpw）、IQ2_XXS（2.00 bpw）和 IQ2_XS（2.25 bpw）三個規格的 GGUF 檔案。搭配專門最佳化的 Strata 推理引擎，你不再需要幾張專業計算卡堆在一起，在普通遊戲本或桌上型電腦上就能本地體驗前沿模型。

怎麼把 763B 塞進消費級顯示卡

以往的量化方案通常對所有權重一視同仁，採用同一種量化精度，而在 2-bit 附近往往會出現明顯的效能崩塌。

這次團隊把 GSQ 和 RCO 兩個方法結合了起來。GSQ 是一種標量量化演算法，通過鬆弛最佳化大幅縮小了極低位寬下與向量量化的差距，同時依然能匯出標準的 GGUF 格式。RCO 則是把整體體積限制變成黎曼流形約束，針對模型裡每個張量對損失的敏感度，用梯度搜索來非均勻分配位寬。

在 DeepSeek-V4.1-Flash 的架構裡，絕大部分引數集中在每層的 384 個路由專家上。搜尋演算法把大部分壓縮空間留給了這些專家矩陣，把注意力、共享專家等敏感的稠密層保持在更高精度。整體骨幹網路均攤下來，最低只需要 1.75 bpw。

硬體消耗上，模型的 Engram 查詢表佔用約 111GB 空間，被獨立存為一個共享檔案。由於每次推理按 token 稀疏讀取，它可以直接留在 SSD 上做記憶體對映，完全不佔視訊記憶體和記憶體。使用者只需要單張 12GB 視訊記憶體顯示卡，加上 46GB 到 64GB 系統記憶體，配合高速固態硬碟即可執行。據相關測試，在 RTX 3060 上執行 IQ2_XXS 規格時，推理速度可以達到約 8 到 10 tok/s。

幾乎無損的極低位寬表現

低位寬量化通常伴隨明顯的答題質量下降，但官方評測顯示，這次的壓縮表現出乎意料地紮實。測試在 reasoning effort 50 條件下對比原版 FP8/FP4 模型，涵蓋 AIME25、GPQA-Diamond 和 LiveCodeBench v6 三個基準。

官方最推薦的 IQ2_XXS 版本，三項基準分別取得 100.00、90.91 和 89.71 分，任務平均分 93.54，整體達到了原模型 100.0% 的表現。即使是壓縮到極限的 IQ1_M 版本，AIME25 同樣拿下滿分，三項平均分保留了 98.7%。

除了純文本推理，這套 GGUF 還支援視覺投影器檔案，能夠使用配套的 mmproj 跑圖文多模態推理，並內建了適配好的思維鏈調節引數與 Jinja 提示詞模板。

怎麼跑起來

模型權重和工具程式碼已經在 Hugging Face 上完全公開，檔案遵循標準 GGUF 規範。

最簡單的上手方式是配合 Strata 引擎。通過官方指令碼安裝 Strata 後，執行啟動命令並指定 ist-das-2.00bpw，引擎會自動下載約 240GB 到 270GB 的權重切片並啟動本地服務，直接提供相容 OpenAI 格式的本地介面。

如果你習慣使用 llama.cpp，需要升級到 b11870 或更新版本。在 Hugging Face 倉庫下載對應分片與共享的 Engram 檔案後，建立一個對應的軟連結，通過 llama-cli 或 llama-server 即可載入執行。如果下載的是 10 月 27 日前的舊版分片，倉庫還提供了一個小轉換指令碼，在本地就能直接轉成最新排布。

為什麼重要

以往想要本地部署 700B 級別的頂尖大模型，基本意味著多張 A100 或 H100 的高昂硬體門檻。這次方案通過精細的非均勻量化與記憶體對映技巧，把硬體底線直接拉到了單張 12GB 視訊記憶體的甜點級顯示卡。

對於想要完全掌控資料、不依賴雲端 API 除錯複雜任務的獨立開發者與研究者來說，IQ2_XXS 是目前價效比極高的本地推理選擇。雖然數百吉位元組的下載和解包對硬碟容量有一定要求，推理延遲也受限於記憶體頻寬，但它證明了超大引數模型完全可以在消費級硬體上做到又小又強。