ISTA-DASLab 开源 DeepSeek-V4.1 量化版：12GB 显存跑 763B 大模型

ISTA-DASLab 开源的 DeepSeek-V4.1-Flash-1017 GSQ-RCO 量化版，让你在单张 12GB 显存的消费级显卡上，就能跑起这个拥有 763B 参数的超大 MoE 模型。

项目提供了 IQ1_M（1.75 bpw）、IQ2_XXS（2.00 bpw）和 IQ2_XS（2.25 bpw）三个规格的 GGUF 文件。搭配专门优化的 Strata 推理引擎，你不再需要几张专业计算卡堆在一起，在普通游戏本或台式机上就能本地体验前沿模型。

怎么把 763B 塞进消费级显卡

以往的量化方案通常对所有权重一视同仁，采用同一种量化精度，而在 2-bit 附近往往会出现明显的性能崩塌。

这次团队把 GSQ 和 RCO 两个方法结合了起来。GSQ 是一种标量量化算法，通过松弛优化大幅缩小了极低位宽下与矢量量化的差距，同时依然能导出标准的 GGUF 格式。RCO 则是把整体体积限制变成黎曼流形约束，针对模型里每个张量对损失的敏感度，用梯度搜索来非均匀分配位宽。

在 DeepSeek-V4.1-Flash 的架构里，绝大部分参数集中在每层的 384 个路由专家上。搜索算法把大部分压缩空间留给了这些专家矩阵，把注意力、共享专家等敏感的稠密层保持在更高精度。整体骨干网络均摊下来，最低只需要 1.75 bpw。

硬件消耗上，模型的 Engram 查找表占用约 111GB 空间，被独立存为一个共享文件。由于每次推理按 token 稀疏读取，它可以直接留在 SSD 上做内存映射，完全不占显存和内存。用户只需要单张 12GB 显存显卡，加上 46GB 到 64GB 系统内存，配合高速固态硬盘即可运行。据相关测试，在 RTX 3060 上运行 IQ2_XXS 规格时，推理速度可以达到约 8 到 10 tok/s。

几乎无损的极低位宽表现

低位宽量化通常伴随明显的答题质量下降，但官方评测显示，这次的压缩表现出乎意料地扎实。测试在 reasoning effort 50 条件下对比原版 FP8/FP4 模型，涵盖 AIME25、GPQA-Diamond 和 LiveCodeBench v6 三个基准。

官方最推荐的 IQ2_XXS 版本，三项基准分别取得 100.00、90.91 和 89.71 分，任务平均分 93.54，整体达到了原模型 100.0% 的表现。即使是压缩到极限的 IQ1_M 版本，AIME25 同样拿下满分，三项平均分保留了 98.7%。

除了纯文本推理，这套 GGUF 还支持视觉投影器文件，能够使用配套的 mmproj 跑图文多模态推理，并内置了适配好的思维链调节参数与 Jinja 提示词模板。

怎么跑起来

模型权重和工具代码已经在 Hugging Face 上完全公开，文件遵循标准 GGUF 规范。

最简单的上手方式是配合 Strata 引擎。通过官方脚本安装 Strata 后，执行启动命令并指定 ist-das-2.00bpw，引擎会自动下载约 240GB 到 270GB 的权重切片并启动本地服务，直接提供兼容 OpenAI 格式的本地接口。

如果你习惯使用 llama.cpp，需要升级到 b11870 或更新版本。在 Hugging Face 仓库下载对应分片与共享的 Engram 文件后，建立一个对应的软链接，通过 llama-cli 或 llama-server 即可加载运行。如果下载的是 10 月 27 日前的旧版分片，仓库还提供了一个小转换脚本，在本地就能直接转成最新排布。

为什么重要

以往想要本地部署 700B 级别的顶尖大模型，基本意味着多张 A100 或 H100 的高昂硬件门槛。这次方案通过精细的非均匀量化与内存映射技巧，把硬件底线直接拉到了单张 12GB 显存的甜点级显卡。

对于想要完全掌控数据、不依赖云端 API 调试复杂任务的独立开发者与研究者来说，IQ2_XXS 是目前性价比极高的本地推理选择。虽然数百吉字节的下载和解包对硬盘容量有一定要求，推理延迟也受限于内存带宽，但它证明了超大参数模型完全可以在消费级硬件上做到又小又强。