ISTA-DASLab 开源 DeepSeek-V4.1 量化版:12GB 显存跑 763B 大模型
ISTA-DASLab 开源 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 量化 GGUF 模型。团队结合非均匀量化算法将 763B MoE 模型最低压缩至 1.75 bpw,搭配 Strata 引擎可在 12GB 显卡运行。最值得关注的是 2.00 bpw 版本性能完全追平原模型,大幅拉低超大模型本地部署门槛。
ISTA-DASLab 开源 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 量化 GGUF 模型。团队结合非均匀量化算法将 763B MoE 模型最低压缩至 1.75 bpw,搭配 Strata 引擎可在 12GB 显卡运行。最值得关注的是 2.00 bpw 版本性能完全追平原模型,大幅拉低超大模型本地部署门槛。
开源本地推理引擎 Strata 正式发布。它通过显卡显存、内存与固态硬盘协同分层调度,让 12GB 显存的普通电脑也能本地跑动 125B 的 Qwen3.8-Flash-Next 等大模型,并提供兼容 OpenAI 的本地接口。这意味着消费级硬件本地部署大模型的门槛被进一步打了下来。