ISTA-DASLabがDeepSeek-V4.1量子化版公開、12GB GPUで763Bモデルが動作
ISTA-DASLabが763B MoEモデル「DeepSeek-V4.1-Flash-1017」のGSQ-RCO量子化GGUFを公開しました。重みを最小1.75 bpwまで圧縮し、Strataエンジン併用で12GB VRAMの単一GPUで動作します。2.00 bpw版はベースモデルの精度を100%維持しており、巨大モデルのローカル運用の敷居を大幅に下げました。
ISTA-DASLabが763B MoEモデル「DeepSeek-V4.1-Flash-1017」のGSQ-RCO量子化GGUFを公開しました。重みを最小1.75 bpwまで圧縮し、Strataエンジン併用で12GB VRAMの単一GPUで動作します。2.00 bpw版はベースモデルの精度を100%維持しており、巨大モデルのローカル運用の敷居を大幅に下げました。