ISTA-DASLab 開源 DeepSeek-V4.1 量化版：12GB 視訊記憶體跑 763B 大模型
ISTA-DASLab 開源 DeepSeek-V4.1-Flash-1017 的 GSQ-RCO 量化 GGUF 模型。團隊結合非均勻量化演算法將 763B MoE 模型最低壓縮至 1.75 bpw，搭配 Strata 引擎可在 12GB 顯示卡執行。最值得關注的是 2.00 bpw 版本效能完全追平原模型，大幅拉低超大模型本地部署門檻。
llama.cpp
開源演算法 RotorQuant 擊敗谷歌：10 倍視訊記憶體壓縮下預填充提速 5.3 倍
開源 KV 快取壓縮演算法 RotorQuant 亮相。它利用克利福德旋轉器簡化了谷歌 TurboQuant 的全域性矩陣運算，在提供 10 倍視訊記憶體壓縮的同時，將預填充速度拉高 5.3 倍、解碼提速 28%。這意味著單張消費級顯示卡跑超長上下文大模型變得容易得多。
大語言模型的「Stable Diffusion 時刻」：筆記本也能跑 LLaMA 了
開發者 Simon Willison 發文稱大模型正迎來類似 Stable Diffusion 的開源拐點。通過開源專案 llama.cpp 的 4-bit 量化技術，7B 與 13B 版本的 LLaMA 模型已能直接在 MacBook 上本地流暢執行，打破了原本需要高昂雲端算力的門檻。