開源演算法 RotorQuant 擊敗谷歌：10 倍視訊記憶體壓縮下預填充提速 5.3 倍
開源 KV 快取壓縮演算法 RotorQuant 亮相。它利用克利福德旋轉器簡化了谷歌 TurboQuant 的全域性矩陣運算，在提供 10 倍視訊記憶體壓縮的同時，將預填充速度拉高 5.3 倍、解碼提速 28%。這意味著單張消費級顯示卡跑超長上下文大模型變得容易得多。
TurboQuant
Google 釋出 TurboQuant：KV 快取壓至 3 位元，視訊記憶體省 6 倍還提速
Google Research 釋出量化演算法 TurboQuant。它結合極座標量化與 QJL 技術，徹底消除傳統量化的常數儲存開銷，無需微調即可將大模型 KV 快取壓至 3 位元且無精度損失。在 H100 上最高提速 8 倍，為長文本和大模型推理掃清視訊記憶體瓶頸。