开源算法 RotorQuant 击败谷歌：10 倍显存压缩下预填充提速 5.3 倍
开源 KV 缓存压缩算法 RotorQuant 亮相。它利用克利福德旋转器简化了谷歌 TurboQuant 的全局矩阵运算，在提供 10 倍显存压缩的同时，将预填充速度拉高 5.3 倍、解码提速 28%。这意味着单张消费级显卡跑超长上下文大模型变得容易得多。
TurboQuant
Google 发布 TurboQuant：KV 缓存压至 3 比特，显存省 6 倍还提速
Google Research 发布量化算法 TurboQuant。它结合极坐标量化与 QJL 技术，彻底消除传统量化的常数存储开销，无需微调即可将大模型 KV 缓存压至 3 比特且无精度损失。在 H100 上最高提速 8 倍，为长文本和大模型推理扫清显存瓶颈。