开源算法 RotorQuant 击败谷歌：10 倍显存压缩下预填充提速 5.3 倍
开源 KV 缓存压缩算法 RotorQuant 亮相。它利用克利福德旋转器简化了谷歌 TurboQuant 的全局矩阵运算，在提供 10 倍显存压缩的同时，将预填充速度拉高 5.3 倍、解码提速 28%。这意味着单张消费级显卡跑超长上下文大模型变得容易得多。
开源 KV 缓存压缩算法 RotorQuant 亮相。它利用克利福德旋转器简化了谷歌 TurboQuant 的全局矩阵运算，在提供 10 倍显存压缩的同时，将预填充速度拉高 5.3 倍、解码提速 28%。这意味着单张消费级显卡跑超长上下文大模型变得容易得多。