開源演算法 RotorQuant 擊敗谷歌：10 倍視訊記憶體壓縮下預填充提速 5.3 倍
開源 KV 快取壓縮演算法 RotorQuant 亮相。它利用克利福德旋轉器簡化了谷歌 TurboQuant 的全域性矩陣運算，在提供 10 倍視訊記憶體壓縮的同時，將預填充速度拉高 5.3 倍、解碼提速 28%。這意味著單張消費級顯示卡跑超長上下文大模型變得容易得多。
開源 KV 快取壓縮演算法 RotorQuant 亮相。它利用克利福德旋轉器簡化了谷歌 TurboQuant 的全域性矩陣運算，在提供 10 倍視訊記憶體壓縮的同時，將預填充速度拉高 5.3 倍、解碼提速 28%。這意味著單張消費級顯示卡跑超長上下文大模型變得容易得多。