Google 发布 TurboQuant：KV 缓存压至 3 比特，显存省 6 倍还提速
Google Research 发布量化算法 TurboQuant。它结合极坐标量化与 QJL 技术，彻底消除传统量化的常数存储开销，无需微调即可将大模型 KV 缓存压至 3 比特且无精度损失。在 H100 上最高提速 8 倍，为长文本和大模型推理扫清显存瓶颈。
Google Research 发布量化算法 TurboQuant。它结合极坐标量化与 QJL 技术，彻底消除传统量化的常数存储开销，无需微调即可将大模型 KV 缓存压至 3 比特且无精度损失。在 H100 上最高提速 8 倍，为长文本和大模型推理扫清显存瓶颈。