Google 釋出 TurboQuant：KV 快取壓至 3 位元，視訊記憶體省 6 倍還提速
Google Research 釋出量化演算法 TurboQuant。它結合極座標量化與 QJL 技術，徹底消除傳統量化的常數儲存開銷，無需微調即可將大模型 KV 快取壓至 3 位元且無精度損失。在 H100 上最高提速 8 倍，為長文本和大模型推理掃清視訊記憶體瓶頸。
Google Research 釋出量化演算法 TurboQuant。它結合極座標量化與 QJL 技術，徹底消除傳統量化的常數儲存開銷，無需微調即可將大模型 KV 快取壓至 3 位元且無精度損失。在 H100 上最高提速 8 倍，為長文本和大模型推理掃清視訊記憶體瓶頸。