Google 发布 TurboQuant：KV 缓存压至 3 比特，显存省 6 倍还提速

看过美剧《硅谷》的朋友，大概都记得主角团队靠着一套神级无损压缩算法「魔笛手」（Pied Piper）横扫科技圈的故事。

谁能想到，Google Research 刚刚把这个剧情搬进了现实。

Google 正式公布了一项名为 TurboQuant 的模型压缩算法。这项成果由研究员 Amir Zandieh 和 Google Fellow Vahab Mirrokni 领衔完成，论文即将亮相 ICLR 2026 和 AISTATS 2026。

它的核心任务只有一个：给大模型的长文本推理显存大放血。

把坐标系拐个弯，把量化常数彻底踢出门

大模型吃显存，很大一部分代价花在所谓的 KV 缓存（Key-Value Cache）上。简单来说，它就像模型做阅读理解时随手记下的高维小抄，上下文越长，小抄堆得越厚。

以往业界也尝试过量化压缩，但传统的向量量化有个尴尬的硬伤：为了还原数据，每个小数据块都得额外存一套全精度的「量化常数」。这一来一回，每个数字凭空多出 1 到 2 bits 的内存开销，压缩效果直接大打折扣。

TurboQuant 这次拉来了两个底层数学帮手：QJL 和 PolarQuant。

QJL 借鉴了著名的约翰逊-林登施特劳斯变换，把高维数据压缩成只保留正负号的单个符号位，完全不需要额外的内存开销。计算注意力时，再通过特殊的估计器平衡高精度的 query 和低精度的量化数据。

而 PolarQuant 的脑回路更清奇。它干脆放弃了传统的空间直角坐标，把数据改用极坐标来表示。

打个比方，以往记录位置是说「向东走 3 米，向北走 4 米」，现在改成了「朝 37 度方向走 5 米」。因为角度分布高度集中且规律可知，模型直接在一个固定且已知的圆形网格里映射数据，不用反复归一化，把传统方法不得不带的量化常数彻底抹掉了。

显存怒砍 6 倍，H100 提速 8 倍

数学公式很漂亮，实际跑起来更狠。

Google 在 Gemma 和 Mistral 两个开源模型上进行了大范围测试，涵盖 LongBench、Needle In A Haystack 等多项主流长文本基准。

在完全不进行二次训练、不做微调的前提下，TurboQuant 把 KV 缓存压到了惊人的 3 bits，并且在各项基准测试中做到了几乎零精度损失。即便在最考验长文本检索的「大海捞针」测试里，模型的下游表现依然完好无损。

更夸张的是吞吐表现。在英伟达 H100 GPU 上，4-bit 版本的 TurboQuant 在计算注意力时，比未量化的 32-bit keys 提速高达 8 倍，KV 缓存占用的显存直接缩减到原来的六分之一以下。

除了大模型自身，这项技术还能直接塞进向量搜索引擎。对比 PQ 和 RabbiQ 等业界基准，TurboQuant 在不需要大型码本、不针对数据集调优的情况下，1@k 召回率全面领先。

消息一出，科技圈直接炸锅。网友们纷纷给它贴上「现实版魔笛手」的标签，Cloudflare CEO Matthew Prince 甚至在社交平台上直言，这堪称 Google 自己的「DeepSeek 时刻」。

为什么重要

我们认为，这项技术最诱人的地方，在于它直接把大模型长上下文的部署门槛砍掉了大半。

对开发者和企业来说，长文本推理最大的成本杀手就是显存。原本跑 100 万 token 上下文需要昂贵的多卡集群伺候，一旦 KV 缓存能无损压掉六分之五，单台机器能塞下的并发量成倍增加，甚至以前在端侧完全不敢想的长文本任务，现在看起来都有了落地的可能。

对整个行业而言，这也给模型优化赛道提了个醒：在算力紧缺的当下，单纯靠堆硬件和暴力工程来降成本正逐渐碰到天花板，底层数学层面的创新反而能挖出巨大的红利。

不过冷静下来看，它也有清晰的边界。

我们必须看到，TurboQuant 目前还停留在实验室阶段，尚未在大规模生产环境里全面铺开。而且它解决的是推理阶段的缓存和检索瓶颈，完全不涉及训练阶段。训练大模型依然需要海量显存和集群堆叠，并不能指望它解决整个行业在训练算力上的焦虑。

但无论如何，不用重新训练就能把推理缓存直接压掉 6 倍，这套极坐标和数学变换的解法走得极其聪明。如果后续在生产端验证顺利，它大概率会迅速成为长文本服务的新标配。