Google 釋出 TurboQuant：KV 快取壓至 3 位元，視訊記憶體省 6 倍還提速

看過美劇《矽谷》的朋友，大概都記得主角團隊靠著一套神級無失真壓縮演算法「魔笛手」（Pied Piper）橫掃科技圈的故事。

誰能想到，Google Research 剛剛把這個劇情搬進了現實。

Google 正式公佈了一項名為 TurboQuant 的模型壓縮演算法。這項成果由研究員 Amir Zandieh 和 Google Fellow Vahab Mirrokni 領銜完成，論文即將亮相 ICLR 2026 和 AISTATS 2026。

它的核心任務只有一個：給大模型的長文本推理視訊記憶體大放血。

把座標系拐個彎，把量化常數徹底踢出門

大模型吃視訊記憶體，很大一部分代價花在所謂的 KV 快取（Key-Value Cache）上。簡單來說，它就像模型做閱讀理解時隨手記下的高維小抄，上下文越長，小抄堆得越厚。

以往業界也嘗試過量化壓縮，但傳統的向量量化有個尷尬的硬傷：為了還原資料，每個小資料塊都得額外存一套全精度的「量化常數」。這一來一回，每個數字憑空多出 1 到 2 bits 的記憶體開銷，壓縮效果直接大打折扣。

TurboQuant 這次拉來了兩個底層數學幫手：QJL 和 PolarQuant。

QJL 借鑑了著名的約翰遜-林登史特勞斯變換，把高維資料壓縮成只保留正負號的單個符號位，完全不需要額外的記憶體開銷。計算注意力時，再通過特殊的估計器平衡高精度的 query 和低精度的量化資料。

而 PolarQuant 的腦回路更清奇。它乾脆放棄了傳統的空間直角座標，把資料改用極座標來表示。

打個比方，以往記錄位置是說「向東走 3 米，向北走 4 米」，現在改成了「朝 37 度方向走 5 米」。因為角度分佈高度集中且規律可知，模型直接在一個固定且已知的圓形網格里對映資料，不用反覆歸一化，把傳統方法不得不帶的量化常數徹底抹掉了。

視訊記憶體怒砍 6 倍，H100 提速 8 倍

數學公式很漂亮，實際跑起來更狠。

Google 在 Gemma 和 Mistral 兩個開源模型上進行了大範圍測試，涵蓋 LongBench、Needle In A Haystack 等多項主流長文本基準。

在完全不進行二次訓練、不做微調的前提下，TurboQuant 把 KV 快取壓到了驚人的 3 bits，並且在各項基準測試中做到了幾乎零精度損失。即便在最考驗長文本檢索的「大海撈針」測試裡，模型的下游表現依然完好無損。

更誇張的是吞吐表現。在輝達 H100 GPU 上，4-bit 版本的 TurboQuant 在計算注意力時，比未量化的 32-bit keys 提速高達 8 倍，KV 快取佔用的視訊記憶體直接縮減到原來的六分之一以下。

除了大模型自身，這項技術還能直接塞進向量搜尋引擎。對比 PQ 和 RabbiQ 等業界基準，TurboQuant 在不需要大型碼本、不針對資料集調優的情況下，1@k 召回率全面領先。

訊息一齣，科技圈直接炸鍋。網友們紛紛給它貼上「現實版魔笛手」的標籤，Cloudflare CEO Matthew Prince 甚至在社交平臺上直言，這堪稱 Google 自己的「DeepSeek 時刻」。

為什麼重要

我們認為，這項技術最誘人的地方，在於它直接把大模型長上下文的部署門檻砍掉了大半。

對開發者和企業來說，長文本推理最大的成本殺手就是視訊記憶體。原本跑 100 萬 token 上下文需要昂貴的多卡叢集伺候，一旦 KV 快取能無損壓掉六分之五，單臺機器能塞下的併發量成倍增加，甚至以前在端側完全不敢想的長文本任務，現在看起來都有了落地的可能。

對整個行業而言，這也給模型最佳化賽道提了個醒：在算力緊缺的當下，單純靠堆硬體和暴力工程來降成本正逐漸碰到天花板，底層數學層面的創新反而能挖出巨大的紅利。

不過冷靜下來看，它也有清晰的邊界。

我們必須看到，TurboQuant 目前還停留在實驗室階段，尚未在大規模生產環境裡全面鋪開。而且它解決的是推理階段的快取和檢索瓶頸，完全不涉及訓練階段。訓練大模型依然需要海量視訊記憶體和叢集堆疊，並不能指望它解決整個行業在訓練算力上的焦慮。

但無論如何，不用重新訓練就能把推理快取直接壓掉 6 倍，這套極座標和數學變換的解法走得極其聰明。如果後續在生產端驗證順利，它大機率會迅速成為長文本服務的新標配。