#Quantized Johnson-Lindenstrauss

研究拡散指数 36

GoogleがTurboQuantを発表：KVキャッシュを3bitに圧縮しメモリ消費を6分の1に削減

Google ResearchはLLMとベクトル検索向けの量子化技術「TurboQuant」を発表した。従来の量子化で生じていたメモリオーバーヘッドを解消し、ファインチューニング不要でKVキャッシュを3bitまで圧縮する。精度低下なしでメモリを6分の1以下に削減し、H100 GPU上で最大8倍の高速化を実現する。