オープンソース「RotorQuant」登場：Google超えの10倍KVキャッシュ圧縮
オープンソースのKVキャッシュ圧縮アルゴリズム「RotorQuant」が公開された。クリフォード回転子を用いることでGoogleのTurboQuantを上回り、10倍の圧縮率を保ちながらプリフィル速度を5.3倍、デコード速度を28%高速化した。長大なコンテキストを単一GPUで動かす敷居を大きく下げる技術だ。
TurboQuant
GoogleがTurboQuantを発表：KVキャッシュを3bitに圧縮しメモリ消費を6分の1に削減
Google ResearchはLLMとベクトル検索向けの量子化技術「TurboQuant」を発表した。従来の量子化で生じていたメモリオーバーヘッドを解消し、ファインチューニング不要でKVキャッシュを3bitまで圧縮する。精度低下なしでメモリを6分の1以下に削減し、H100 GPU上で最大8倍の高速化を実現する。