#RotorQuant

オープンソース拡散指数 48

オープンソース「RotorQuant」登場：Google超えの10倍KVキャッシュ圧縮

オープンソースのKVキャッシュ圧縮アルゴリズム「RotorQuant」が公開された。クリフォード回転子を用いることでGoogleのTurboQuantを上回り、10倍の圧縮率を保ちながらプリフィル速度を5.3倍、デコード速度を28%高速化した。長大なコンテキストを単一GPUで動かす敷居を大きく下げる技術だ。