오픈소스 RotorQuant 공개: 구글 제치고 KV 캐시 10배 압축
오픈소스 KV 캐시 압축 알고리즘 RotorQuant가 공개됐다. 클리포드 회전자를 활용해 구글 TurboQuant 대비 연산량을 크게 줄였으며, 10배 압축을 유지한 채 프리필 속도는 5.3배, 디코딩 속도는 28% 개선했다. 거대 언어 모델의 초장문 컨텍스트를 단일 GPU에서 구동할 수 있는 길을 열었다.
TurboQuant
구글, TurboQuant 공개: KV 캐시 3비트로 압축해 메모리 6배 절감
구글 리서치가 대형 언어 모델과 벡터 검색을 위한 압축 알고리즘 TurboQuant를 공개했다. 기존 양자화의 메모리 오버헤드를 없애 미세조정 없이도 KV 캐시를 3비트로 압축하며 성능 손실이 없다. H100 GPU에서 최대 8배 연산 속도를 높이고 메모리를 최소 6배 줄여 긴 문맥 추론 비용을 대폭 낮춘다.