구글, TurboQuant 공개: KV 캐시 3비트로 압축해 메모리 6배 절감
구글 리서치가 대형 언어 모델과 벡터 검색을 위한 압축 알고리즘 TurboQuant를 공개했다. 기존 양자화의 메모리 오버헤드를 없애 미세조정 없이도 KV 캐시를 3비트로 압축하며 성능 손실이 없다. H100 GPU에서 최대 8배 연산 속도를 높이고 메모리를 최소 6배 줄여 긴 문맥 추론 비용을 대폭 낮춘다.
구글 리서치가 대형 언어 모델과 벡터 검색을 위한 압축 알고리즘 TurboQuant를 공개했다. 기존 양자화의 메모리 오버헤드를 없애 미세조정 없이도 KV 캐시를 3비트로 압축하며 성능 손실이 없다. H100 GPU에서 최대 8배 연산 속도를 높이고 메모리를 최소 6배 줄여 긴 문맥 추론 비용을 대폭 낮춘다.