오픈소스 RotorQuant 공개: 구글 제치고 KV 캐시 10배 압축
오픈소스 KV 캐시 압축 알고리즘 RotorQuant가 공개됐다. 클리포드 회전자를 활용해 구글 TurboQuant 대비 연산량을 크게 줄였으며, 10배 압축을 유지한 채 프리필 속도는 5.3배, 디코딩 속도는 28% 개선했다. 거대 언어 모델의 초장문 컨텍스트를 단일 GPU에서 구동할 수 있는 길을 열었다.
오픈소스 KV 캐시 압축 알고리즘 RotorQuant가 공개됐다. 클리포드 회전자를 활용해 구글 TurboQuant 대비 연산량을 크게 줄였으며, 10배 압축을 유지한 채 프리필 속도는 5.3배, 디코딩 속도는 28% 개선했다. 거대 언어 모델의 초장문 컨텍스트를 단일 GPU에서 구동할 수 있는 길을 열었다.